День ото дня Каганович приобретает все большую власть и наращивает аппаратное влияние. 17 августа 1931 года Политбюро принимает решение ввести Кагановича на время отпуска Сталина в состав Валютной комиссии, а пятого июня 1932-го его утверждают заместителем Сталина в Комиссии обороны. 15 декабря того же года решением Политбюро создается отдел сельского хозяйства ЦК — ключевой в условиях массового голода, заведующим назначают Кагановича. 18 августа 1933 года была образована комиссия по железнодорожному транспорту под председательством Молотова. Каганович, наряду со Сталиным, Ворошиловым, Андреевым, Орджоникидзе и Благонравовым, назначается членом этой комиссии, но уже через день, 20 августа, его утверждают заместителем председателя, а 15 февраля 1934 года — председателем.

Восьмого февраля 1935 года Кагановича назначают наркомом путей сообщения СССР. Назначению предшествует выступление Сталина на XVII съезде ВКП(б): «Транспорт является тем узким местом, о которое может споткнуться, да, пожалуй, уже начинает спотыкаться вся наша экономика, и прежде всего, наш товарооборот».

В 1937 году Каганович, оставаясь главой НКПС, получил в придачу Наркомат тяжелой промышленности, а чуть позже и Наркомат топливной, куда он в скором времени и «забрал» к себе Байбакова, сделав его своим заместителем.

Теперь Байбаков встречался с Кагановичем едва ли не каждый день — и на коллегиях, и на совещаниях, и у того в кабинете.

«Железный нарком», по оценке Байбакова, был фигурой во всех смыслах внушительной. Его известность, влияние и власть удивляли многих своей огромностью, а простых смертных могли приводить в трепет и страх.

«Мы все знали, как близко он тогда стоял к Сталину, — рассказывает Байбаков. — Нельзя сказать, что с фигурой такого государственного масштаба работать было легко и просто. Во времена тяжелейших физических перегрузок поражала его неистощимая работоспособность, но это было скорее всего проявление физической энергии и выносливости типичного руководителя силового стиля. Ему ничего не стоило грубо и часто ни за что обругать, обидеть и оскорбить подчиненного. А необузданная вспыльчивость зачастую вредила и делу. Мог он, толком не разобравшись, под влиянием “минуты” подмахнуть приказ о снятии с должности лично ему не угодившего в чем-то, но дельного работника. Хозяйственным управленцам наркомата нередко приходилось менять толстые стекла на его письменном столе, потому что он их разбивал вдребезги, яростно швыряя на стол трубку после неприятного разговора. А иногда до того раскалялся, что грозил карами и тюрьмой за невыполнение его, наркомовских, указаний. Я догадывался, что это не пустые угрозы, что он вполне способен выполнить их. Люди из его аппарата вдруг без всяких причин исчезали и больше нигде не появлялись. Доходило дело и до рукоприкладства».

Байбаков вспоминает один из таких случаев. На него, как на заместителя наркома, возложили немалый груз обязанностей, но приходилось еще каждый день «вертеться в адском кругу неожиданно возникающих и всегда неотложных дел, нужно было везде успеть, исправить недочеты, помочь и техникой, и людьми, часто в авральном [слово того времени] порядке». И вот однажды по вине ответственных работников НКПС была дважды подряд сорвана подача цистерн для вывоза нефти из месторождения Ишимбай. Байбакову ничего не оставалось, как обратиться за содействием к Кагановичу. Зная вспыльчивость и буйный нрав наркома, шел к нему не без трепета.

— Лазарь Моисеевич, опять сорвали отправку нефти из Ишимбая, не подали цистерны, остановили промыслы.

Каганович вспыхнул и тяжело поднялся из-за стола.

— А ты разговаривал с Арутюновым? Ты там был? — резко спросил он.

— Я не был, но по телефону говорил. И с другими товарищами говорил. Но должных мер не приняли.

Глаза Кагановича гневно сверкнули. Чувствовалось, что он все больше накаляется.

— Черт бы вас побрал! — разъяренно закричал он, выходя из-за стола. — Это бюрократизм — говорить только по телефону! Надо съездить туда! Или вызвать сюда! Я, что ли, за всех вас должен работать?!

Голос звенел на предельных нотах, губы нервно дрожали, пальцы сжались в кулаки.

«В ярости нарком схватил меня за грудки — в этот момент он действительно был страшен и неуправляем — и с бешеной силой отбросил от себя, — вспоминал Байбаков. — Я, скорее всего, упал бы, но успел ухватиться за край тяжелого стола.

— Немедленно поезжай в наркомат. И чтоб цистерны были!..

Тут же яростно схватил трубку, на чем свет стоит распек по телефону своего заместителя по Наркомату путей сообщения Арутюнова и со всего маху хватил трубкой о стол — брызнули осколки разбитого в очередной раз стекла.

С тяжелым сердцем я вышел из его кабинета. Много раз я задумывался над этим эпизодом, он и поныне волнует меня. Как я должен был тогда поступить? Каким способом поставить его на место? Ведь я был грубо оскорблен. С точки зрения общепринятых человеческих правил, понятий о чести и достоинстве следовало тоже схватить его за грудки. Но нелепо и глупо так отвечать человеку, явно вышедшему из себя, да к тому же наркому. Или же, допустим, набраться решительности и доложить о его выходке в ЦК. Ну и что? Начнется свара, разбирательство, вражда. Стыдно и негоже. Не было у меня ни желания, ни возможности для адекватного ответа. Суть в том, что я никогда не поддавался личным обидам там, где речь шла о государственном деле. И был убежден, что грубость наркома вредит не мне, а прежде всего делу. И поскольку в то время я был бессилен справиться с ней, то пришлось проявить выдержку и с еще большим тщанием и напряжением сил служить делу, не допустить, чтобы оно пострадало».

Как заместитель наркома Байбаков располагал достаточной властью, чтобы отдавать распоряжения руководителям нефтяных главков, держать на контроле выполнение задач, которые он ставил перед ними, и, если надо, кого-то снимать с должности. В то же время и сам он находился под грузом требований, предъявляемых вышестоящим начальством.

Работа Байбакова в наркомате больше всего осложнялась тем, что Каганович плохо знал нефтяное дело, поверхностно оценивал его проблемы, нередко игнорировал мнение специалистов. Между тем эта работа требовала немало сил и нервов. И если наркомы работали в «сталинском режиме», то есть по ночам, то их заместители и дневали, и ночевали в наркоматах. В годы сталинского правления это был типичный распорядок дня (и ночи) любого советского начальника, какой бы пост он ни занимал.