Как Хрущев был для Байбакова антиподом Сталина, так Брежнев - антиподом Косыгина. Сталина и Косыгина Байбаков числил гениями, Хрущева и Брежнева - посредственностями, незаслуженно получившими государственный руль.

«Алексей Николаевич Косыгин был. прямой противоположностью Брежнева. Если Леонид Ильич любил поговорить о проблемах не столь докучливых, какими являются проблемы экономики, и слушать ему было приятнее тех, кто молниеносно реагировал, на его житейские интересы, то Косыгин, напротив, больше говорил о делах. О нем можно сказать: "Человек весь в деле". Помнится, даже во время прогулок в Кисловодске в дни отпуска разговор между нами шел только о делах. Удовлетворение собеседником Косыгин выражал молчаливым согласием, что можно было понять лишь по мимике, еле уловимым, оттенкам в голосе. В разговоре не поддакивал сам и не любил, когда поддакивали ему», - вспоминал Байбаков.

Брежнев не любил Косыгина, опасался его, видел в нем соперника, выставлял виноватым за все - и это тоже было неприятно Байбакову. К тому же он и сам страдал от этого. На протяжении шестнадцати лет Байбаков был. заместителем Косыгина, его ближайшим и верным соратником. Премьер-министр и председатель Госплана шли в одной упряжке, и, когда генсек прямой наводкой бил по Косыгину, рикошетом, долетало и до Байбакова.

Не нравилась Байбакову и разросшаяся в ЦК при Брежневе сеть отраслевых отделов. За их ликвидацию неоднократно выступал Косыгин, но Брежнев и его окружение этому стойко сопротивлялись. «Сусловская команда, которая в прошлом восхваляла Хрущева, - пишет Байбаков, - теперь стала превозносить до небес "руководителя нового типа"- Леонида Ильича Брежнева. С развитием его культа изменился и стиль работы в Кремле. "Деятельность" [слово взято в кавычки Байбаковым.
– В. В.] Брежнева нередко сопровождалась торжествами и пышными приемами». Здесь стоит заметить, что на этих торжествах и приемах частенько сиживал и сам Байбаков, не говоря уж о пиршествах на брежневской даче в Завидово.

Пребывание Брежнева на посту генсека (1964-1982) Байбаков условно делил на два периода - активный и пассивный. Сначала, по мнению Байбакова, Брежнев энергично взялся за дело и при недостатке собственного опыта и глубоких знаний в области экономики не пренебрегал советами специалистов, прислушивался к мнению ученых. Потом как-то постепенно Брежнев, считает Байбаков, отошел от активной работы, полностью доверился помощникам, аппарату ЦК. Вместе с болезнью в последние годы пришла и апатия.

«Чувство внутренней неуверенности и досады Брежнев зачастую гасил каким-нибудь словцом или репликой, на которую живо и весело отзывались присутствующие, - вспоминает Байбаков.
– Отношения со своими сторонниками и приверженцами у него были фамильярными, доходящими до панибратства. Это нравилось "брежневцам", и они угодливо улыбались ему, поддакивали, буквально заглядывали в рот. Занимая, высокое положение в партии и государстве, они всячески превозносили "дорогого Леонида Ильича", пели дифирамбы престарелому Генеральному секретарю, льстили, говорили, что его возраст - время расцвета для политиков. Так создавался культ Брежнева. В нем же самом постепенно угасал жизненный динамизм, что порождало социальную апатию у людей, окружавших его».

Байбаков не раз встречался с Брежневым, бывал на заседаниях Политбюро и разного рода совещаниях, проводимых им. Вначале, по наблюдениям Байбакова, генсек принимал активное участие в рассмотрении проектов годовых и пятилетних планов, уделял большое внимание сельскому хозяйству. С годами же наиболее важные вопросы Брежнев стал решать самостоятельно, что называется, в рабочем порядке. «В частности, это происходило под нажимом министерств и ведомств оборонной промышленности, - вспоминал Байбаков.
– "Надо крепить оборону", - часто говорил, он, но одновременно требовал, чтобы и деревне выделялись средства, и темпы развития экономики были достаточно высокими. Леонид Ильич был из числа тех людей, которые потребности не увязывали с государственными возможностями».

Именно это - несоответствие потребностей возможностям государства — и служило, по мнению Байбакова, причиной ошибок, допущенных Брежневым.. Ошибок, которые приводили к несбалансированности планов и за которые отдувался Байбаков как председатель Госплана. Ему, выполняя указания генсека, приходилось отвлекать средства, предназначенные для развития отраслей группы «Б» или для финансирования социальных программ.

На заседаниях Политбюро, куда приглашали и Байбакова, если рассматривался «его» вопрос, нередко возникали споры и столкновения. Приглашенному приходилось проявлять выдержку и настойчивость, защищая позицию Госплана. Однажды после крутого разговора Брежнев произнес:

– Николай, мы тебя выслушали, нам твоя позиция известна. А теперь позволь нам, с учетом других, не менее важных обстоятельств, принять решение.

И решение было принято. Но далеко не то, которое предлагал Госплан.

«У Брежнева слишком мягкий характер, он поддается чужому влиянию» - так Хрущев охарактеризовал однажды своего выдвиженца. «И действительно, - соглашается Байбаков, — не хватало Брежневу ни силы воли, ни политических данных, ни экономических знаний для руководства страной. Этим пользовались, допуская неконтролируемый, а зачастую незаконный рост доходов отдельных групп и лиц, нарушение социалистических принципов распределения по труду. В жертву частным, сиюминутным интересам приносились интересы государства. В угоду ведомственным амбициям через Политбюро протаскивали непродуманные решения, которые впоследствии оборачивались огромными потерями».

Да, признавал Байбаков, бывали и у плановиков ошибки. Да, уступали и они давлению сверху: «Выходили мы с предложениями и на Политбюро, но нередко наше мнение не совпадало с мнением большинства его членов. Бывало и такое, когда Политбюро отказывалось обсуждать стратегические проблемы развития народного хозяйства а связанные с этим принципиальные вопросы формирования нового пятилетнего плана».

При всем при этом Байбаков не считал брежневскую эпоху периодом застоя. Само это слово «застой», появившееся в политическом словаре СССР в годы горбачевского правления, вызывало в Байбакове протест. Замедление темпов развития - да, несомненно. Но застой? Нет, с такой характеристикой конца 1970-х - начала 1980-х он категорически не хотел соглашаться. «Разве можно, - восклицал., - назвать застойным период, когда за двадцать лет (1966-1985 гг.) национальный доход страны вырос в 4 раза, промышленное производство в 5 раз, основные фонды в 7 раз! Несмотря на то, что рост сельскохозяйственного производства увеличился за этот период лишь в 1,7 раза, реальные доходы, населения росли примерно теми же темпами, что и производительность общественного труда, и возросли в 3,2 раза; приблизительно в 3 раза увеличились производство товаров народного потребления и розничный товарооборот. Думаю, и одиннадцатую пятилетку (1981—1985 гг.) "застойной" считать не следует. Да, действительно, темпы экономического роста были ниже, чем в предыдущее пятилетие, но в сравнении с развитыми капиталистическими странами, кроме Японии, они были выше или равны».

Восемнадцать лет из двадцати двух, составивших срок службы Байбакова на посту председателя Госплана СССР и оказавшихся очень важными в его карьере и жизни, пришлись на брежневскую эпоху, которая закончилась только со смертью Черненко. И мог ли он, прощаясь с этой эпохой, признать ее «застойной»?