В декабре 1959 года А. Я. Сухарева выдвинули на еще более высокий пост — в аппарат Центрального Комитета КПСС. Здесь он работал более десяти лет, первое время занимая должность инструктора, а затем заместителя заведующего отделом административных и торгово-финансовых органов ЦК КПСС по РСФСР. В 1966 году он стал заведующим сектором отдела административных органов ЦК КПСС.

В сентябре 1970 года Александр Яковлевич переходит на работу в органы юстиции. Тогда только что было воссоздано Министерство юстиции СССР, ликвидированное еще в середине 1950-х годов по инициативе Н. С. Хрущева. Вместо него долгое время существовала безликая и фактически бесправная юридическая комиссия при Совете Министров СССР. Министерство юстиции СССР возглавил В. Теребилов, работавший до этого в Прокуратуре Союза ССР, а впоследствии — заместителем Председателя Верховного суда СССР. Постановлением Совета Министров СССР от 22 сентября 1970 года А. Я. Сухарев назначается первым заместителем министра и членом коллегии Министерства юстиции СССР. Одновременно с ним заместителями министра стали также председатель Московского городского суда Н. А. Осетров и начальник отдела общего надзора Прокуратуры Союза ССР А. А. Холявченко.

Александр Яковлевич, имевший к этому времени солидный партийный опыт, занимался в министерстве кадровой работой, организацией правовой пропаганды и установлением связей с партийными и советскими органами. Он возглавлял также Межведомственный координационный совет по правовой пропаганде при Министерстве юстиции СССР. При его содействии был основан популярнейший журнал «Человек и закон», членом редакции которого он был долгое время (тираж достигал 12 миллионов), появилась телевизионная передача с таким же названием (особенно популярной она была, когда ее вел известный писатель, доктор юридических наук, профессор А. А. Безуглов). Именно в те годы в школах и профтехучилищах стали в обязательном порядке изучать основы советского права. Активно шла также демократизация судопроизводства, повышалась культура судебных процессов, преодолевались остатки культа личности в правовой науке. Ко всем этим процессам Александр Яковлевич имел самое непосредственное отношение.

В системе министерства юстиции А. Я. Сухарев прослужил почти 18 лет. До 1984 года он был первым заместителем министра юстиции СССР, а затем — министром юстиции РСФСР. За это время он защитил диссертацию в Академии общественных наук и получил ученую степень кандидата юридических наук (1978 год). К его наградам прибавились новые. В 1967 и 1971 годах он награжден двумя орденами Трудового Красного Знамени, а затем удостоился орденов Октябрьской Революции (декабрь 1977 года), Дружбы народов (сентябрь 1983 года) и Отечественной войны 1-й степени (1985 год). В октябре 1973 года Президиум Верховного Совета РСФСР наградил его Почетной грамотой, а в апреле 1987 года присвоил почетное звание «Заслуженный юрист РСФСР». Он избирался также депутатом Верховного Совета РСФСР (1984 год).

В Министерстве юстиции СССР А. Я. Сухарев много внимания уделял развитию связей советских юристов со своими зарубежными коллегами. Он был избран членом правления Ассоциации советских юристов (в июне 1986 года стал ее президентом), способствовал вхождению ее в Международную ассоциацию юристов-демократов и был избран там первым вице-президентом. Сухарев часто возглавлял делегации юристов страны в зарубежных поездках, занимался подготовкой и проведением международных конференций юристов, выступал на них с докладами и сообщениями. За эти годы он посетил Испанию, Францию, Йемен (был организатором и председателем Общества советско-йеменской дружбы), США, Болгарию, Монголию, Швецию, Венесуэлу, Польшу, Чехословакию и другие страны.

А. Я. Сухарев всегда вел большую общественную работу. Он являлся сопрезидентом Всемирной ассоциации юристов против ядерного оружия («ИАЛАНА»), членом ученого совета Института государства и права Академии наук СССР, президиума Всесоюзного общества «Знание». Возглавлял общественный фонд «Выдающиеся полководцы и флотоводцы Великой Отечественной войны 1941–1945 годов».

В 1988 году, в самый разгар перестройки, Александр Яковлевич Сухарев был направлен на работу в Прокуратуру Союза ССР. Президиум Верховного Совета СССР своими указами от 26 февраля 1988 года назначает его первым заместителем Генерального прокурора СССР, утверждает членом коллегии Прокуратуры Союза ССР и присваивает чин государственного советника юстиции 1-го класса. Спустя ровно три месяца, 26 мая 1988 года постановлением Верховного Совета СССР, подписанным Председателем Президиума А. Громыко, А. Я. Сухарев назначается Генеральным Прокурором Союза ССР. В 1989 году он стал народным депутатом. Избирался делегатом XXVII съезда КПСС. В бурное перестроечное время А. Я. Сухарев смог продержаться в кресле Генерального прокурора СССР чуть более двух лет.

В те годы в стране предпринимались меры по преодолению так называемого «застойного периода», происходило раскрепощение экономической инициативы, расширение политической демократии, обогащение правового статуса личности. Именно на этом магистральном направлении совершенствовалось законодательство. Богаче и содержательнее становился и прокурорский надзор. На одном из заседаний коллегии Прокуратуры СССР А. Я. Сухарев говорил: «Вместо приверженности курсу «держать и не пущать» острие надзора фокусируется на предупреждении и пресечении командно-бюрократических препон, защиты прав и свобод человека, воплощение концепции «разрешено все, что не запрещено». И еще: «Нам предстоит заметно раздвинуть границы надзорной работы, настраиваясь на принцип: там, где действует закон, должен быть и надзор за законностью… Вырабатывая совершенную концепцию прокурорского надзора, мы должны четко представлять его юридическую природу. Прокуратура — не орган управления, а высшая контрольная власть за соблюдением законов».

Надо признать, что тогда органы прокуратуры, по выражению Сухарева, оказались еще «недостаточно подкованными» по целому ряду практических аспектов прав человека. В Молдавии, на Украине, в Прибалтике и Закавказье, в ряде республик и областей Российской Федерации грубо нарушались права людей, в том числе и верующих, а прокуроры на это вовсе не реагировали. В Херсонской области прокурор признал правомерным факт изъятия у верующего Библии, и по этой причине отказал в удовлетворении его жалобы. В Чувашии один человек был осужден за хранение книг «Котлован» Платонова и «Собачье сердце» Булгакова. И это было тогда, когда указанные произведения не только широко издавались, но и ставились на сцене. Прокуроры нередко смотрели на всех манифестантов (шествия и демонстрации тогда шли с размахом), как на смутьянов и нарушителей порядка.

Со всеми этими перегибами в органах прокуратуры А. Я. Сухарев повел решительную борьбу. Он говорил: «Во всем, что касается прав человека, прокуроры обязаны быть ближе к жизни, всемерно поддерживать и защищать людей с активной и здоровой социальной позицией, изучать новые явления общественной жизни».

В самый разгар перестройки начали поднимать головы экстремизм и национализм. Уже пролилась кровь в Сумгаите, завязался «карабахский узел», начались многомесячные забастовки. Все это наносило колоссальный ущерб стране. В новых условиях не на высоте оказались органы прокуратуры и внутренних дел. На заседании коллегии Прокуратуры Союза ССР А. Я. Сухарев признал, что прокуроры «проглядели националистический нарыв, не упредили разгула беспорядков». Особенно это относилось к Закавказью и Прибалтийским республикам. Некоторых прокурорских работников ему пришлось снимать с работы. «Такая политическая беспринципность и близорукость дала возможность экстремистам и некоторым номенклатурным преступникам направить недовольство людей от действительно социальных проблем, взяточничества и коррупции в русло националистического угара», — говорил А. Я. Сухарев.