Трубин возвратился в Москву поздно вечером 20 августа 1991 года. Здесь он ознакомился с обстановкой, с документами ГКЧП, а также с тем, что происходило в самой Прокуратуре Союза. На время командировки Трубина исполнял обязанности Генерального прокурора его первый заместитель Алексей

Дмитриевич Васильев. Когда было объявлено о создании ГКЧП, Васильев, после консультации с членами коллегии Прокуратуры Союза, направил на места шифровку, текст которой, как вспоминает Николай Семенович, «свидетельствовал о поддержке Прокуратурой Союза режима чрезвычайного положения».

Утром 21 августа Трубин выехал в Кремль, где встретился с председателем Комитета при Президенте СССР по координации деятельности правоохранительных органов Голиком. Получив от него более подробную информацию об обстоятельствах создания ГКЧП и введения чрезвычайного положения, Трубин, по его словам, пришел к выводу, что в стране фактически произошел государственный переворот. Тут же в кабинете Голика Трубин лично подготовил и подписал постановление о возбуждении уголовного дела по факту государственного переворота по признакам статьи 64 УК РСФСР (измена Родине). Текст постановления немедленно был передан в Телеграфное агентство СССР для опубликования.

В этот же день Трубину позвонил Ельцин, который в безапелляционной форме спросил, арестован ли первый заместитель Генерального прокурора Васильев, который поддержал ГКЧП. Николай Семенович ответил, что не видит оснований для такого шага. Тогда Ельцин поинтересовался, а можно ли арестовать прямых участников ГКЧП (некоторые из них вылетели для переговоров с Горбачевым в Крым и должны были вечером возвратиться в Москву). Трубин сказал, что лиц, не обладающих депутатской неприкосновенностью, арестовать можно, но самому ему в осуществлении этого акта не на кого опереться, так как руководители Комитета государственной безопасности и Министерства внутренних дел непосредственно участвовали в заговоре. Тогда Ельцин задал еще один вопрос: а вправе ли сделать это Прокуратура РСФСР, которая располагает такими возможностями. Трубин ответил, что правовых препятствий к этому нет.

По инициативе Ельцина была создана оперативная группа захвата во главе с Генеральным прокурором РСФСР Степанковым и министром внутренних дел РСФСР Баранниковым, которая с санкции Степанкова и арестовала вечером 21 августа 1991 года министра обороны СССР Д. Т. Язова и председателя КГБ СССР

В. А. Крючкова. С этого же времени Прокуратура РСФСР начала самостоятельное расследование по делу ГКЧП.

Трубин также создал следственную группу Прокуратуры СССР. Как только Горбачев вернулся в Москву, Трубин лично встретился с ним и получил информацию о возникновении и развитии заговора непосредственно от него.

Создалось парадоксальное положение, когда по одному и тому же факту были возбуждены два уголовных дела и расследование производилось одновременно и Прокуратурой Союза, и Прокуратурой РСФСР. Так долго продолжаться не могло. Следствие по делу должно было находиться в одних руках. И вскоре такое решение было принято. Трубин объединил в одно производство материалы следствия Прокуратуры СССР и Прокуратуры РСФСР и поручил расследование по делу в полном объеме Прокуратуре РСФСР, оставив за собой решение вопросов, входивших по закону в исключительную компетенцию Генерального прокурора СССР. Все это было оформлено соответствующим постановлением.

Вот что пишет об этом В. Г. Степанков в книге «Кремлевский заговор»:

«Мы в своем праве на главную роль не сомневались, но знали, что Трубин так просто нам ее не уступит. Его надо было убеждать и аргументы при этом использовать веские. А потому мы решили хорошенько подготовиться к разговору с ним, все обдумать заранее. В результате у нас сложилась достаточно стройная, на наш взгляд, система доказательств.

Было воскресенье, но Генеральный прокурор СССР, как мы и предполагали, оказался на месте. Ему тоже в эти горячие денечки забот хватало. Однако он был не против встречи с нами, поскольку понимал, что откладывать ее не имеет смысла. Мы сразу же приступили к сути и изложили ему свои аргументы…

Трубин наши доводы выслушал очень внимательно, и реакция его на них была реакцией человека разумного и трезвого. Он сказал, что сам прекрасно понимает уязвимость своих позиций в этой ситуации и что в целом он с нами согласен: у Прокуратуры России действительно больше моральных прав на ведение этого дела. Однако в процессе его расследования могут возникнуть такие вопросы, которые без содействия Генерального прокурора Союза решить будет невозможно, поэтому нужно так сформулировать „отречение”, чтобы в нужный момент оба прокурора могли действовать совместно. На том и порешили. К вечеру поторапливаемый нами Трубин подготовил постановление, подписал его, и с понедельника 26 августа противостояние двух прокуратур закончилось.

…Нужно отдать должное Трубину: никакой обиды на нас он не затаил, и дальнейшие наши отношения были отношениями коллег, заинтересованных в успехе общего дела. Подтверждением этого стала история с арестом Лукьянова. У нас были серьезные основания считать, что в заговоре он сыграл далеко не последнюю роль, однако занимаемый им высокий пост и тот факт, что официально он не входил в состав ГКЧП, продлили срок пребывания Анатолия Ивановича на свободе.

Вечером 27 августа мы встретились с Трубиным и договорились, что оставлять в подвешенном состоянии вопрос с Лукьяновым дальше нельзя, надо просить согласие на привлечение его к ответственности, и эта акция должна носить совместный характер, чтобы подчеркнуть единство мнений обеих прокуратур. Таким образом, 28 августа подписанное двумя генеральными прокурорами ходатайство было направлено в Верховный Совет».