В самом начале своей карьеры Персико сблизился с тремя другими молодыми бруклинцами из банды Профачи — парнями Галло, Крейзи Джоуи, Ларри и Альбертом. Репутация Персико, склонного к насилию, резко возросла после шокирующего убийства босса мафии Альберта Анастазиа в 1957 году в парикмахерской манхэттенского отеля. Вместе с братьями Галло Персико был признан в преступном мире как исполнитель этого громкого убийства по просьбе их босса Джо Профачи и других лидеров мафии, возмущенных жаждой власти Анастазиа.

Конфликт охватил семью Профачи в 1959 году, когда был убит Фрэнк Аббатемарко, главарь команды Персико. Амбициозные Персико и Галло ожидали, что Профачи вознаградит их за контракт с Анастазиа и другие услуги, передав им огромный кусок бруклинского рэкета Фрэнки Шотта. Вместо этого Профачи раздал все ростовщические и номерные барыши Аббатемарко своим старшим дружкам. Разъяренные, братья Галло и Персико предприняли молниеносные похищения шурина и босса Профачи, Джо Маглиокко, и четырех его капо. Джо Валачи, первый боец мафии, публично отказавшийся от омерты, рассказал, что во время восстания Персико объяснил ему, что он и другие младотурки считали, что Профачи облагает их более высокими налогами с их незаконных доходов, чем это делали старшие мудрецы. В качестве примера жадности Профачи Персико рассказал Валачи, что однажды босс заставил его отдать 1800 долларов, полученных в результате ограбления на 2000 долларов.

Чтобы добиться освобождения своих пяти лейтенантов, Профачи быстро согласился на финансовые требования повстанцев. Как только люди были освобождены, Профачи отказался от сделки с повстанцами, и началась внутренняя борьба, впервые со времен Кастелламмарской войны 1930-х годов нью-йоркские мафиози «легли на матрасы». В период с 1961 по 1963 год по меньшей мере девять бойцов были убиты, еще трое исчезли и предположительно были убиты, а пятнадцать были ранены в ходе боевых действий, известных как «войны Галло».

Главным перебежчиком и двурушником в окопах Галло был Кармине Персико. Он вернулся в ряды Профачи вскоре после начала боевых действий. По словам Валачи, на решение Персико повлиял разговор по душам с недавно ушедшим в отставку мудрецом мафии Фрэнком Костелло, который убедил молодого мафиози, что его верность Коза Ностра должна лежать на его боссе, Профачи.

Значение Персико в войне стало очевидным утром 20 августа 1961 года. Сержант полиции, проводивший обычную проверку, зашел в затемненный бар Sahara Club в Южном Бруклине и наткнулся на двух мужчин, душивших веревкой третьего. Выбежав из клуба, двое нападавших пронеслись мимо сержанта и еще одного полицейского. Предполагаемой жертвой, едва дышавшей, был Ларри Галло. Полиция опознала Персико как одного из нападавших. Но, следуя кодексу омерты, Галло отказался произнести хоть слово против Персико, и обвинения в нападении с него и второго киллера были сняты.

Попытка ограбления Ларри Галло укрепила репутацию Персико в мафии за его двуличность и дала ему грубый прозвище «Змея». Сначала он дважды обманул Галло, присоединившись к силам Профачи, а затем заманил Ларри Галло в бар под предлогом, что тот снова переходит на сторону Галло и снова вступает в ряды Галло. Более того, было ясно, что Профачи дал Персико и его приятелям контракт на убийство братьев. Галлосы знали, как отомстить, и утром 19 мая 1963 года они нанесли ответный удар. Персико, находившийся в машине, был обстрелян из проезжавшего мимо пикапа. Пули пробили ему голову, а несколько пуль попали в левую руку и кисть. Его привезли в больницу скорой помощи, глаза опухли, лицо было залито кровью. На просьбу детектива назвать того, кто в него стрелял, Персико уставился в потолок и отрицательно покачал головой. Он никогда бы не нарушил омерту и не стал бы сотрудничать с полицией, даже если бы его собственная жизнь была в опасности.

Солдаты Персико были уверены, что стрелял Ларри Галло, которому едва удалось избежать удушения Кармине. Сторонники Персико преувеличили этот эпизод, чтобы подкрепить его репутацию крутого бойца, утверждая, что пуля пробила ему челюсть и что он выплюнул пулю. Хотя Персико преуменьшал свои раны, считая их простыми порезами бумаги, он действительно пострадал, так и не восстановив полностью левую руку.

Смерть Джо Профачи от рака в 1962 году дала Карло Гамбино и другим донам возможность вмешаться в «Войну Галло». Они заключили перемирие и положили конец насилию в 1963 году, поставив Джо Коломбо боссом старой банды Профачи. Заслуги Персико перед группировкой Профачи-Коломбо были вознаграждены повышением до капо. Бои закончились, наступали хорошие времена и новые грабежи. Персико был восходящей звездой, возглавляя банду Коломбо, в которую входили два его брата. Детективы стали узнавать от информаторов, что Кармине, которого несколькими годами ранее считали бандитом-наемником, теперь хорошо одет и нанимает других стрелков для выполнения грязной работы.

Над головой Персико висело лишь одно нерешенное дело, оставшееся с прежних времен: федеральное обвинение в том, что он участвовал в угоне грузовика с грузом белья на 50 000 долларов в Бруклине в 1959 году. Главным обвиняемым Кармине был Хью «Яблоко» Макинтош, его телохранитель и лучший партнер по преступлению. Физический контраст между двумя гангстерами был разительным. Стройный, как ствол дерева, Макинтош весом 250 фунтов и ростом 6 футов 5 дюймов возвышался над жилистым, 150-фунтовым Персико. Хотя Макинтош был верным приспешником Персико, его ирландское происхождение не позволяло ему стать полноценным человеком.

Обвинение в угоне самолета запутало Персико в залах суда на десять лет и стало одним из самых долгих федеральных дел, зарегистрированных в юрисдикции Восточного округа Нью-Йорка. В самом начале обвинители предложили Персико сделку. Признание вины стало бы для него первой судимостью за уголовное преступление, что привело бы к небольшому сроку заключения — около трех лет, и, возможно, к условно-досрочному освобождению через год. Высокомерно уверенный в себе, Персико отклонил предложение, уверенный, что с его ноу-хау в мафии и батареей дорогих адвокатов он снова сможет избежать законного наказания. Первый судебный процесс в 1961 году закончился присяжными. Через год его и Макинтоша признали виновными, но приговор был отменен в апелляции. Третий процесс был остановлен, когда Персико получил огнестрельное ранение. В 1964 году он был осужден во второй раз, но и это решение было отменено в апелляции. Присяжные на пятом процессе в 1968 году признали его и Макинтоша виновными, и этот приговор остался в силе. После трех лет долгих споров вердикты были окончательно подтверждены в 1971 году апелляционным судом. Вместо одногодичного соглашения о признании вины, от которого Персико отказался в 1960 году, он получил максимальный тюремный срок в четырнадцать лет; Макинтош получил шесть лет.