В 50-е годы отношения с другом юности В. В. Стасовым становятся постепенно все прохладнее, и причина тому – скептическое отношение «Вольдемара» к опытам Серова в области музыкальной композиции. А на рубеже 50—60-х годов это охлаждение завершается окончательным разрывом отношений, и поводом к тому стали уже не столько разногласия в оценке тех или иных явлений в музыке, сколько дела сугубо интимные. С некоторым запозданием А. Н. Серов узнал, что Надежда, вторая дочь его сестры Софьи, рождена не от ее законного мужа Петра (Пьера) Федоровича Дютура, дослужившегося в Екатеринбурге, где жили супруги, до звания штабс-капитана корпуса лесничих, а от Владимира Стасова. Серов не одобряет тайную связь друга с Софьей и расценивает поступок Вольдемара как личное оскорбление. Он пишет Стасову очень резкое письмо. Так былая горячая дружба перешла в ожесточенную вражду. И с тех пор два ведущих музыкальных критика России не уставали пускать друг в друга ядовитые стрелы.

Еще в начале 50-х годов, когда переписка со Стасовым сохраняла прежнюю интенсивность, Серов признавался, что находится под сильнейшим впечатлением музыковедческих работ Рихарда Вагнера. Непосредственное знакомство с оперным творчеством Вагнера и с самим композитором произошло в 1859 году во время заграничной поездки Серова. Тогда его русский почитатель услышал несколько опер немецкого композитора, в том числе «Лоэнгрина», и высказал восторженные слова автору. Вагнер, убедившись, что имеет дело с тонким знатоком музыки, сыграл и спел Серову целый акт своего нового творения – «Тристана и Изольды». Рассказывая русским читателям об операх покорившего его немца, Серов назвал его «музыкальным Шекспиром».

В это время Серов пишет сестре Софье: «Вагнер не знает, какого он себе приобрел приверженца в России. А приверженность эта ни для меня, ни для Вагнера, ни для России бесполезною не останется».

Серов усиленно пропагандирует творчество Вагнера в своих статьях, лекциях, беседах с музыкальными деятелями. Он убеждает их поставить на русской сцене одну из опер композитора, а самого Вагнера пригласить с концертами в Россию. Вероятно, личное знакомство с Вагнером дало мощный толчок и собственному оперному творчеству Серова. В начале 60-х годов он завершает работу над оперой «Юдифь» на библейский сюжет и проигрывает ее своему новому другу, литературному критику Аполлону Григорьеву. О произведенном на Григорьева впечатлении сообщает Марии Павловне Анастасьевой: «Я его пронял с первой же сцены до слез, и он после в обществе литераторов (у Достоевских) говорил так: „Герцен врет, что искусство в наше время умерло. Хороша смерть искусства, когда пишутся такие вещи, как драмы Островского и 'Юдифь'“».

Между тем настойчивые хлопоты Серова относительно приглашения Вагнера в Россию увенчались успехом. Весной 1863 года Вагнер приезжает в Петербург по приглашению местного Филармонического общества. Серия концертов, которые Вагнер, дирижер и исполнитель собственных сочинений, дал в Петербурге и Москве, не только обеспечила ему успех в России, но и позволила значительно поправить материальное положение. Немалую роль в пропаганде творчества Вагнера сыграл в это время и Серов, откликаясь в печати на каждое выступление немецкого музыканта и композитора. Впоследствии в мемуарах «Моя жизнь» Вагнер писал о пребывании в России: «Моим частым гостем был Александр Серов, с которым я познакомился еще в Люцерне. Он посетил меня, как только я приехал в Петербург… (Он) заслужил мое уважение большой независимостью своего образа мыслей и своей правдивостью, которые в связи с выдающимся умом доставили ему, как я скоро узнал, положение одного из наиболее влиятельных и внушавших страх критиков».

Вагнер оценил незаменимую помощь Серова в организации концертов в России. В своих мемуарах немецкий композитор писал: «Он хлопотал о переводе на русский язык… отрывков моих опер, а также моих объяснительных программ. Он оказал мне чрезвычайно полезное содействие при выборе подходящих певцов… Между мною и Серовым существовало полное согласие. Меня самого, все мои стремления он понимал с такой ясностью, что нам оставалось беседовать только в шутливом тоне, так как в серьезных вопросах мы были с ним одного мнения».

16 мая 1863 года состоялась премьера «Юдифи» на сцене Мариинского театра. Воспользовавшись предстоящим событием, Серов сделал попытку помириться со Стасовым и послал ему приглашение на генеральную репетицию. Но тот приглашение проигнорировал. Хотя на премьеру все же пришел. И то, что он наблюдал в театре, повергло его в шок. Успех оперы был полный и впечатляющий. Стасов же воспринял этот успех как оглушительную пощечину себе лично. На следующий день в подробном письме находившемуся на Кавказе М. А. Балакиреву он делится впечатлениями от увиденного и услышанного: «Вы не можете иметь понятия о том, что вчера было. Все без памяти, все в восхищении, какого не запомнят, все твердят, что у нас ничего подобного никогда еще не бывало… что после Глинки Серов первый… Мне кажется, если б кто-нибудь сморкнулся или кашлянул, его бы без всякой жалости тут повесили».

Далее в письме следует взрыв упреков и обвинений в тупости петербургской публики, которую Серов, по словам Стасова, своей оперой принудил «путаться в дремучем лесу». Письмо завершается воплем отчаяния: «Милый, я просто погибаю, я задыхаюсь. Куда пойти, с кем говорить?»

Несомненный успех «Юдифи» вызвал у одной из юных поклонниц Серова, которая, кстати, следила за всеми выступлениями этого яркого полемиста в печати, желание познакомиться с ним. Это была Валентина Бергман, студентка Петербургской консерватории, недавно изгнанная из музыкального пансиона за «свободомыслие». Происходила она из весьма скромной еврейской семьи: ее отец держал в Москве небольшой магазинчик аптекарских товаров. В консерваторию девушка, обладавшая ярко выраженными способностями, попала по стипендии недавно образованного Русского музыкального общества.

Молодой музыкант Славинский, «вхожий к Серову» и знакомый Валентины Бергман, согласился представить ее композитору. Вскоре на квартире Серова состоялась в присутствии Славинского встреча юной студентки со своим кумиром, и впоследствии она подробно описала знаменательный для нее день в воспоминаниях. Завязать беседу поначалу не очень удавалось, и тогда маэстро предложил девушке сыграть ее любимое произведение. Она сыграла фугу Баха и услышала неожиданное замечание: «Так молода и уже так много пережила!» Потом, по предложению Серова, они сыграли баховскую четырехручную фугу, уже вдвоем, на органе. После чего догадливый Славинский, посчитав свою миссию выполненной, откланялся.