После рождения дочери и лечения Софии в Вене Франц Фердинанд стал еще более возмущенным неподобающим отношением к его супруге. Столица была не самым лучшим местом для них с постоянными угрозами прервать сложившуюся идиллию. Эрцгерцог принял судьбоносное решение, которое только отдалило его от своих будущих подданных. Замшелый императорский двор ничего не мог дать для них и сулил только неприятности. Начиная с 1901 г. эрцгерцог и его принцесса старались проводить как можно меньше времени в Бельведере и появлялись там только тогда, когда это требовали официальные обязательства. Вместо этого они нашли утешение и смысл жизни в семейном кругу, закрывшись в нем от враждебного мира. «Моя Софи, — признавался эрцгерцог, — все для меня в этом мире. Она — моя радость и мое будущее. Я просто не могу себе представить свою жизнь без нее!»

29 сентября 1902 г. во время пребывания в Бельведере Софи родила второго ребенка. На этот раз это был сын, Максимилиан Карл Франц Майкл Хуберт Антон Игнатий Иосиф Мария, урожденный принц Гогенберг и, как и его сестра, обладавший после рождения правом на титул «Высочество». «Уважаемая леди и ее ребенок в добром здравии», — писала одна венская газета. У ребенка даже был крестный отец из Габсбургов — дядя Франца Фердинанда, эрцгерцог Карл Стефан. Во время крещения ребенка в маленькой часовне в Бельведере отец Лауренц Майер (Laurenz Mayer), священник из императорского дворца Хофбурга, бывший личный духовник императора и человек, обладающий религиозными и официальными полномочиями, сделал необдуманный комментарий, который принес Францу Фердинанду и Софии бесконечные неприятности. В каноническом праве, произнес Майер, нет ни одного положения, которое позволило бы отцу отказаться от прав еще не рожденного ребенка. Поскольку именно это сделал эрцгерцог в 1900 г., как продолжал дальше Майер, следовательно, его клятва недействительна и Макс имел право претендовать на престол. Эти безрассудные слова пронеслись по всей Вене и «бросили тень на Франца Фердинанда».

Сплетни вспыхнули с новой силой в 1904 г., когда 27 мая в Конопиште родился второй сын, Эрнст Альфонс Франц Игнац Иозеф Мария Антон. Никто не знал, что думать: будут ли эти сыновья править империей после своего отца? Высказывалось даже предположение, что папа римский мог признать недействительными обеты, данные Францем Фердинандом в 1900 г., и, таким образом, расчистить дорогу к трону для его сыновей. Эта идея повергла Франца Иосифа в ужас. «Я не могу не опасаться того, — якобы сказал он, — что когда я умру, мой племянник откажется от всех своих обещаний относительно права наследования его детей от этого брака и, таким образом, нарушит законную линию наследования престола. Едва ли нужно говорить о том, что это будет значить. В моем Доме будут посеяны семена раздоров».

Эти слухи и спекуляции помещали одного человека в центр всего водоворота: Франца Фердинанда. Эрцгерцог не отказался от своих клятв именно потому, что это религиозные клятвы. Его «глубоко религиозные чувства, — настаивал Айзенменгер, — не позволят даже появиться такой мысли, как возможность нарушить присягу». Сейчас даже противники эрцгерцога соглашались в том, что он «был человеком чести и хорошим католиком, не способным нарушить клятву, данную на Библии». Когда спрашивали самого Франца Фердинанда, он давал такой же ответ: его детям предначертано быть аристократами, землевладельцами, «не имеющими материальных забот и умеющими радоваться жизни», — но не более того. Про «корону Габсбургов» эрцгерцог как-то сказал: «Это терновый венец, и нет никого из рожденных, кто был бы ему рад. Отказ от моего отречения никогда не будет даже рассматриваться!»

Но в тепличной атмосфере Венского двора реальные факты никогда не были препятствием для интриг и злобных сплетен. С самоизоляцией и уходом в частную жизнь Франца Фердинанда и Софии слухи процветали. Даже Айзенменгер признавался, что эрцгерцог стал «одним из самых ненавистных людей в Австрии». «Из темных уголков императорского дворца Хофбурга, — писал один венский аристократ, — устно и через страницы газет, неуловимые и всепроникающие слухи прокладывали путь к своим жертвам. Они подменяли собой факты и становились достоянием истории. Все попытки их опровержения были безжалостно раздавлены».

Из Венского императорского двора продолжали расползаться темные и зловещие слухи о мании величия и даже о безумии Франца Фердинанда и Софии. Сплетни утверждали, что Франц Фердинанд и София так часто отсутствовали в Вене потому, что эрцгерцог периодически оказывался тайно запертым в некоторых отдаленных своих убежищах. Говорили, что он проводил дни, что-то бубня себе под нос и играя в свои детские игрушки; что он стрелял из револьвера по мебели и часам; что он, как-то раз находясь в приступе ярости, располосовал мечом обивку вагона поезда, в котором он ехал; что он жестоко обращался со своими слугами и часто устраивал на них охоту; что половину прислуги в его доме составляли на самом деле врачи-психиатры.

Такой бред процветал среди Императорского двора. Но многие подобные сказки начинали казаться правдой именно потому, что эрцгерцог выглядел для людей таким далеким, а при редких своих публичных выступлениях он чувствовал себя явно неуютно. Ему не хватало того, как вспоминал Стефан Цвейг, «что важнее всего для тех, кто хотел завоевать истинную популярность в Австрии, — привлекательной внешности, природного обаяния и дружелюбия. Я частенько наблюдал его в театре. Он сидел в своей ложе — мощная, широкоплечая фигура с холодным, неподвижным взором. От него невозможно было увидеть ни одного дружелюбного взгляда, обращенного к собравшимся людям, ни бурных аплодисментов, обращенных к актерам после представления. Вы не сможете увидеть его улыбки или фотографии, на которой он бы выглядел расслабленным и непринужденным».

Франц Фердинанд не обладал талантом выглядеть на публике очаровательным принцем и не прилагал ни малейших усилий, чтобы завоевать популярность и признание. «Он никогда не мог заставить себя сделать даже малейшие поклоны в сторону репортеров прессы или других средств информации, от которых зависело формирование у людей благоприятного или отрицательного мнения, — рассказывал Чернин. — Он был слишком гордым, чтобы подавать в суд ради поддержания собственной популярности». Он не демонстрировал себя как преданного мужа и отца, или как человека либеральных идей, или как наследника, выступающего за обновление разваливающейся монархии. Поскольку он не любил говорить об этом, люди верили в то, что им казалось правдой. «Те, кто меня знает, — комментировал эрцгерцог, — никогда не поверят в неправду, а остальные узнают все сами в один прекрасный день».