О щедрости маленького Людвига передает Карола фон Ширндинг в своих воспоминаниях из институтских годов: «Однажды Людвиг обнаружил в маленькой капелле в конце сада Нимфенбурга фигурку воскового младенца Христа, который был уложен на соломе. Его брату Отто было откровенно жаль, что младенец Христос лежал на грубой подстилке. Людвиг подумал: „Мы можем помочь ему“. Осторожно он поднял младенца Христа и положил шелковый платок на сено. „Ткань новая“, – сказал он младенцу Христу и положил его сверху. Принц Отто указал, что дома спохватятся, если заметят отсутствие платка. Людвиг возразил ему: „Определенно нет, Отто, только побранят, если мы теряем что-то, то только из-за беспорядка. Однако этот платок послужит теперь более высокому господину, чем я, и я счастлив, что смог это сделать для него“».

Экс-король дедушка Людвиг и экс-королева бабушка Тереза с удовольствием по воскресеньям собирали всех детей во дворце Виттельсбахов. По воспоминаниям кузена Людвига, принца Леопольда, от бабушки дети получали картинки для раскрашивания и немного карманных денег, играли в башне с попугаями и парой обезьянок, подарком из Греции. Дедушка и бабушка сами лично обслуживали детей за столом, раздавая шоколадный напиток и кренделя, угощая бургерами и картофельным пирогом.

Таким образом, мы видим, что кронпринц Людвиг и его брат Отто с детства были окружены не только детскими товарищами по играм, но и взрослыми. Ранние утверждения, что баварские принцы ни с кем в детстве не дружили, не соответствуют действительности. И лишь только становясь взрослее, кронпринц Людвиг предпочитал все чаще оставаться наедине с самим собой, и общение с товарищами сокращалось.

Однажды теолог Игнац фон Дёллингер застал Людвига одного в затененной комнате, сидящего на диване. Он поинтересовался у кронпринца, не скучает ли тот, и предложил ему почитать, чтобы чем-то заняться. Людвиг ответил, что ему совсем не скучно и он себя так развлекает, выдумывая различные вещи.

Весну и лето Людвиг и его брат Отто проводили в замке Хоэншвангау, осень в замке Нимфенбург, а зиму в Мюнхенской резиденции. В замке Хоэншвангау Людвиг провел не только детство и юность, но и большую часть своей жизни. На первом этаже замка располагались апартаменты Марии, на втором – комнаты Максимилиана, а на третьем этаже детские комнаты. Живописная природа Альгойских Альп, горные ущелья, голубые озера Альпзее и Шванзее и изумрудный лес завораживали юного принца. Именно в Хоэншвангау зародилась любовь Людвига к природе, особенно к горам, и эта привязанность сохранилась на протяжении всей его жизни. Поэтому совсем неудивительно, что три его замка – Нойшванштайн, Линдерхоф и Херренхимзее – были построены в живописных уголках. Уже будучи королем, Людвиг выступал защитником окружающей среды.

Не только природа, но и сам замок Хоэншвангау с его выразительными фресками, написанными Михаэлем Неером и Лоренцо Кваглио на тему средневековых сказаний, будоражили богатое воображение Людвига. Особенно впечатляли его изображения и легенда о лебедином рыцаре Лоэнгрине. Изображенные фигуры Средневековья, благородные рыцари, императоры, короли, герцоги и другие герои германского эпоса пробуждали романтические фантазии Людвига, вызывая растущее чувство самосознания. Именно в этой почве романтических грез проросли семена – первые идеи о строительстве замков, о чем передает Луиза Кобелль: «Изображения средневековых сказаний на стенах замка Хоэншвангау давали ему часто повторное наглядное обучение, и вид лебедя оказывал на него непреодолимое влияние, которого он там видел во всех возможных изображениях повсюду. Ежегодное пребывание в этом рыцарском замке стимулировало оживленную фантазию Людвига больше, как романтизм, унаследованный Людвигом от отца, как и от дедушки любовь к искусству и строительству».

Также у поэта Карла Хагеля можно прочесть, как сказочно-романтическая аура Хоэншвангау влияла на юного Виттельсбаха: «Если молодой Людвиг летом приезжал в Хоэншвангау, прошлое манило его также в этом родительском доме – легенды и история на стенах. Там он видел рыцаря-лебедя Лоэнгрина, как он на Рейне трубит в рог, чтобы объявить о своем приезде императору; тут – мать Карла Великого в тихом Вюрмтале ожидала своего спасителя и мстителя. Он видел своих предков высоко на коне, с обнаженным мечом в вечном Риме и под пальмами на Ниле. Там он видел всех этих императоров и герцогов, миннезингеров и крестоносцев из хроники Хоэншвангау… Когда Людвиг смотрел вдаль из сада замка, где шумит высокий водопад, то находил мир прекрасным. Разве это не естественно, что юное воображение населило прекрасный мир с теми высокими цветными образами?»

Замок, пронизанный лебединой символикой, неземной славой воинов и героев, а также сказки няни и книжки с картинками со сказаниями про Нибелунгов стали второй реальностью, сказочным местом для впечатлительного ребенка, который любил перевоплощаться, играя и ассоциируя себя с любимыми героями, особенно с лебединым рыцарем Лоэнгрином.

Людвиг и его брат часто ходили на Альпзее и Шванзее кормить лебедей, иногда в сопровождении королевы Марии. В этой атмосфере романтических грез лебедь стал одной из любимых птиц Людвига.

Почти до девяти лет Сибилла Майльхаус оставалась воспитательницей Людвига. В 1854 году она полностью покинула придворную службу. Даже после ухода Майльхаус Людвиг не переставал с ней общаться и вел переписку до самой смерти воспитательницы 29 апреля 1881 года. За тридцать лет переписки Людвиг написал своей «дорогой Майльхаус» 82 письма.

1 мая 1854 года воспитание кронпринца было доверено 52-летнему генерал-майору графу Теодору де Ла Розе Бассе-лету (1801–1864). Он происходил из древнего маркграфского испанского рода де Ла Роза (de la Rosa), который обосновался в испанских Нидерландах. Предки графа состояли на военной службе у баварского курфюрста Максимилиана Эмануэля и были отныне связаны с историей баварской армии. Они назывались с того времени Басселет де Ла Розе и были основателями этой семейной ветви. Граф Теодор Ла Розе был одно время адъютантом короля Максимилиана I. О личной жизни графа известно, что он был женат с 26 ноября 1826 года на баронессе Людовике фон Лойпрехтинг.

После назначения нового воспитателя для Людвига Сибилла еще некоторое время заботилась о его брате Отто. Поэтому Людвиг мог продолжать видеться со своей любимой «Миллау».

Как отмечает королева Мария в своих записях, Людвиг очень тосковал после удаления няни, с которой он вел дальнейшую переписку. Из Хоэншвангау летом 1854 года кронпринц писал своей дорогой воспитательнице: «Я благодарен тебе за дорогое письмо и рад, что ты всегда вспоминаешь обо мне. Я сохраню цветочки, как дружеское воспоминание о тебе…»