После того, как отец Брамса стал участником секстета престижного Альстерского павильона, он в 1830 году получил звание гражданина Гамбурга и женился в том же году на Иоганне Генрике Кристиане Ниссен, державшей галантерейный магазин. Но если Иоганн Якоб был не только веселым, но и необычайно красивым молодым человеком, то Кристиану, бывшую на 17 лет старше, несмотря на прекрасные голубые глаза, никак нельзя было назвать красавицей. Кроме того, она отличалась хромотой и болезненностью. Тем не менее, из 120 сохранившихся писем, адресованных Иоганнесу, мы узнаем, что она, происходя из семьи учителей, пасторов и юристов, обладала поразительным чувством прекрасного, ее необычайно радовали красивые явления природы, картины, стихи. В первые годы брака на свет появились трое детей: Элиза, Иоганнес и, наконец, Фриц.

Иоганнес родился 7 мая 1833 года в Гамбургском квартале Шлютерсхоф, где семья занимала квартирку, состоящую из комнаты с кухней и крошечной спальни. Вскоре после этого родители переселились на Ультрих-штрассе, где жили и раньше, пользующуюся дурной славой из-за множества расположенных здесь борделей. Обитатели этой местности сетовали на то, что очень плохо для семей с детьми селиться здесь, так как на каждом шагу попадаются проститутки. Следует принять во внимание, что Иоганнес еще ребенком постоянно сталкивался с «полусветом», а юношей был вынужден жить дверь в дверь со шлюхами и сутенерами. Маленький Иоганнес неоднократно мог наблюдать в этом Портовом квартале преступления, пьянство, разврат, что, без сомнения, производило на него тягостное впечатление. С точки зрения психоанализа, эти воспоминания юности и жестокие наглядные жизненные уроки могли бы объяснить некоторые странности Брамса в более зрелые годы и, может быть, его некоторые трудности в общении с противоположным полом. Насколько его отягощали воспоминания детства можно понять из слов Евгении Шуман, дочери Роберта Шумана: «Он сам однажды сказал моей матери, что еще в детстве получил такие впечатления и видел такие вещи, которые оставили в его душе неизгладимый черный след».

Если в биографиях Брамса постоянно и встречаются сведения о том, что он для поправки дел семьи должен был вместе с отцом музицировать в злачных местах и получал ужасные впечатления от разгульной ночной жизни Гамбурга, то это не соответствует действительности. «Образ златокудрого, голубоглазого мальчика, а затем отрока, играющего на потребу публики самого низкого сорта — это нечто душераздирающее», — пишет Кальбек, основываясь на замечании Брамса о том, что он «часто играл на пианино в кабаках». Но эти «кабаки» были ничем иным, как харчевнями для беднейших слоев населения и не имели ничего общего со злачными местами. Насколько передергиваются факты, доказывает часто повествуемая история о том, что юный Брамс за жалование в «два таллера в неделю» играл на танцульках в портовом кабачке. В действительности речь шла о частных вечерах в доме крупного гамбургского негоцианта Шредера! Если критически подойти к источникам, то выяснится, что Иоганнес действительно, начиная с 13 лет, регулярно играл на фортепиано в харчевнях для простолюдинов, а иногда и в заведениях более высокого пошиба, но никогда не работал в кабаках, пользовавшихся дурной славой. Ребенком он вообще нигде не выступал публично и, как пишет Христиан Оттерер, коллега отца Иоганнеса по оркестру в Альстер-павильоне: «При всем желании, не могу вспомнить, чтобы Иоганнес в детстве играл где-нибудь в кабаках; я в то время ежедневно встречался с его отцом и, конечно, знал, если бы такое было на самом деле. Якоб был спокойным, порядочным человеком, следившим затем, чтобы Ханнес прилежно учился, и он ни в коем случае не хотел, чтобы мальчик выступал публично, пока не пришло для этого время».

Ни у кого не возникали тогда сомнения ни по поводу необычайной одаренности Иоганнеса, ни по поводу того, что он пойдет по стопам отца. С самого начала мальчик заинтересовался фортепиано, и поэтому в возрасте семи лет отец отвел его к именитому пианисту Отто Фридриху Виллибальду Косселю. Будучи 10 лет от роду, Брамс уже выступал в престижных концертах, где исполнял партию фортепиано в квинтете ор. 16, Бетховена и квартете Моцарта, что давало ему возможность совершить турне вундеркинда по Америке. К счастью, Косселю удалось отговорить родителей Иоганнеса от этой идеи и убедить их, что мальчику лучше продолжить обучение у педагога и композитора Эдуарда Марксена. Марксен вскоре заметил способности ученика к композиции и постарался развить их. 30 лет спустя Марксен писал о юном Брамсе: «…очевидность больших успехов укрепила меня в намерении и далее развивать этот выдающийся талант. Когда до нас дошла весть о смерти Мендельсона, то в кругу ближайших друзей, глубоко убежденный в своей правоте, я сказал: „Великий мастер покинул сей мир, но более великий дар расцветает в Брамсе“».

Иоганнес был хрупким, часто страдающим от головных болей мальчиком. Возможно, именно долгое пребывание в душных, прокуренных локалях и постоянное недосыпание из-за работы по ночам стали причиной его юношеского малокровия. Как он позже рассказывал своему другу, поэту Клаусу Гроту, что когда он возвращался по утрам домой, то его качало из стороны в сторону от сильного головокружения. Коссель описывает семилетнего Брамса, как «хрупкого, бледного ребенка с голубыми глазами и целой гривой густых волос до плеч». Он был маленького роста, а хрупкость и изящество даже в двадцать лет придавали ему мальчишеский вид, чему способствовал и высокий голос.

В 14 лет Иоганнес окончил частное реальное училище Иоганна Фридриха Гофманна, к которому всю жизнь относился с большой благодарностью, о чем свидетельствует фотография с надписью «от благодарного ученика», которую Брамс прислал в подарок директору к 50-летнему юбилею в 1878 году. После окончания школы, наряду с продолжением музыкального образования, отец стал привлекать Брамса для вечерней работы в различных местах, что, возможно, и повлияло отрицательно на рост его организма. Но, может быть, он унаследовал рост и сложение от матери, которая была худенькой и низкорослой. Во всяком случае, складывается впечатление, что именно упомянутые психические и физические перегрузки и, в особенности, частое недосыпание оказали отрицательное воздействие на его здоровье. Однако позже Брамс говорил, что, хотя в юные годы ему часто приходилось трудно, он не жалеет об этом, «…так как это время очень помогло мне в музыкальном развитии».

Тем не менее, несмотря на частые головные боли, Иоганнес не производил впечатления болезненного ребенка, но бледность и хрупкость мальчика наводили на мысль о том, что необходимо позаботиться о его здоровье. Именно поэтому Адольф Гиземанн, частый гость в Альстер-павильоие и владелец бумажной мельницы в Винзене, пригласил Иоганнеса погостить в своем загородном доме на лоне природы. Все, что пережил мальчик во время продолжительного пребывания вдали от городского шума и сутолоки, навсегда отпечаталось в его душе. Именно природа, носитель всего живого, способствовала появлению многих творческих идей музыканта.

Большое значение для анализа дальнейшего поведения Брамса имеет также еще одно обстоятельство из времен его юности. Из письма его матери, опубликованного только недавно, которое она отослала Иоганнесу незадолго до своей смерти, мы узнаем потрясающие подробности семейной жизни, которые могли бы дать нам кое-какие объяснения отдельных странностей характера Брамса. Ввиду важности документа приведем некоторые цитаты: