Если изгнанники в Вавилоне и оставались тихими и мирными, то не так было с иудеями на родине. В 589 г. до н. э. давление общественного мнения вынудило Седекию пойти на прямое восстание против Навуходоносора, и в 588 г. до н. э. Иерусалим был осажден халдейскими армиями, в то время как остальная часть государства, за исключением одного-двух опорных пунктов, была занята.

С горечью Иеремия предсказал, что город будет разрушен, если продолжится сопротивление, и что единственный выход — его сдача. Фактически он убеждал отдельных людей сдаться, если даже город в целом будет продолжать сопротивляться:

Такое заявление, естественно, рассматривалось патриотами Иудеи как измена. Выступление египетского войска вынудило Навуходоносора временно снять блокаду и поспешить на запад, чтобы встретить египтян, и пророчество Иеремии казалось ошибочным. Сеннахирим в свое время столкнулся с подобной проблемой, и осада Иерусалима в то время была снята. Конечно, так могло произойти снова. Но Иеремия предупреждал людей, что этого не будет — и Навуходоносор вернется.

Тем временем Иеремия воспользовался краткой отсрочкой, чтобы попытаться совершить поездку в Вениамин и позаботиться о своей собственности, но был сразу захвачен людьми войска, обвинен в попытке дезертировать к халдеям и посажен в темницу.

Однако Седекия не был уверен в том, что Иеремия лжепророк, каким он казался в настоящий момент, когда халдейская осада была снята. Очевидно, у него закралось сомнение в правильности своих действий, и он советовался с Иеримией даже в то время, когда тот был в темнице (но тайно, чтобы избежать огласки среди националистов).

Иеремия упорствовал. Он предсказывал только несчастья. Однако, пока он был в темнице, он сохранял надежду на далекую перспективу, поскольку он для вида распорядился о закупке земли в своем родном городе, как указание на то, что придет день, когда Иудея станет снова еврейской и закупки, которые он теперь сделал, будут приносить пользу.

Халдеи вернулись к осаде, и в 587 г. до н. э. город был взят, разграблен и сожжен. Стены были разрушены, и был также разрушен Храм. Седекия попытался бежать, но был схвачен. Его дети были казнены, и сам он был ослеплен. Затем начальник отборных войск Навуходоносора Навузардан приказал приступить ко второй высылке иудеев:

Так, в результате двух последовательных депортаций, одной в начале царствования Седекии в 597 г. до н. э. и другой в конце 586 г. до н. э., была уведена в плен вся элита. В Вавилоне изгнанники сохраняли сущность иудаизма и развивали ее далее. Первые пять книг Библии (Пятикнижие, или Тора) получили письменную форму, и, по-видимому, также Книга Иисуса Навина.

Однако в Иудее оставшиеся бедные люди, которым не хватало религиозной искушенности, поддерживали яхвизм более примитивного вида. Когда через полвека иудеи начали возвращаться из Вавилона в Иудею, они считали свою собственную развитую версию яхвизма единственной истинной формой и презирали и враждовали с оставшимися в Иудее. Поэтому они с большим трудом смогли восстановить Храм вопреки враждебности местных жителей.

Однако не все иудеи вернулись из Вавилона. Даже после восстановления Храма и стен Иерусалима важные общины иудеев оставались в городах Вавилонии. Они оставались там на протяжении всего библейского периода и долгое время после него. После разрушения Второго храма римлянами в 70 г. Вавилония стала центром еврейской интеллектуальной жизни в течение тысячи лет.

Еврейское сообщество в Вавилонии оставалось важным на протяжении всего периода обновленного персидского господства, которое последовало после упадка Селевкидской империи, и в течение нескольких столетий после завоевания этой области мусульманами-арабами. Только в 1100 г., когда область стала жертвой непрекращающихся гражданских войн и господствующей власти сравнительно нецивилизованных турецких племен, вавилонские центры изучения еврейского языка исчезают, в то время как новые центры появляются в мусульманской Испании.