Хотя его здоровье медленно улучшалось, он всё ещё был сильно подавлен, и когда принц Уэльский увидел своего отца в первый раз за четыре недели в воскресенье 19 апреля, король «постоянно и неоднократно говорил о себе, как об умирающем, он решил уехать за границу… передать правление принцу… Он отвёл сына в комнату, где его последний раз держали взаперти, и пожаловался на то, как его лечили, словами самыми трогательными».

Предполагалось, что Уиллисы уедут в конце марта, но отчасти по просьбе дочери короля принцессы Елизаветы, которую всё ещё тревожило состояние здоровья отца, и к ярости короля, они остались. Почти буквально они «похитили» своего августейшего пациента и держали его фактически в заточении до середины мая. «Я поговорил с ним, — писал Томас Уиллис, — о его состоянии и о том, что необходимо немедленно снова перевести его под строгое наблюдение. Его величество сел и очень побледнел… и глядя на меня очень сурово, воскликнул: „Сэр, пока вы живы, я вас никогда не прощу!“».

Однако к началу июня он достаточно поправился, чтобы поехать в Уэймут для дальнейшего выздоровления. «Морские купания, — сообщал он своему другу епископу Херду из Вустера 20 октября 1801 г., — как всегда, подействовали на меня благоприятно, и по правде говоря, это было крайне необходимо, так как жестокая лихорадка, которой я переболел прошлой зимой, оставила много неприятных ощущений… Они почти совсем прошли. Я вынужден быть крайне осторожным и избегать всякого переутомления…»

Через три года, в феврале 1804 г., у него был ещё один короткий приступ, снова как будто бы вызванный простудой из-за того, что на нём была мокрая одежда. Когда премьер-министр Генри Аддингтон хотел послать за Уиллисами, герцоги Кент и Камберленд, сыновья короля, отказались впустить их на территорию, сказав, что если король их увидит, это вызовет у него «такое душевное раздражение, при котором можно ожидать гораздо худших последствий». Вместо них был призван другой «доктор для сумасшедших», Сэмюэл Симмонс, врач больницы Св. Луки для умалишённых, чтобы руководить лечением короля; но он использовал такие же методы, что и Уиллисы, и король полюбил его не больше, чем его предшественников. Этот приступ, однако, длился сравнительно недолго, и к концу марта в бюллетене было объявлено, несколько преждевременно, что «его величеству гораздо лучше, и, по нашему мнению, он скоро совершенно поправится».

На самом деле король продолжал проявлять чрезмерную раздражительность, и особенно его выводил из себя этот «ужасный врач» Симмонс. Снова виги, обвиняя Уильяма Питта и кабинет в сокрытии правды о состоянии здоровья короля, начали разговоры о регентстве. Но к концу июля 1804 г. Георг был достаточно здоров, чтобы назначить перерыв в работе парламента, и снова уехал восстанавливаться в Уэймут. Его врач, сэр Фрэнсис Милман, думал, что ему лучше не купаться в открытом море. Снова напряжение сильно сказалось на его семье, приведя к фактическому разделению между королём и его женой, так как королева Шарлотта не могла заставить себя возобновить супружеские отношения, на что король, вероятно, самый добронравный из монархов Ганноверской династии, сказал в шутку, что ему, наверное, придётся завести любовницу.

Такие приступы неизбежно расшатывали здоровье короля и психическое и физическое, тем более что теперь недолго оставалось до его семидесятилетия. Какова бы ни была природа болезни короля, она нанесла непоправимый вред его организму даже после очевидного выздоровления. Бремя его королевских обязанностей по мере продолжения кровавой войны с Францией с непредвиденными политическими и экономическими последствиями для его собственного народа было для него чересчур тяжёлым. Он начал терять зрение, у него ослабела способность сосредоточиваться. В 1810 г. его любимая дочь Эмилия заболела и в конце концов умерла.

Вскоре после скромного торжества 25 октября 1810 г. по случаю пятидесятой годовщины восшествия короля на престол его болезнь вернулась. Столь критической была политическая ситуация и столь неопределённы шансы на его выздоровление, что казалось, будто повторяются события 1788–1789 гг., и лорд Гренвилл заметил в письме к лорду Грею:

Принимая во внимание возраст короля — семьдесят два года — потерю зрения и ухудшение здоровья, шансы на полное выздоровление казались незначительными. Неохотно королевский врач сэр Генри Холфорд решил, что нужно снова обратиться к Симмонсу, который прибыл в Виндзор с четырьмя ассистентами и потребовал «отдать короля ему в полное распоряжение», и в этой просьбе ему сначала отказали. Но король вёл себя так буйно, что снова пришлось надеть на него смирительную рубашку. У него бывали тихие периоды, когда он играл на клавесине мелодии, которые первоначально принадлежали Генделю; он что-то несвязно бормотал, и опять проявилось его навязчивое увлечение леди Пембрук, которая теперь была старой дамой семидесяти пяти лет; она дожила до девяноста трёх. «Они отказываются, — жаловался он, — отпустить меня к леди Пембрук, хотя всем известно, что я на ней женат; но хуже всего то, что этот бессовестный негодяй Холфорд (его врач) был на нашей свадьбе, а теперь имеет наглость отрицать это мне в лицо». Он пять раз поклялся на Библии, что «он будет верным своей дорогой Элизе, которая пятьдесят пять лет была ему верна». «Леди Пембрук, — написала Генриетта, леди Бессборо в сентябре 1804 г., — говорит, что король преследует её любовными письмами, и что она вынуждена была написать ему очень серьёзно, чтобы он перестал — она на это очень надеется, — но я должна отдать должное его вкусу, она самая красивая женщина семидесяти лет из всех, кого я видела». Он разговаривал об учреждении «женского ордена», возможно, наподобие ордена Подвязки. Современники находили эту мысль крайне неподходящей.

Стало ясно, что регентство было политической необходимостью. Премьер-министр Спенсер Персевал пытался заверить короля, «что они придерживаются примерно такого же курса, как тот, который был одобрен его величеством после его болезни в 1789 г., чтобы после своего выздоровления он нашёл всё насколько возможно в том же состоянии, как и раньше». Хотя королю трудно было сосредоточиться, он очень здраво отозвался о предложении. Принц Уэльский по совету сэра Генри Холфорда, который предупредил его, что смена правительства может отрицательно сказаться на здоровье его отца, оставил кабинет неизменным. Почти незаметно Георг III практически перестал быть королём.

Вероятно, было бы гораздо милосерднее позволить старику предаваться своим чудачествам и сохранить его связи с семьёй, но так как его психическое расстройство перерастало в старческий маразм, его держали в изоляции, и он, отделённый от семьи, жил в мире своего собственного больного воображения, потеряв, как выразился лорд Окленд: