После распада армии в конце 1917 — начале 1918 года К. К. Гершельман поселился у отца, в Одессе. Здесь он поступил в Новороссийский университет, где стал изучать философию (интерес к ней он сохранил до конца жизни). С формированием «белого движения» К. К. Гершельман вступает в вооруженные силы Юга России и как артиллерист сражается на фронтах Гражданской войны в армии Деникина, а вслед за тем Врангеля. Вместе с армией Врангеля он был морем эвакуирован в Турцию — в Галлиполи, где провел больше года. Там, в марте 1922 г. Гершельман был произведен в капитаны — последний его офицерский чин.

В том же 1922 г. Гершельман через Болгарию, Румынию и Польшу добрался до Риги, откуда переехал в Эстонию, в Таллинн, где уже проживали его братья — Александр и Константин. Сын Карла Карловича хорошо помнит рассказы отца о том, как он приехал в Таллинн с одной небольшой сумкой, в которой умещалось всё его «имущество». Вначале К. К. Гершельман поступил рабочим на лесопилку, позже устроился чертежником в Министерство земледелия [7] .

И все же он испытывал чувство благодарности судьбе. В архиве К. К. Гершельмана хранится множество его записей самого разного характера. В одной из записей под характерным названием «Благодарность» он позже отмечал:

«Из моих одноклассников, товарищей по школе почти все погибли (две мировые войны, революция). Я — счастливец, вытянувший выигрышный билет: я вижу окно, деревья, облака — они ничего не видят. У меня есть глаза, уши, ноги, руки, плечи — у них ничего. Что я могу еще требовать от жизни?».

И такое мироощущение осталось до конца жизни близким Карлу Карловичу Гершельману.

В 1926 г. К. К. Гершельман женился на художнице Елизавете Бернгардовне Розендорф (1898–1984), с которой познакомился на работе: она также трудилась чертежницей, правда, штатной, в Министерстве земледелия. Е. Б. Розендорф-Гершельман была по национальности эстонкой, но с юных лет жила вместе с родителями в России, закончила в 1916 г. гимназию в Петрограде и после этого занималась в знаменитом Училище технического рисования барона Штиглица, в мастерской С. Чехонина, — расписывала фарфор. В 1920 г. она оптировалась в Эстонию, в Таллинн. Елизавета Бернгардовна с успехом выступала на художественных выставках [8] . Карл Карлович нашел в ней верную спутницу жизни, с которой его связывал и общий круг интересов.

Служба в Министерстве земледелия была скучной, нудной, совершенно не интересной; видимо, именно о ней Гершельман скажет немало горьких слов в своем рассказе «С 11-го на 12-ое июня 1933 года». Всё свободное время Гершельман отдавал живописи и литературе, причем сначала на первом месте была живопись, хотя он и не получил специального художественного образования. Позже, в декабре 1938 года, Гершельман писал своей доброй знакомой, поэтессе из Гельсингфорса Вере Булич:

«…насчет моих занятий живописью. Прежде я, действительно, занимался преимущественно ею и в Ревеле скорее признан именно как художник» [9] .

В 1925 г. в ревельском Русском театре состоялось рождественское представление для детей «Сказка года», организованное Союзом друзей русского ребенка. Декорации и костюмы к этому представлению, оцененные критикой как очень хорошие, принадлежали К. К. Гершельману [10] . С того же 1925 года Гершельман участвовал в местных художественных выставках — Центрального общества эстонских художников (1925–1927, 1930), Управления целевого капитала изобразительного искусства (1928–1930), Общества художников-прикладников (1933), в Русской выставке в Таллинне (1931). Работы Гершельмана были представлены и на зарубежных «репрезентативных» выставках эстонского изобразительного искусства в 1929 г. — сначала в Хельсинки, позже в Любеке, Киле, Кёнигсберге [11] . К. К. Гершельман был автором эскизов декораций к опере Л. Делиба «Лакме» в театре «Эстония» (1930). Забегая вперед, отметим, что его рисунки хранились и в Русском музее под Прагой.

Когда К. К. Гершельман начал писать, мы не знаем. Есть основания предполагать, что он пробовал свои силы в сочинительстве еще до приезда в Эстонию. Но его литературный дебют относится к 1927 г. В этом году Гершельман принял участие в литературном конкурсе, объявленном выходящей в Таллинне газетой «Рассвет». Ему была присуждена вторая премия за рассказ (фактически миниатюру) «Аруна и Харидаза», причем решением жюри это была вообще единственная премия конкурса [12] . Рассказ тогда же был опубликован в газете [13] .

Правда, следующей публикации пришлось ждать почти три года. В 1930 г. в единственном номере литературно-художественного журнала «Русский магазин» (Таллинн) был опубликован фантастический рассказ К. Гершельмана «Арт-Виктор». Любопытно, что обложка журнала была работой Гершельмана-художника. Одним из редакторов «Русского магазина» являлся Ю. П. Иваск, с этого времени наиболее близкий Карлу Карловичу человек.

С начала 1930-х годов в центре занятий К. К. Гершельмана постепенно становится именно литература, оттесняя живопись на второй план. Он принимает деятельное участие в работе тогдашних местных русских литературных объединений [14] . Поскольку Гершельман проживал в Нымме (ныне часть Таллинна, в ту пору — в административном отношении отдельный город), то он становится членом Ныммеского литературного кружка, весьма активно действовавшего в 1932–1934 годах. На заседаниях кружка Гершельман выступает с докладами на литературные и философские темы, участвует в дискуссиях [15] , в конкурсе рассказов на тему «Встреча», в котором лучшим был признан рассказ Гершельмана под тем же названием, посвященный пребыванию А.С. Пушкина в Одессе [16] .

Одновременно К.К. Гершельман участвует в работе старейшего объединения любителей словесности в Таллинне — центрального Литературного кружка, созданного еще в 1898 г. [17] . 30 января 1933 года он выступает на годовом собрании кружка с сообщением о 50-й книге «Современных записок» [18] , в начале 1934 г. избирается члены его правления [19] . На «вечере литературных юбилеев» 26 ноября 1934 г. К. К. Гершельман читает доклад о М. Ю. Лермонтове [20] . Вообще в середине 1930-х годов наблюдается некоторое оживление в деятельности Литературного кружка. Современники связывали это именно с тем, что руководство кружком перешло в руки молодых писателей (П. Иртель, Б. Нарциссов, Ю. Иваск, К. Гершельман, Е. Базилевская) [21] .