Театром Жаров увлёкся в детстве, когда по воскресеньям стал посещать благотворительные показы спектаклей в знаменитом Театре Корша. За короткое время он пересмотрел там многие постановки; «Недоросля», «Ревизора», «Двенадцатую ночь», «Двух сироток» и другие спектакли. Однако об актёрской профессии тогда ещё не помышлял, поскольку надо было помогать отцу зарабатывать на пропитание. Поэтому, окончив высшее городское училище, Жаров устроился учеником наборщика в типолитографию Бахмана. Как было записано в его расчётной книжке: «Пятьдесят копеек в день на харчах отца».

Между тем, как ни трудна была жизнь, но всё свободное время Жаров посвящал самообразованию. Ходил на лекции в епархиальный дом в Лиховом переулке, затем стал слушателем народного университета Шанявского. Однако в 16 лет Жаров случайно попал в массовку спектакля «Капитанская дочка» в театре Зимина, что на Большой Дмитровке, и окончательно решил, что станет артистом. Он записался в театр бессловесным статистом, гонорар которого составлял всего лишь несколько копеек. И целых два года тянул эту унизительную лямку. Тогда же впервые снялся в кино: в фильме «Царь Иван Васильевич Грозный» сыграл крохотную роль молодого опричника (кстати, роль царя в нём сыграл Фёдор Шаляпин).

Осенью 1916 года Жаров решает идти учиться на актёра. Он пробовал поступить сразу в несколько театральных училищ, в том числе при Малом театре и МХАТе, но ни в одно из них не попал. В итоге ему пришлось вернуться в Театр Зимина всё в ту же бессловесную массовку.

В феврале 1917 года Жаров попадает в водоворот революционных событий и на время забывает о театре: записывается милиционером в народную дружину. Участвует в разоружении городовых, охраняет Государственную Думу. Однако потом в дело вмешивается мама Жарова, которая запирает сына под «домашний арест». После чего Жаров уходит из милиционеров и возвращается в Театр Зимина, но не в качестве актёра, а в роли режиссёра-администратора. Именно там его и застали события октября 17-го.

В те дни в Москве было по-настоящему жарко — шли бои между большевиками и представителями законной власти, Жаров выбрал сторону первых и записался добровольцем в дружину, которая стояла заставой в Камергерском переулке. Но длилось это недолго: в первую же ночь застава вступила в бой с противником и Жаров оказался в самом пекле побоища. Именно тогда он впервые в жизни увидел, как убивают людей. Это произвело на него такое сильное впечатление, что Жаров после этого слёг и три дня провалялся в горячке. И в дружину больше не вернулся.

В 1918 году Жаров стал студентом Театра-студии художественно-просветительского союза рабочих организаций. Но через год руководитель студии Фёдор Комиссаржевский уехал в Англию, и его детище было закрыто. После этого Жаров записывается в Передвижной фронтовой театр, где едва не умирает. Но не от шальной пули какого-нибудь белогвардейца, а от тифа, который свирепствовал в те годы по всей России. В течение девяти дней Жаров валялся в беспамятстве и был на волосок от смерти. Но судьба оказалась к нему благосклонна: он выздоровел.

Жаров вернулся в Москву и поступил в труппу Театра имени Сафонова. Играл почти каждый день: Тринкуло в «Буре» Шекспира, Лепорелло в «Каменном госте» Пушкина, в комедиях Мольера. Однако, несмотря на столь плотную занятость, жил Жаров в ту пору небогато: актёрские ставки были небольшими. Поэтому, когда в стране наступил нэп, Жаров стал параллельно выступать по ночам в частном кабаре «Не рыдай!», которое помещалось в двухэтажном флигеле в Каретном Ряду, близ сада «Эрмитаж». Он пел там куплеты, читал скетчи-диалоги.

В начале 20-х Жаров поступил в Театр РСФСР-1 под руководством Всеволода Мейерхольда, где сразу же стал получать главные роли. Однако спустя пять лет Жарову стало неуютно в этом театре и он уезжает в провинцию: три года играет в Баку, затем один сезон в Казани. На рубеже 30-х Жаров возвращается в Москву и поступает в Реалистический театр. А потом семь лет играет у Таирова в Камерном театре. Именно тогда к нему и приходит слава. Правда, не в театре (там она придёт к нему чуть позже, когда он сыграет Алексея в «Оптимистической трагедии» в паре с гениальной Алисой Коонен), а благодаря «великому звуковому» — кинематографу.

Как мы помним, свою первую роль в кино Жаров сыграл ещё подростком, в 1915 году. Потом, уже став профессиональным артистом, он снялся ещё в нескольких немых фильмах, причём среди них были и принадлежащие маститым режиссёрам: Якову Протазанову (у него Жаров снялся в пяти картинах), Всеволоду Пудовкину, Борису Барнету, Льву Кулешову. Однако везде талантливому актёру перепадали сплошь одни эпизоды, из-за чего его так и звали — «актёр окружения». Так продолжалось до 1930 года, когда режиссёр Николай Экк, который работал с Жаровым в Театре Мейерхольда, приступил к съёмкам первого советского звукового фильма «Путёвка в жизнь», рассказывающего о борьбе с беспризорностью. В нём Жарову была предложена первая главная роль в жизни, но роль необычная: он должен был играть главного злодея — бандитского главаря Фомку Жигана. Услышав это, Жаров удивился: «Убийц играть мне ещё никто не предлагал». На что режиссёр ответил: «Потому и беру тебя, что ты не похож на жулика и убийцу». Именно эти слова и решили исход дела: Жаров согласился. Хотя на тот момент должен был сниматься у Юлия Райзмана в фильме «Земля жаждет» в роли честного комсомольца. Узнав о том, что Жаров променял эту роль на роль убийцы, Райзман обиделся на Жарова и прекратил с ним всяческое общение. Так и сказал: «Я освобождаю тебя и от картины, и от нашей дружбы!»