По словам современников, Цветков был очень экономен, как человек, долго живший впроголодь и привыкший считать каждую копейку. Многие годы он просто копил деньги, боясь их тратить, но настало время, когда в его жизнь вошла страсть к искусству. Однажды, еще, будучи студентом, он попал в Голицынский музей и впервые увидел уникальное собрание картин. Позже известный коллекционер вспоминал: «Они были для меня откровением… дали мне новое, неведомое наслаждение и новый интерес к жизни». С этих пор Цветков стал постоянно посещать художественные музеи, и не только Москвы и Санкт-Петербурга, но и Берлина, Вены, Берна.

Первая картина Цветкова «Сказитель былин Никита Богданов». В.Д. Поленов, 1876

В 1874 году он познакомился с коллекцией П. М. Третьякова, впервые открытой для широкой публики. «Здесь я буквально жил, изучал картины, отдыхал душой», — писал восхищенный Цветков. Движимый примером П. М. Третьякова, он решил собирать произведения русских художников. Но, не обладая возможностями Третьякова, он был вынужден ограничиться покупкой более доступных ему вещей — в его собрании было немало рисунков, гравюр, этюдов и подготовительных работ (их в собрании около 1500). В папках, сложенных в специальные деревянные шкафы, он хранил драгоценные работы Брюллова, Федотова, Репина и др. Иван Евменьевич в одном из интервью газетчикам как-то признался: «У Третьякова — это громадное, дивное исследование по истории искусства, а у меня только его конспект».

Начало его знаменитой галереи было положено в 1881 году приобретением картины В.Д. Поленова «Сказитель былин Никита Богданов». «Только любовь к картинам своим и чужим, — делился Цветков с братом, — собирание картин составляют для меня высочайшее наслаждение и нравственное успокоение, здесь все мои душевные радости…».

К концу XIX века коллекция Цветкова уже не помещалась в его небольшом доме в центре Москвы. Тогда он задумывает построить для нее большое музейное здание в русском стиле, которое должно было совмещать в себе функции частного жилья и художественной галереи.

Он стал изучать русскую архитектуру XVII в., ездил в Ярославль и Ростов Великий, советовался с известными московскими архитекторами, и, в конце концов, сам составил план будущего дома с точным расположением комнат. За проектом сказочного дома он обратился к известному художнику Виктору Михайловичу Васнецову, автору прославленных полотен «Богатыри», «Аленушка», «Ковер-самолет», «Царевна-Несмеяна», грандиозных росписей в киевском Владимирском соборе и родоначальнику нового неорусского стиля, использовавшего традиции народного зодчества. Его авторству принадлежат несколько зданий, каждое из которых по праву именуется шедевром: фасад Третьяковской галереи, его собственный дом в 3-м Троицком переулке, 13, церковь в подмосковном Абрамцеве и, наконец, Цветковская галерея.

Дом был поставлен на 24 каменных столба, соединенных арками. Техническую часть проекта обеспечивал прославленный мастер московского модерна архитектор Лев Николаевич Кекушев. Но украшения всех четырех фасадов дома (изразцы и раскраска), а также интерьеры были сделаны по рисункам и личным указаниям В.М. Васнецова. Все интерьеры двенадцати музейных залов на втором этаже были выдержаны в едином древнерусском духе: резные деревянные украшения, скамьи, лари. Люстры — точная копия новгородских паникадил времен Ивана Грозного. По словам Цветкова, прославленный художник подошел к задаче очень ответственно: столяры дважды делали деревянные модели дома. В архиве коллекционера остались подробные записи советов Васнецова по поводу того, как должно выглядеть здание.

В. Васнецов. Ковер-самолет

В 1901 году строительство, которое обошлось хозяину в 96 тысяч рублей, было завершено, и набережную Москвы-реки украсил красивый сказочный терем. Вскоре музей был открыт для бесплатных посещений, получив от москвичей новое имя — «Цветковка». Прямо над лестницей гостей встречало большое полотно В. Перова «Ловля рыбы бреднем», за которым Цветков охотился 20 лет. Далее по залам размещались: рисунки и акварели почти всех знаменитых художников России: В. Поленова, В. Маковского, И. Левитана, И. Репина, В. Васнецова. По словам друзей коллекционера, Цветков собирал свою уникальную коллекцию трепетно и очень избирательно, руководствуясь словами художника В. Д. Поленова, не раз повторяя его слова: «Мне кажется, что искусство должно давать счастье и радость, иначе оно ничего не стоит».

В апреле 1909 года москвич Иван Евменьевич Цветков передал в дар любимому городу свою галерею, которой посвятил тридцать лет жизни. К тому времени коллекция насчитывала: свыше 400 картин, почти полторы тысячи рисунков и 36 скульптур. Даритель поставил городу два условия. Первое: он остается пожизненно хранителем музея. Второе: «Если художественное собрание почему-либо исчезнет, например, в случае пожара, то жертвуемый дом не может сдаваться внаймы и служить доходной статьей городу. В этом несчастном случае, который, надеюсь, допущен не будет, дом должен служить целям просветительства или благотворительности, например, для помещения школы, читальни или амбулатории для приходящих больных».

Жена Ильи Репина, писательница Н. Б. Нордман-Северова так описала свои впечатления от посещения галереи: «Подъезжаем к прелестнейшему особняку, выстроенному по рисунку Васнецова. Спокойные, гармоничные пропорции, славный древнерусский стиль, украшения и фризы майоликовые. И. Е. Цветков выстроил этот дом исключительно для своей картинной галереи. И свет, и распределение комнат — все приспособлено для нее… Поднимаемся по широкой лестнице. Весь вестибюль в картинах русских мастеров. Зала вся сплошь увешана. Вдоль стен витрины с рисунками».