Жизнь на «Фабрике» напоминала спектакль-карнавал. «Чтобы взглянуть на наш непрекращающийся праздник, в мастерскую заходили известные люди — Керуак, Гинзбург, Фонда и… Джуди Гарланд, музыканты „Роллинг стоунз“. Контркультура, субкультура, поп, суперзвёзды, игры с освещением, дискотеки — всё, что относят теперь к „молодёжи“, началось, возможно, именно тогда», — утверждал Энди Уорхол.

Его мастерская стала центром современного искусства. Здесь бывали Рудольф Нуреев и Боб Дилан, Теннесси Уильямс и Мик Джаггер, Уильям Бэрроуз и Лайза Миннелли. Именно на «Фабрике» зажглась звезда культовой рок-группы шестидесятых «Velvet Underground» — Уорхол выступил продюсером нескольких альбомов и выполнил дизайн обложки их первого диска с изображением банана, позже ставшего символом массовой культуры.

Мик Джаггер много лет спустя скажет: «Если хочешь узнать, что было самым популярным в тот или иной период, посмотри, что в это время рисовал Уорхол».

Под руководством Уорхола издавался знаменитый журнал «Inter View», публиковавший рассказы о знаменитостях. Позже Энди решил организовать собственное телевидение. Он разработал проект кабельного канала.

Уорхол часто обращался к своим друзьям с просьбой подсказать сюжет будущего произведения. «Это то же самое, что пролистывать журналы в поисках новых тем, — говорил он, — ведь поп-художники использовали образы, которые узнавал каждый, кто бывал на Бродвее, — комиксы, мужские брюки, наборы для пикника, занавески для душа, бутылки кока-колы, все те потрясающие вещи, которые усиленно не замечало предыдущее поколение».

Картины Энди выполнены трафаретной печатью. Таким образом, количество работ может быть любым. Исчезновение разницы между подлинником и копией потрясло устои выставок и продажи произведений искусства.

В 1964 году Уорхол создаёт знаменитый на весь мир образ — Мэрилин Монро. В качестве основы был использован кадр из фильма «Ниагара», где Монро предстала в образе белокурой секс-бомбы с ослепительной улыбкой. Художник представил лицо актрисы как фирменный лейбл.

Затем появилась серия изображений Жаклин Кеннеди. Уорхол оказался верен себе: «Смерть президента не произвела на меня сильного впечатления. Гораздо интереснее, каким это образом телевидение заставило всех печалиться».

Уорхол ничего не делал стихийно, случайно, во всём была глубокая продуманность и логичность. Он часто демонстрировал циничное безразличие к жизни. Узнав, что один из его приближённых покончил жизнь самоубийством, выбросившись из окна, художник возмутился: «Ему следовало меня предупредить, мы сняли бы его смерть на плёнку, какие пропали кадры». Когда утопился музыкант группы «Velvet Underground», Уорхол использовал его предсмертную записку вместо туалетной бумаги.

Опровергая миф о художнике как о творце-одиночке, Уорхол создавал образ художника-звезды, отказывающегося от частной жизни. Для того чтобы подчеркнуть отсутствие индивидуального, Уорхол демонстративно отказывался от личного мнения; «Интервьюер должен сказать мне, что он хочет от меня слышать, а я повторю вслед за ним».

В 1965 году Энди Уорхол объявил себя художником в отставке и ушёл в экспериментальное кино, однако занятий живописью всё же не бросил. Уорхол — один из немногих кинорежиссёров американского андеграунда, чьё имя известно широкой публике.

Уорхол никогда не расставался с камерой и магнитофоном, который, как он шутил, заменил ему жену. Записи, сделанные на «Фабрике», легли в основу большинства литературных произведений Уорхола. Первый его роман «Ф» — это запись телефонных разговоров на «Фабрике». Книга «Философия Энди Уорхола. От А до Б и наоборот» также была построена на диалогах с друзьями.

Весной 1968 года Уорхол отправился в Лос-Анджелес на открытие своей ретроспективы. Успех был грандиозным: переполненные залы, толпы студентов, скандирующих: «Мы любим Энди Уорхола!», фотографии в газетах. Он был признанным мастером поп-арта. Его выставки с успехом проходили по всему миру, в Америке не было художника популярнее Уорхола — за одну из его картин на аукционе заплатили 60 тысяч долларов.

Выставка в Лос-Анджелесе прошла успешно. Уорхол вернулся в Нью-Йорк. Здесь его уже поджидала феминистка Валери Соланас, чей киносценарий Энди отклонил перед отъездом. 3 июня она выстрелами из пистолета тяжело ранила Энди Уорхола и находившегося рядом критика Марио Амайя. После покушения Валери вызвала лифт и спокойно уехала. На углу она купила персиковое мороженое, спокойно съела его и обратилась к полицейскому: «Я стреляла в Энди Уорхола». Позже так назовут фильм о женщине, которая несколькими выстрелами прославилась на весь мир.

На следующий день газеты пестрели гигантскими заголовками: «Известная феминистка стреляла в короля поп-арта Энди Уорхола», «Самый популярный художник Америки находится при смерти». Кампания в прессе привлекла ещё более пристальное внимание к судьбе художника. Теперь публику гораздо больше интересовал созданный мастером имидж суперзвезды, а не его творчество.

Уорхол пролежал в госпитале шесть недель. После покушения он вынужден был носить корсет. Уорхол не выходил на улицу позже восьми вечера, а дорогие украшения носил только под одеждой. Однажды в него швырнули тортом активисты антинаркотической кампании, а на презентации новой книги хулиганы сорвали с его головы парик. Маньяки засыпали художника письмами с угрозами. У входа на «Фабрику» появилась охрана.

В 1980-х годах искусство Уорхола слишком коммерциализировалось. Он не возражал: «Я начал свою жизнь как коммерческий художник, иллюстратор, и я хочу её закончить как художник-бизнесмен». Уорхол охотно превращал своё имя в популярную торговую марку. Портреты от Уорхола предлагались среди других товаров в рождественском каталоге магазинов Нейман-Маркус: «Стань звездой с Энди Уорхолом!» Позже его назовут первым мастером техногенной эпохи, которому удалось превратить своё творчество в отлаженный конвейер, штампующий бестселлеры.