Все крупные немецкие города должны были обрести новый облик благодаря монументальным строениям и гигантским площадям для маршей и парадов. Эти чудовищные фантазии предполагалось осуществить "после окончательной победы" руками миллионов рабов с Востока.

Шпеера ограничивали две проблемы. Ему требовалось пространство для застройки, которое можно было получить только путем сноса целых городских кварталов. И строители нуждались в огромном количестве строительных материалов, прежде всего гранита и кирпича.

В 1938 году Шпеер договорился с Генрихом Гиммлером, что камень будут поставлять концлагеря. СС организовали собственное предприятие "Немецкие каменоломни", капитал Шпеер предоставил из своего бюджета.

Гиммлер широко использовал труд заключенных в промышленности. Первый концлагерь начал действовать в марте 1933 года в Дахау, последний появился в Миттельбау в октябре 1944 года. Существовало двадцать концлагерей и полторы сотни трудовых лагерей. Охрану несли части войск СС "Мертвая голова". Когда эсэсовцы понадобились на фронте, их стали заменять резервистами. Потом привлекли полицейских с оккупированных территорий, прежде всего украинцев, желавших служить режиму. Специально для женских концлагерей с 1937 года готовили женщин-надзирательниц.

Беспроцентные кредиты, которые шли на расширение концлагерей, гасились поставками камня. Поэтому большинство концлагерей создавались вблизи гранитных каменоломен — Флоссенбург, Маутхаузен или рядом с залежами глины для кирпичных заводов — Ораниенбург, Нойенгамме под Гамбургом, Штутгоф под Данцигом. Для двух лагерей — Гросрозена в Силезии и Нацвайлер-Штрутгофа в Эльзасе — Шпеер в 1940 году сам нашел место рядом с залежами гранита.

В каменоломнях заключенные умирали тысячами. "Уничтожение трудом" — таков был функциональный принцип концлагерей. Шпееру это было хорошо известно. Как кредитор он имел право проверять документы СС.

В Берлине Альберт Шпеер поставил целью очистить весь центр. Ему надо было решить, что делать с пятьюдесятью тысячами квартир, в которых жили двести тысяч берлинцев. Чтобы очистить эти квартиры и снести дома, Шпееру нужно было избавиться от евреев, еще остававшихся в Берлине. В сентябре 1938 года именно Шпеер предложил столичному городскому управлению насильственно выселить евреев из двух с половиной тысяч квартир и переселить их в барачный лагерь за пределами городской черты.

"Хрустальная ночь", всегерманский еврейский погром в ноябре 1938 года, была ему на руку. Закон о защите прав жильцов в отношении евреев перестал действовать. Весной следующего года началось массовое изгнание берлинских евреев из квартир. Этим занималось главное управление по переселению при генеральном строительном инспекторе Шпеере. В освободившиеся квартиры переселили берлинцев-арийцев из домов, которые Шпеер желал снести.

13 декабря 1941 года Шпеер писал начальнику партийной канцелярии рейхслейтеру Мартину Борману, что "акция идет на полных оборотах", и возражал против намерения Бормана освободившиеся "еврейские квартиры" предоставить берлинцам, которые лишились жилья в результате бомбардировок. Шпеер настоял на том, что "еврейские квартиры" принадлежат ему.

В 1942 году, компенсируя очевидную нехватку рабочей силы, Гитлер и Гиммлер приняли решение использовать в военной промышленности не только завезенных с оккупированных территорий рабочих, но и заключенных концлагерей. Альберт Шпеер ухватился за это решение. Массовое использование военнопленных и заключенных концлагерей открывало для министра новые возможности.

После поражения в войне Альберт Шпеер пытался выставить себя жертвой интриг Гиммлера, который хотел поставить военную экономику под контроль СС и в 1944 году отнял у него производство ракет и самолетов. На самом деле все было наоборот. Шпеер вступил в союз с империей СС, ему удалось превратить аппарат госбезопасности в инструмент достижения своих целей. Наряду с Гиммлером он стал в Германии важнейшей фигурой и считался вероятным наследником Гитлера.

Гиммлер вообще преуспел в бизнесе. Он добился для СС права изготовлять и продавать минеральную воду, что приносило эсэсовцам большие доходы. Со временем его империя контролировала три четверти рынка безалкогольных напитков Германии. Дрезднер банк стал личным банком рейхсфюрера СС и исправно финансировал все коммерческие операции СС на территории оккупированной Польши.

Заключенных Гиммлер использовал как бесплатную рабочую силу. СС организовали собственное предприятие "Немецкие каменоломни", которое поставляло строительные материалы, прежде всего гранит и кирпич. Большинство концлагерей создавались вблизи гранитных каменоломен или рядом с залежами глины для кирпичных заводов.

Бывший водитель Гитлера Антон Лойбль, старый партиец, был изобретателем. Он придумал, как сделать велосипедистов более заметными в темное время суток, — прикреплять небольшие стеклышки к педалям, которые бы ночью отражали свет фар приближающейся машины. Он предложил СС заняться производством этих приспособлений на паях.

Правда, выяснилось, что Антону Лойблю не первому пришла в голову эта идея. Другой изобретатель попытался получить патент, но ему отказали. А Гиммлер как глава германской полиции добился принятия закона, который требовал от всех производителей велосипедов в Германии использовать изобретение Антона Лойбля. Прибыль бывший водитель фюрера и хозяйственное управление СС делили пополам.

Гиммлер не упускал случая доложить фюреру, что империя СС дает вермахту оружие.

Главное административно-хозяйственное управление СС неуклонно увеличивало число узников в концлагерях, которые работали на военное производство. Занимался этим начальник главка обергруппенфюрер СС Освальд Поль, бывший военный казначей.