Восприемницей от купели Дмитрия Бутурлина была императрица Екатерина II, пожаловавшая ему при самом крещении чин сержанта гвардии.

Примерно в 1765 году П. А. Бутурлин был назначен российским посланником в Испанию. В связи с тем, что его жена к тому времени уже умерла, ребенок поступил на воспитание к холостяку-дяде, графу Александру Романовичу Воронцову, известному своими обширными познаниями и независимым образом мыслей (впоследствии государственному канцлеру).

От дяди молодой Д. П. Бутурлин поступил в Петербургский кадетский корпус.

По окончании курса Д. П. Бутурлин был определен адъютантом к князю Г. А. Потемкину и мог бы сделать блестящую военную карьеру, но, питая нелюбовь к военной службе, перешел через несколько недель на службу в Коллегию иностранных дел, а скоро и совсем вышел в отставку.

В 1793 году граф женился на своей троюродной сестре, графине Анне Артемьевне Воронцовой, и после этого поселился в Москве.

Вскоре Д. П. Бутурлин, чей особняк стоял на берегу Яузы, стал известен всей Москве. Племянник знаменитой Е. Р. Воронцовой-Дашковой, внук генерал-фельдмаршала

А. Б. Бутурлина, он и сам по себе был человеком для своего времени уникальным. Хотя его крестной матерью была сама императрица, он всегда находился в некоторой оппозиции ко двору. Среди друзей Бутурлиных были семьи декабристов Муравьевых и Чернышева. В довольно раннем возрасте Д. П. Бутурлин вышел в отставку, обидевшись на Екатерину И, не пустившую его во Францию в разгар революции. В дальнейшем он так и не служил, и хотя числился одно время директором Эрмитажа, никогда не посещал дворца. Он имел много выгодных предложений по службе, но отказывался от всех, дорожа своей свободой и возможностью заниматься любимым делом.

Любимым делом Д. П. Бутурлина было составление его знаменитой библиотеки (она состояла из 40 000 томов).

Московская библиотека графа вместе с оранжереями, музеем и садом находились в Немецкой слободе, на берегу реки Яузы. Один из английских путешественников по имени Эдвард Кларк утверждал, что «библиотека, ботанический сад и музей графа Бутурлина являются достопримечательностью не только России, но и всей Европы».

Вся просвещенная Москва конца XVIII века знала этот особняк в Немецкой слободе. Здесь хранились книги, вышедшие на заре книгопечатания, в XV–XVI веках. В библиотеке Д. П. Бутурлина было собрано почти все, что издавалось с 1470 года. Там были редчайшее собрание Библий, собственноручная переписка Генриха IV с его министром Сюлли и многое-многое другое.

При этом Д. П. Бутурлин был не только собирателем и хранителем, но и своего рода библиографом этого уникального книжного собрания. Современников поражала феноменальная память графа. Вся Москва ездила к нему за самыми разнообразными справками, и он всегда мог ответить, в каком томе его библиотеки можно найти нужную информацию.

Следует отметить, что в Немецкой слободе «допожарной» Москвы обитали видные представители образованного русского дворянства того времени: Куракины, Воронцовы, Нарышкины, Демидовы. Среди современников Д. П. Бутурлина славилась домашняя библиотека крупного книголюба и ученого Алексея Ивановича Мусина-Пушкина — первого издателя «Слова о полку Игореве» и «Русской правды». Также высоко ценилась библиотека, собранная дядей А. С. Пушкина Василием Львовичем.

В мае 1803 года граф был назначен на пост чрезвычайного посланника при папском дворе, но еще до его отъезда из России последовал внезапный разрыв дипломатических отношений между Петербургом и Римом.

В 1809 году Д. П. Бутурлину было предложено занять пост начальника русской миссии в Штутгарте, но он отклонил это предложение. Позже, в 1810 году, он был назначен директором Императорского Эрмитажа, где и числился до 1817 года, не принимая, впрочем, в действительности никакого участия в управлении музеем.

Считается, что вся библиотека Д. П. Бутурлина погибла при пожаре Москвы в 1812 году (якобы сохранились лишь 5000 томов), однако обилие встречающихся книг с экслибрисами графа, явно происходящих из этой библиотеки, заставляет думать, что в значительной степени она пострадала от расхищения.

По возвращении в Москву Д. П. Бутурлину была предложена компенсация за ущерб, который он понес вследствие пожара, однако граф отказался от нее, справедливо полагая, что есть куда более нуждающиеся в деньгах люди.

Легенда гласит, что на пепелище своей уникальной библиотеки Д. П. Бутурлин сказал:

— Бог дал, Бог и взял.

Тем не менее драматические события 1812 года сильно подорвали здоровье Д. П. Бутурлина, и врачи порекомендовали ему перебраться на юг. Это было весьма кстати, и в августе 1817 года граф, страдавший тяжелой астматической болезнью, уехал во Флоренцию, задавшись целью хотя бы частично восстановить свое любимое книжное детище.