28 декабря 1878 года Бунин был назначен Бердичевским уездным исправником в Киевской губернии. С точки зрения взяток, это была гораздо более хлебная должность, чем аналогичные в уездах Тамбовской губернии. Бердичев входил в черту оседлости, и его многочисленное еврейское население, занимавшееся торгово-промышленной деятельностью, было источником полицейских поборов за то, что полицейские чины закрывали глаза на нарушение предписанных евреям ограничительных правил. 6 января 1881 года Яков Иванович стал почетным членом Киевского губернского попечительства детских приютов. Это косвенно может указывать на наличие у него неких достаточных средств, которые он жертвовал на приюты. Позднее в Одессе он был бессменным председателем Распорядительного комитета приюта Одесского общества призрения нищих, и благодаря его стараниям приют значительно расширил свою деятельность и охватывал призрением более трехсот нищих и бездомных ежесуточно.

Настоящий карьерный взлет произошел у Бунина в 1882 году. 13 марта 1882 года он опять ушел в отставку, будучи избран Уманским уездным предводителем дворянства и председателем Уманско-Звенигородского съезда мировых посредников. Вполне возможно, что это был всего лишь бюрократический прием, поскольку уже 6 мая 1882 года Бунин стал Одесским полицеймейстером. Не исключено, что вопрос о его назначении был решен еще в марте, и его сделали предводителем дворянства лишь для того, чтобы не назначать полицеймейстера Одессы из бердичевских исправников, что показывало бы огромный разрыв в уровне должностей.

В мае 1884 года чин майора был упразднен, и Бунин в первоочередном порядке был переименован в подполковники, хотя, как служащий по гражданской части, первоочередному переименованию не подлежал. Два следующих чина он также получил вне правил. Он имел только благодарности и награды и ни одного взыскания.

В послужном списке от 12 февраля 1889 года отмечалось, что Бунин женат на дочери майора Перемежко-Галича Александре Александровне. Перемежко-Галичи — это малороссийский дворянский род из Черниговской губернии. Отец жены Бунина, Александр Ефимович, в 1849 году вынужден был продать свое имение в с. Федотьево Спасского уезда брату Павлу. Вероятно, он разорился. В послужном списке 1889 года отмечалось, что Бунин «имеет детей родившихся дочь Марию 2 марта 1872 года, сына Алексея 28 января 1874 года, дочь Надежду 26 января 1875 года, сына Александра 22 апреля 1876 года и сына Бориса 20 января 1878 года, из коих дочь Мария в Одесском институте, сын Алексей и Борис в Полтавском кадетском корпусе, сын Александр в Ришельевской гимназии и дочь Надежда в Мариинской женской гимназии. Жена и дети вероисповедания православного».

Интересно, что в более раннем послужном списке октября 1884 года упоминался еще сын Иван, родившийся 27 января 1871 года, причем отмечалось, что «жена и дети… находятся при нем, кроме старшего Ивана, воспитывающегося в Киевской военной гимназии». Однако в еще более раннем послужном списке от 15 мая 1882 года Ивана Бунина нет, хотя остальные дети присутствуют. Возможно, в этом списке есть только те дети, которые находились вместе с Буниным. Но ни в одном из более поздних послужных списков, 1887 и 1889 годов, Ивана Бунина уже нет, хотя в нем присутствуют дети, которые уже не жили с родителями. Можно предположить, что Иван Бунин либо умер в промежутке между 1884 и 1887 годами, либо отец по какой-то причине потерял с ним связь.

По дате рождения первого сына можно предположить, что Бунин вступил в брак в 1869 или в 1870 году.

23 января 1887 года министр народного просвещения граф Иван Давыдович Делянов сообщал в Департамент полиции, что «Одесский полицеймейстер полковник Яков Бунин всегда оказывал и оказывает весьма деятельное содействие Университетской и училищной инспекции по надзору за учащимися вне стен учебных заведений и что благодаря его уменью и распорядительности, деятельность Инспекции по внешнему надзору за учащимися значительно облегчилась, так как распоряжения Г. Бунина и указания его подведомственным ему чинам полиции, в случаях отношений последних к учащимся, всегда отличались, вполне правильною, с точки зрения воспитательной, и гуманною постановкою дела… Деятельность полковника Бунина всегда способствовала к предупреждению и прекращению недоразумений и уклонений со стороны учащихся от обязательных правил поведения вне стен учебных заведений».

23 апреля 1888 года на Бунина поступил анонимный донос. Вот его текст:

«Весьма секретно. Прошу доверять.

В какое ужасное положение поставлены вообще столичные полиции и в особенности одесская полиция. Где охрана? И где правда? Вследствие гнусного взяточничества, разных претензий и желаний, в глазах всех унижена полиция, а чрез это все беспорядок и угнетение проходит выше и дальше!? Может ли быть хороший полицеймейстер, служивший как Бунин по протекции высокопоставленного лица и в такие короткие сроки наживший состояние в 500 000 р., кроме всех поборов, где адресные суммы? Где канцелярские суммы? Где остатки от обмундирования команд? Где многие и многие другие капиталы полиции одесской? — все в карманах Бунина и его секретаря Сорочана, самого утонченного взяточника. Это два бесконтрольные деспота, кунака, обиралы. Градоначальник Зеленый и правитель его Дмитренко, они прекрасные высокоблагороднейшие люди, и они не в силах проникнуть в эти утонченные хитрости, мошеннические сделки полиции. Нужно присмотреться, как бедные служащие писцы трудятся по участковым управлениям за 25 р. в месяц, закон усматривает, что недолжно истязать рабочих, но эти несчастные истязаются, несут день и ночь непомерный труд, а тузы полиции отпускаемыми деньгами городом и казною на усиление покупают имения в 300 000 р. под прикрытием благочестия и великой протекции.

В чьих руках охрана отечества и нашего великого государя? — в руках вообще полиции, и в этом случае маленькие чины полиции имеют самое большое значение. Скорее и ближе они стоят к самому делу и в уничтожении и в розыске социалистов и крамольников, они-то и могут лишь только служить. Но что же на место того, чтобы в эти маленькие чины полиции выбирались самые честные и благородные, с достоинством, люди, должности этих маленьких чиновников, в Одессе, в виду закона, что по вольному найму может служить всякий, эксплуатируются, и околоточными надзирателями служат разные темные личности, по протекциям и за деньги, портные, сапожники, мещане, бродяги, доказывающие вечно сродство или дворянство или просто причисляющие куда-то, подчиненные же им честные нижние чины унтер-офицеры, люди с именем, а не бродяги, и не мудрено, что и сплошь и рядом бывает, что городовые бьют по роже околоточных надзирателей и говорят, какие ты Ваше Благородие, ты бродяга, а я заслуженный своему государю унтер-офицер! Кроме того, что какой-либо торгаш или ремесленник, угодивший своим презентом полицеймейстеру или секретарю, и его сын, удаленный с учебного заведения напитанный социализмом, совершенный враг отечества, попадает и служит околоточным надзирателем и составляет охрану, но здесь и сводни — содержательницы развратных домов составляют протекцию в околоточные надзиратели, и таких протеже довольно уже служит. Вот явился недавно молодец «черовек — Рополь». Иностранец, знающий хорошо русскую грамоту; вероятно, беглый из России преступник, возвратившийся под чужим документом, попал к сводне за буфетчика, где нес исправно бордельную службу, понравился сводне, и той стоила протекция 700 р. Он принят в подданство России и служит уже околоточным надзирателем; охраняет отечество? Под видом чего хранит и развивает зло. А бедные несчастные отставные чиновники, офицеры гибнут и ходят службы просят, у них нет протекции, нет денег купить себе службу, да и нет той совести, чтобы приобретать государственную службу за деньги или за особую протекцию, ибо каждый честный благородный чиновник у честного начальства сам себе составляет протекцию. Здесь же один благородный надзиратель убил себя и свое семейство, не найдя правды, а ему приписали пьянство и белую горячку, а он не мог против своих убеждений совести пожертвовать взяточнику приставу. Его стали выжимать, он пошел объяснить высшему начальству, но выгнали, он вышел из себя от неправды и убил все свое семейство и себя, да много и других подобных случаев.

А гешевты жидовские ведь в одесской полиции успешно продолжаются; секретарь Бунина, Сорочан, женат на жидовке и выкрестил уже взрослых жидинят, конечно, для штучки, вот эти жидинята и орудуют, ходят и разузнают все гешевты, тонко следят за своею политикою и способствуют во всем своему отчиму и его начальнику, т. е. секретарю Сорочану и Бунину, устраняют всякие недоразумения по поводу взяток и т. д. Получая содержание чиновников полиции; и составляют протекцию жидам не только во всех делах их; даже предоставляют им должности службы по полиции. Вот мне понадобилось свидетельство. Я послал своего управляющего в полицию с прошением. Там сказали, придет надзиратель околоточный и проведет дознание. Вдруг через несколько дней является ко мне жидок с портфелем. “Вы граф…?” Я: “Что вам угодно?” “Я пришел провести дознание”. “Разве вы надзиратель?” “Нет, я письмоводитель, а надзиратель Швайкевич”. “Верно какой-либо беглый поляк?” “Не знаю, кто они”. “Вы кто?” “Я еврей, учился в гимназии”. Я дал ему рубль, и он произвел дознание обо мне. В другой раз мне нужно было свидетельство на выезд за границу. Я сам пошел в Херсонский участок в Одессе, и там мне выдал свидетельство, тоже жидок, взявши у меня рубль. Я с ним обошелся весьма любезно, дабы узнать протекцию секретаря печатно на жидовят с пасынками жидками и из любопытства своего узнал все подробно. Он мне и сказал свои жидовские имена и фамилии, но я упомнил. Вот в чьих руках полиция, да эти личности за рубль за кого угодно и какие угодно произведут дознания — за самого первого преступника с самыми явными подложными документами и сделают, что хотят, лишь бы деньги. Вот почему у нас при всей строгости и развиваются социалисты, крамольники и т. п. Вить тут укрывается все зло отечества.