То есть, по существу, черниговские князья вместе с кимаками воевали против остальных князей великокняжеского рода Киевской Руси. Но в 1095 году в этой борьбе наступил перелом. Он был обусловлен двумя причинами. Во-первых, после ухода значительной части полевого войска Рассении на запад в Средней Асии началась мусульманизация карлуков и гузов, что потребовало сосредоточения полевого войска против них. Туда-то и были возвращены тьмы полевого войска. В отсутствии полевого войска кимаки (половцы) могли действовать сравнительно небольшими силами ополчения. Во-вторых, Владимир Мономах, рассчитывая в борьбе с половцами объединить князей Киевской Руси, предпринял ряд решительных мер.

Вначале он обманом расправился с двумя половецкими князьями — Итларем и Китаном. Их дружины были перебиты. Затем переяславско-киевское войско во главе с Владимиром Мономахом совершило успешный поход в степи.

В 1096 году Владимир Мономах и Святополк предложили Олегу объединить силы в борьбе с половцами. Олег, естественно, отказался. Тогда Святополк и Владимир Мономах решили силой подчинить Олега и двинули к Чернигову своё войско. В это время к ним присоединился волынский князь Давыд Игоревич.

Кимаки не смогли собрать необходимых сил для помощи Олегу. Последний, не надеясь на верность черниговцев, бежал в город Стародуб. где его осадило войско противника, которое установило полную блокаду города. После длительной осады и нескольких штурмов горожане не выдержали и потребовали от Олега, чтобы он пошёл на примирение с братьями. Олег вынужден был согласиться. Приговор братьев лишал его Чернигова и отправлял в далёкий лесной Муром, но вначале он должен был жить вдалеке от кимаков в Смоленске.

Но в это время кимаки собрали силы и одновременно напали на переяславские земли и Киев. Половецкое войско Тугоркана Святополку и Владимиру Мономаху удалось разгромить. А вот кимакское войско Боняка осуществило успешный поход и захватило богатую добычу. Олег тоже не дремал. Он ушёл из Смоленска, взял Рязань и двинулся к Мурому, где княжил сын Мономаха Изяслав. Около Мурома рати Олега и Изяслава встретились. Состоялось сражение. Олегу удалось разгромить войско Изяслава, который был убит в этом сражении. Так Мономах лишился своего первого сына. Олегу удалось взять Муром, Ростов и Суздаль.

На требование старшего сына Мономаха Мстислава и его самого оставить занятые города Олег ответил отказом. Против него выступила новгородская рать, которую Владимир Мономах подкрепил своим войском во главе с сыном Вячеславом. Силы были явно не равны, и Олегу пришлось оставить северные города. Он отошёл к Мурому. Здесь, недалеко от города, Мономаховичи при поддержке дружественных кимаков победили войско Олега, которое отошло к Рязани. Но и там он не удержался и вынужден был подчиниться Мономаху, обязавшись явиться на княжеский съезд для решения династических дел.

В 1097 году все наиболее крупные и известные князья съехались в родовое гнездо Мономаха (город Любеч), чтобы устроить порядок в Киевской Руси. Там договорились «каждо да держит отчину свою» и не посягать на территории других князей. Также договорились объединиться в борьбе против половцев. И хотя первую клятву некоторые князья не выполнили, вторая позволила объединить значительные силы в войне с кимаками. Этот договор шёл в контексте начавшегося в 1096 году на западе первого крестового похода. Владимир Мономах, лелеявший надежду снискать себе славу победителя, равного тем, кто создал Иерусалимское королевство, жаждал победы над кимаками.

Однако вплоть до 1103 года кимаки удерживали инициативу в своих руках. В 1103 году Владимир Мономах уговорил князей совершить поход весной, чтобы лишить кимаков их маневренности. Отощавшие за зиму лошади не могли её обеспечить. Поход удался, кимаки потерпели поражение. В 1105 году они попытались поквитаться за поражение и вторглись в киевские и переяславские земли. Но Владимир Мономах успел собрать объединённое войско и нанёс кимакам новое поражение. Однако на этом он не остановился и продолжал убеждать князей, что нужно совершить большой поход в степи и разорить курени и города кимаков. Наконец в 1111 году ему удалось организовать такой поход.

Причём этот поход был задуман как крестовый. Перед походом духовенство вынесло большой крест и поставило его недалеко от ворот города. Все воины, в том числе князья, проходя и проезжая мимо креста, получали благословение епископа. Когда войско двинулось в поход, во главе колонны шли священники на протяжении 11 вёрст. По достижении реки Ворсклы Мономах вновь обратился к духовенству. Вновь на холме был поставлен большой крест, украшенный золотом и серебром. Князья целовали его на глазах всего войска. Это показывает, что Мономах всячески соблюдал крестовую символику.