Самоназвание мордвы-мокши (морд. moksa) впервые встречается в источниках XIII века — в записках фламандского путешественника бр. Вильгельма де Рубрука среди покорённых Чингис-ханом народов назван народ Moxel, живущий за Доном на севере, далее которого обитает мордва («Merdas, которых латыняне называют Merduinis»). Мокша наряду с эрзей (aran) упоминается в качестве одного из покорённых татарами народов Среднего Поволжья и в «Сборнике летописей» государственного деятеля при дворе монгольских ханов, перса Рашид-ад-Дина (XIV век). Этот этноним, по-видимому, связан с названием реки Мокши, протекающей по исконной территории расселения мордвы-мокши, которое, в свою очередь, может иметь балто-славянскую этимологию: др.-церк.-сл., др.-рус. мокръ «мокрый», лит. makone «лужа», maklne «грязь» (в бассейне Верхней и Средней Волги имеются и другие названия рек типа Мокша). То обстоятельство, что сегодня река Мокша называется по-мокшански Jov, не может служить в качестве контраргумента к гипотезе о балто-славянском происхождении названия реки: слово jov является нормальным мордовским производным от прауральского *joke «река», что может указывать на относительно позднее присвоение мокшанами важнейшей реке региона этого имени («Река»), уже после того, как прежнее (балто-славянское) название реки дало имя народу.

Истоки формирования мордвы следует связывать с племенами городецкой культуры, существовавшей одновременно с возникшей на той же основе (комплекс культур ложнотекстильной керамики) дьяковской культурой (см. раздел о марийцах) в VIII в. до н. э. — I в. н. э. на правобережье Средней Волги и в бассейне средней Оки, в долинах Суры, Мокши, Цны, Теши, то есть — на территории, где мордва впервые фиксируется по письменным источникам и живёт до сих пор. Можно предполагать, что достаточно близки к древнемордовским племенам по культуре и языку были зафиксированные русскими летописями в IX—XII веках Мурома и Мещера, жившие по Оке в её нижнем течении (район г. Мурома) и на территории Мещерской низменности, хотя никаких реальных фактов, указывающих на принадлежность языков муромы и мещеры к финно-угорской группе — кроме самых общих ономастических догадок — у нас нет. Очевидно, уже в середине I тыс. н. э. произошло обособление двух основных территориальных групп древнемордовского населения: южной, жившей в верховьях Мокши и Суры, позже распространившейся на северо-запад, в долину Цны (видимо — предки мордвы-мокши), и северной, населявшей междуречье Оки и Суры, бассейны рек Теши, Пьяны и др. (предки мордвы-эрзи).

Начиная с IX века мордва (в особенности — мокша на юге и востоке) попадает под влияние Волжской Булгарии, а с XI века мордовские земли становятся предметом внимания русских князей (согласно «Слову о погибели Русской земли» Морьдва платила дань мёдом Владимиру Мономаху (1053—1125 гг.)), и мордва принимает участие в борьбе Руси и Булгарии за зоны влияния в Среднем Поволжье. Особенно эта борьба обострилась в конце XII — начале XIII века, когда (в 1221 году) в устье Оки был основан русскими Нижний Новгород, а в мордовских землях возвысился эрзянский князь Пургас, объединивший под своей властью не только «Моръдву Пургасову», но и «Пургасову Русь» и не без успеха боровшийся с русскими, совершая даже походы на Нижний Новгород. Разгром Пургаса нижегородцами в 1229 году состоялся при поддержке сына некоего князя по имени Пуреш (вариант — Пурейша), союзника владимирского князя Юрия, которого некоторые исследователи склонны также считать мордовским князем (в летописях, впрочем, упоминается «Пурешевъ сынъ съ половьци», что даёт основания сомневаться в его мордовском происхождении).

Развернувшейся в Среднем Поволжье борьбе положила в XIII веке конец третья сила — монголо-татары, в ходе нашествия которых (в 1237—1238 годах) мордовские земли были подчинены монголам, а часть мордвы-мокши во главе с князьями, по свидетельству бр. Вильгельма де Рубрука (см. выше), была включена в состав монгольского войска и погибла в европейских походах. Для контроля над мордовскими и соседними землями золотоордынцами был в XIV веке основан на р. Мокше город Мухши (ср. тат. muks «мордва-мокша» < морд. moksa), ныне — село Наровчат Пензенской области. С этого времени возрастает тюркское влияние на культуру и язык мордвы-мокши. С другой стороны, на севере со второй половины XIV века мордовские земли попадают под власть нижегородских князей, и растёт русское влияние на мордву-эрзю, происходит частичная ассимиляция её в Окско-Сурском междуречье и сдвиг основной этнической территории эрзи на восток и юго-восток — к среднему течению р. Суры. Жестокий ордынский гнёт, не спасавший от постоянных страшных набегов степняков (отражённых в мордовском фольклоре в цикле исторических песен и преданий о ногайцах), привёл к тому, что большая часть мордвы постепенно склонилась на сторону русских, и в период борьбы Москвы с Казанским ханством мордва уже выступает союзным Москве народом.

Окончательное включение всех мордовских земель в состав Русского государства произошло после покорения Москвой Казани в 1552 году. В XVI—XVII веках здесь строятся города, составлявшие оборонительный рубеж на степном пограничье Руси, и сильно возрастает приток русского населения. С этого же времени начинается христианизация мордвы, особый размах получившая в XVIII веке. Реакцией на неё, а также — на усиливающийся социальный и национальный гнёт было так называемое терюшевское (по названию волости) восстание 1808—1810 годов, возглавлявшееся Кузьмой Алексеевым (в русских документах — «Кузька мордовский бог»), пытавшимся на базе языческих мордовских верований создать особую общенациональную религию мордвы (см. о подобных реформаторских неоязыческих движениях в XIX веке у мари и удмуртов в соответствующих разделах).

В результате ассимиляции татарами и русскими к XIX веку сложились две особые этнографические группы мордвы: каратаи (внешнее название по селу Большие Каратаи), живущие на юго-западе Татарстана (Тетюшский район), говорящие сегодня по-татарски, но считающие себя мордвой (мокшей) и сохраняющие мордовские особенности традиционной культуры, и терюхане (также внешнее название по селу Большое Терюшево), жившие в Нижегородской губернии (сегодня — Дальнеконстантиновский район Нижегородской области), сохранявшие ещё в начале XX века мордовские особенности в культуре и самосознание (мордва-эрзя), сегодня полностью обрусевшие.

С другой стороны, вследствие притока русских поселенцев на мордовские земли, закрепощения части (не более 10%) мордовского крестьянства и т. д., с XVII века начинаются миграции мордвы на восток: первоначально — в Поволжье, на территории нынешних Самарской, Ульяновской, Саратовской областей, Татарстана, затем, в XVIII веке — в Заволжье и Предуралье, в Башкирию, Оренбургскую область. Эти миграции привели к чрезвычайно дисперсному и широкому расселению мордвы, которая, однако, и на новых землях сохраняла свою культуру, язык, этническое самосознание. Уже к середине XIX века на коренных мордовских землях обитало едва ли более половины всего мордовского населения России, которое составляло в это время (перед отменой крепостного права в 1861 году) около 670 тыс. человек. Движение мордвы на восток продолжалось и во второй половине XIX века: по переписи 1897 года в России мордвы жило 1 миллион 22 тысячи человек, из них более 30 тысяч — в Зауралье, Сибири и Северном Казахстане.

После революции 1917 года в России мордовский народ получил автономию: в 1928 году создан Мордовский округ, преобразованный в 1930 году в Мордовскую автономную область (с 1934 года — Мордовская автономная республика). В силу дисперсного расселения мордвы первоначально менее трети всего мордовского населения России (по переписи 1926 года — 1 миллион 339 тыс. человек) оказалось живущим в пределах созданной автономии, среди населения которой мордва составляла в 1928 г. 32,2% (452 тыс. чел.), а в 1930 г., после изменения границ — 38,5% (501 тыс. чел.). В годы ускоренной индустриализации и Второй мировой войны численность мордвы как в целом по России, так и в пределах Мордовской республики сократилась — преимущественно за счет ассимиляции, чему способствовали дисперсность расселения мордвы, наличие двух литературных языков, урбанизация, ликвидация мордовских национальных районов, созданных в 1930-е гг. в Пензенской и Самарской областях. По переписи 1959 года численность мордвы в СССР была 1 миллион 285 тысяч человек, из них в Мордовии жило 358 тысяч. Процесс сокращения численности мордвы продолжался и в 1960—1980-е гг.: 1970 г. — 1 млн. 262 тыс., 1979 г. — 1 млн. 192 тыс., 1989 г. — 1 млн. 154 тыс. человек в пределах СССР. При этом лишь 740 тыс. человек в 1989 г. (64%) считали родным один из мордовских языков. В Мордовии в 1989 г. жило 313,4 тыс. лиц мордовской национальности, из которых 277,3 тыс. (88%) считали родным один из мордовских языков.