Астрономам, пытавшимся определить точные орбиты планет, приходилось полагаться на результаты ряда наблюдений, в каждом из которых имелась небольшая ошибка. Таким образом, каждое измерение могло привести к немного иному уравнению орбиты планеты, и было неясно, какой метод следует использовать, чтобы гарантировать, что взятый набор данных позволит вычислить самую точную орбиту. И Кеплер, и Галилей боролись с этими ошибками наблюдения. Основной идеей было найти кривую, которая минимизировала бы общее число ошибок, и в 1805 году эта задача была решена Лежандром в его «Новых методах определения орбит комет» методом наименьших квадратов. В этой работе было приведено понятное обоснование и дан удобный обобщенный метод. В 1809 году Гаусс публикует свой метод в трактате «Теория движения небесных тел», утверждая, что использует его уже с 1795 года, и тем самым оспаривая приоритет Лежандра. Действительно, похоже, что уже в 1801 году Гаусс использовал именно этот метод для вычисления пути движения недавно обнаруженного астероида Церера на основании всего нескольких неоднородных данных наблюдений, сделанных ранее в том же году. Он также показал, что распределение ошибок происходило по тому, что сегодня называют гауссианой или нормальной кривой, и обобщало более ранний результат де Муавра. Обоснование метода Гаусса заключалось в том, что это распределение делало среднее значение наблюдений наиболее вероятным. Затем Лаплас уточнил методику расчета: каким бы ни было распределение ошибок отдельных замеров, их средние значения стремились к нормальному распределению. Он также показал, что оценки наименьших квадратов Лежандра будут также стремиться к тому же самому распределению. Астрономы быстро признали ценность предложенного метода, тем более что было известно — ошибки астрономических наблюдений были неизбежными. К ним приводила не просто недостаточная точность измерительных инструментов, но и искажение пути движения света, идущего от звезд и попадающего в очаги турбулентности в атмосфере. В 1812 году Лаплас издал свой великий трактат «Аналитическая теория вероятности», в котором синтезировал все события в математике, происходившие до этого момента. Эта книга оставалась для многих поколений ученых главным текстом по математике.

В социальном контексте теория вероятности считалась «исчислением рационального поведения». В 1814 году Лаплас сказал, что вероятность — это просто здравый смысл, преобразованный в вычисления. Математики эпохи Просвещения полагали, что просвещенные люди действуют рационально и вероятность дает обычным людям измеримый образец, с помощью которого они могли бы, по крайней мере, подражать здравому смыслу лучших представителей общества. Целью ученых было создание универсального стандарта человеческого поведения, а исследование азартных игр было просто способом найти инструменты для того, чтобы принимать рациональные решения в мире, полном неопределенностей. Например, Лаплас и другие ученые рассматривали вероятность того, что суд с определенным количеством присяжных вынесет несправедливый приговор. Но другие мыслители были совершенно не согласны с рационалистическим духом французской революции. Джон Стюарт Милль считал, что разумное решение лучше определяется путем наблюдения и эксперимента, а не посредством умозрительных вероятностных предположений.

Адольф Кетле (1796–1874), бельгийский математик и астроном, выявил связь между статистикой, стоявшей на службе у астрономии, и социальной статистикой. В основе его идеи о «среднем человеке» лежала формула нормального распределения. Так же, как отдельные несовершенные данные о наблюдениях за звездой группировались вокруг ее истинного положения, так и свойства реальных людей распределялись вокруг «среднего значения». Таким образом, отклонение от этой «теоретической нормы» считалось своего рода ошибкой измерения. Он считал государственно важным делом собрать и проанализировать демографические данные так, чтобы «социальный физик» мог раскрыть социальные законы, аналогичные физическим законам. Он объяснял свои теории тем, что показатели рождений, смертей, преступлений и браков, похоже, оставались неизменными из года в год, хотя в разных странах эти цифры могли различаться между собой, таким образом оправдывая предположение, что каждое социальное тело имеет устойчивую, но несколько отличную от других «социальную физику».

Такие социальные данные начали собирать в семнадцатом веке и продолжают делать это до сих пор. В 1662 году Джон Граунт издал свои «Природные и политические наблюдения», основанные на статистическом анализе лондонских «Отчетов о смертности населения», которые печатались еженедельно и использовались как барометр, чтобы предупреждать людей о возможном начале эпидемии и дать им возможность покинуть город. В 1693 году астроном Эдмонд Галлей издал «таблица продолжительности жизни», основанные на отчетах о смертности жителей города Бреслау, данные которого были более точными, чем те, к которым имел доступ Граунт. Галлей также смог показать, что правительство того времени слишком дешево продает ежегодную пожизненную ренту. Математическая статистика конца девятнадцатого века может считаться новой ветвью математики, которая соединила статистические методы астрономов и приемы сбора данных страховщиков.

Фрэнсис Гальтон (1822–1911), кузен Чарльза Дарвина, разработал биометрические принципы. Он использовал статистические методы для анализа социальных данных и наследственных свойств. Главной целью так называемого движения евгеники было улучшить человеческий вид при помощи селективного размножения, а статистика использовалась для обеспечения количественного представления пути развития человечества и способа определения направления его усовершенствования. Гальтон применил нормальное распределение не как «кривую ошибок», но как меру изменения, поняв на основании теории эволюции Дарвина с помощью естественного отбора, что биологическая изменчивость нуждалась в анализе сама по себе, а не как эволюционная ошибка относительно некоторой идеализированной «нормы».

Именно Гальтон ввел понятия регресса и корреляции. Статистическое понятие регресса возникло из исследования душистого горошка. Гальтон разделил партию семян на семь групп согласно размеру семени. Семена получающегося потомства показали ту же самую изменчивость, или разницу в размере, соответственно группам. Средний размер семени всей партии оставался постоянным, но значения размера отдельных групп далеко ушли от своей родительской группы в сторону этого среднего значения — математического ожидания группы. Таким образом, значения «регрессировали» в направлении среднего значения по совокупности. В 1885 году Гальтон обнаружил явление регресса и разобрался в нем, а в 1889 году он ввел связанную с этим понятием идею корреляции. Измеряя две взаимосвязанные переменные и отображая эти значения в виде графика, Гальтон обнаружил единую безразмерную величину, которая служила коэффициентом взаимосвязанности между этими двумя переменными. Этот коэффициент корреляции варьировался между +1 — идеальная положительная корреляция — до -1 — идеальная отрицательная корреляция. Когда этот коэффициент приближался к нулю, это означало, что между переменными нет никакой корреляции. Сам по себе коэффициент корреляции не мог доказать никакой причинной связи между переменными, но мог оправдать дальнейшие эксперименты, которые позволили бы обнаружить эту связь.

Гальтон занимался изучением наследования непрерывного изменения, в то время как Мендель изучал дискретное изменение, хотя ни один из них не знал ничего о работе другого. Грегор Мендель обучался математике и физике. В статье 1865 года он написал о возможном существовании генов, и в 1900 году на эту статью обратили внимание сторонники биометрии. Она привела к серьезной полемике, верные дарвинисты и сторонники биометрического движения по большей части отвергали понятие генетического материала. Пирсон считал эту идею излишне метафизической и не мог понять, как дискретный объект может демонстрировать непрерывные свойства. Вопрос не был решен до тех пор, пока в 1918 году Фишер не показал, что при достаточно большом числе генов в модели Менделя возникнут корреляции, изученные сторонниками биометрии. Это было похоже на дискретное биномиальное распределение, стремящееся к нормальному распределению при увеличивающемся числе испытаний.