Вторым в этом ряду стал Башкирский поэтический корпус 22 , запущенный в октябре 2013 года [Орехов 2014а]. Тексты были морфологически и метрически размечены, а поиск позволяет находить слова и конструкции в строках определённого размера.

Вскоре после Башкирского поэтического корпуса в конце того же 2013 года завершилась первая фаза работы над Корпусом чешского стиха 23 [Plech'ac 2015]. Все тексты получили морфологическую, метрическую и строфическую разметку, а также некоторые дополнительные, облегчающие поиск уровни аннотации (восстановление словарной формы слова, фонетическую транскрипцию). Объём корпуса складывается в основном из поэтических произведений конца XIX и начала XX века, и на 2019 год составляет 76 699 стихотворений, 2 664 989 строк и 14 592 037 словоупотреблений.

Так как дальнейшие выводы будут основаны на подсчётах и статистических методах, апробированных в корпусной лингвистике, нужно убедиться, что собранная коллекция (мы также по статистической традиции будем называть её «выборкой») отвечает требованиям репрезентативности и сбалансированности.

В корпус вошли поэтические произведения 103 башкирских поэтов, творческая активность которых приходится на XX век. Стихотворений в выборке: 17 895, их общий объём 468 456 стихотворных строк и 1,77 млн словоупотреблений. «Зачинателем башкирской советской литературы был Мажит Гафури, начавший писать в 1902 году» [Вместо предисловия 1950: 5], он (годы жизни: 1880-1934) является самым старым автором в корпусе, и ему принадлежат наиболее ранние стихотворения коллекции, датируемые 1902 годом. Корпус доведён до 2000-х годов, последнее включённое в него стихотворение – «Кндн-кнг бойоамын аман…» (2005) Мустая Карима (1919-2005). Полный список авторов, включённых в корпус, можно найти в Приложении 1. Коллекция отражает только книжные издания поэтических произведений, в нее не попали публикации в периодике. Из стихотворений, написанных до введения в башкирской печати кириллического алфавита, в корпусе есть только те, которые были позднее переизданы в современной графике. Оригинальные публикации на арабице и латинице в качестве источника нами не рассматривались.

Можно измерить долю участия каждого автора в коллекции по трём параметрам: число стихотворений, число стихотворных строк, число словоупотреблений. Интуитивно кажется, что эти параметры зависят друг от друга, то есть если растёт один, то растёт и другой: чем больше стихотворений одного поэта появится в корпусе, тем больше принадлежащих ему строк и словоупотреблений мы обнаружим в корпусе. Эта зависимость может нарушаться в случае, если при составлении коллекции в неё попадёт небольшое число произведений одного автора, которые, однако, будут иметь аномальную длину. Проверим ситуацию в корпусе. Мы используем для этого коэффициент корреляции Пирсона. Он принимает значения от -1 до 1. Значение близкое к 1 означает высокую степень корреляции, то есть в случае, если какой-то параметр будет расти для некоторого измерения, то и другой параметр для того же измерения вырастет. Верно и обратное: падение одного параметра будет означать падение другого.

Коэффициент корреляции близкий к -1 будет означать, что рост значений для одного параметра почти наверняка будет сопровождаться падением значений для другого, иными словами, мы будем иметь дело с отрицательной корреляцией. Наконец, близкий к нулю коэффициент следует трактовать так, что в отношениях параметров между собой нет никакой системы. Измерениями в нашем контексте выступают башкирские поэты, а параметрами – число стихотворений, стихов и слов в их произведениях.

Действительно, параметры показывают высокую степень зависимости друг от друга. Наибольший коэффициент корреляции обнаруживается для числа строк и числа слов каждого поэта: 0,993. Это говорит о том, что число слов в стихе – предсказуемая и маловарьируемая величина. Число стихотворений и число строк коррелируют на 0,888, что тоже достаточно значительный показатель, а число стихотворений и число слов каждого конкретного автора – сравнительно далёкие друг от друга (что тоже понятно: стихотворения могут быть разной длины и само по себе появление стихотворения в корпусе не обусловливает непременного роста корпуса на заданное число слов), но всё равно существенно сходящиеся параметры, коэффициент корреляции между которыми равен 0,879.

Рис. 1. Типичные и аномальные значения участия авторов в корпусе

На рис. 1 изображён так называемый «ящик с усами» (boxplot), особый вид графика, используемый для характеристики выборки. Концы «усов» ящика – это границы, в пределах которых находятся допустимые, то есть похожие друг на друга значения. Верхняя и нижняя стороны прямоугольника – это так называемые квартили (25-й и 75-й процентили), линией в середине ящика служит медиана. Точки над «усами» – это выбросы, то есть аномально большие значения на фоне остальных показателей. Видно, что выбросов немного, не больше 3-7 % от общего числа включённых в корпус поэтов. Вклад (в безоценочном, чисто количественном смысле) каждого из авторов в основном не превышает 4 % от всего объёма включенных в коллекцию текстов. Исключения – 4,15 % стихотворений Рами Гарипова и 4,5 % Кадыра Даяна. Любопытно, что если по такому параметру, как число стихотворений, значение для Мажита Гафури остаётся в пределах нормы (2,65 %), то число слов, приходящихся на долю этого автора, зашкаливает (4,14 %). Такая ситуация как раз связана с необычностью для последующей башкирской литературы используемой М. Гафури поэтической формы, подразумевающей объёмные произведения, состоящие из длинных стихов. Это канон поэзии на тюрки, который лирика советского времени быстро преодолеет.

Другие случаи таких нарушений зависимости поможет выявить линейная регрессионная модель. В её основе лежит идея, что рост одного параметра линейно зависит от роста другого, из чего следует, что значения параметров можно предсказать. Ситуации, похожие на ту, которую демонстрирует творчество М. Гафури, будут плохо предсказываться такой моделью, и их можно будет найти по ошибке предсказания. Визуализацию соотношения модельных (прямая на графике) и реальных (точки) значений можно наблюдать на рис. 2.

Рис. 2. Линейная зависимость приходящихся на долю автора словоупотреблений от числа стихотворений в корпусе

Как раз такая ситуация наблюдается у Г. Саляма, при 70 стихотворениях его доля в словоупотреблениях составляет 34 540, хотя модель предсказывает значение около 8326 слов.

Согласно данным линейной регрессии, поэтику-антипод М. Гафури и Г. Саляма демонстрирует Р. Мифтахов. При большом числе стихотворений (544, 3,07 %) его доля слов в корпусе невелика: 26 251, это всего 1,49 % от общего числа словоупотреблений в коллекции, хотя модель предсказывает почти в два раза больше, 49 066 слов. Это говорит о том, что большинство созданных автором произведений очень короткие.

Сказанное позволяет охарактеризовать корпус как сбалансированный, то есть равномерно представляющий творчество различных поэтов, не делая акцента на идиостиле одного автора, поэтического направления или кружка.

Оценка репрезентативности – это ответ на вопрос, как соотносится материал, использованный в этом исследовании, со всем объёмом башкирской поэзии или, говоря языком статистики, выборка с генеральной совокупностью. Вероятным путём здесь было бы сравнение индекса коллекции с библиографией опубликованных на башкирском языке поэтических произведений. К сожалению, усилия, которые требовалось бы потратить на составление такой библиографии, намного превосходят те, что были предприняты для оцифровки имеющегося в нашем распоряжении корпуса.