При использовании статистического метода валидизации критериального балла всю группу студентов по результатам предварительных испытаний разбивают на три части: 27% – наиболее слабых, 27% – наиболее сильных и оставшаяся средняя часть. Затем всей группе студентов предлагают тест, из результатов которого выбирают только данные сильных и слабых студентов. По ним строят графики, представленные в сглаженном виде на рис. 3.1.

Рис. 3.1. Статистическая валидизация критериального балла методом контрастных групп

Через проекцию точки пересечения графиков на ось абсцисс проводят вертикальную прямую. Число процентов, соответствующих точке пересечения графиков, принимают за критериальный балл, а «хвосты» кривых слева и справа от вертикальной прямой показывают проценты неправильных решений (сильные испытуемые, попавшие в группы неаттестованных, и слабые студенты, отнесенные к аттестованным, соответственно).

Несмотря на кажущуюся привлекательность, благодаря содержательной интерпретации, критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100%, в одном тесте. Аттестационные критериально-ориентированные тесты нередко получаются очень длинными (из 150–300 заданий), выполнить которые даже студентам при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста [44]. Другой путь укорочения тестов – сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко используют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.

Помимо этого, критериально-ориентированные тесты имеют довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения, навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов. В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхний предел зачастую невозможно. Иногда при выполнении таких заданий студент руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, предпочтение следует отдавать нормативно-ориентированному подходу либо постараться совместить оба подхода в одном тесте.

Нормативно-ориентированный и критериально-ориентированный подходы не имеют тех различий, которые можно выявить путем обычного осмотра заданий тестов. Углубленный анализ существенных характеристик тестов, разработанных в рамках различных подходов, указывает на ряд особенностей. Нормативно-ориентированные и критериально-ориентированные тесты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.

В частности, содержание критериально-ориентированного теста должно быть достаточно полно, в него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержание нормативно-ориентированного теста фрагментарно, в нем могут быть только те разделы, которых достаточно для сравнения и дифференциации студентов по уровню учебных достижений. Нормативно-ориентированные тесты обычно имеют от 50 до 70% заданий примерно средней трудности, т.е. таких, которые смогла выполнить верно приблизительно половина тестируемых студентов (рис. 3.2).

Рис. 3.2. Распределение заданий по трудности в нормативно-ориентированном тесте

В критериально-ориентированных тестах, используемых для аттестации, основная часть заданий намного легче, особенно в тех случаях, когда стараются спланировать процент двоек и ограничить число неаттестованных студентов. Например, процент двоек не должен быть больше десяти, и критерий отсева неуспевающих хотят установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают два), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить верно 90% тестируемых студентов (рис. 3.3).

Рис. 3.3. Распределение заданий по трудности в критериально-ориентированном тесте

В силу того что распределения сырых баллов испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму, приходится использовать отличающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания. Типичные распределения баллов репрезентативной выборки испытуемых в нормативно-ориентированных и критериально-ориентированных тестах показаны на рис. 3.4 и 3.5.

Рис. 3.4. Распределение баллов репрезентативной выборки испытуемых в нормативно-ориентированных тестах

Рис. 3.5. Распределение баллов репрезентативной выборки испытуемых в критериально-ориентированных тестах

Наиболее существенные отличия между нормативно-ориентированными и критериально-ориентированными тестами сведены в табл. 3.1.

Таблица 3.1 Отличия между нормативно-ориентированными и критериально-ориентированными тестами