Программа «Совершенствование школьных навыков» может быть использована для иллюстрации еще одного фундаментального порока современной теории тестов. Несмотря на все сказанное выше в адрес экспериментальных программ развития школьных навыков, ее основная философская установка правильна: если определенным учащимся действительно важно освоить некий навык, они его осваивают. Если же этого не происходит, то виновата программа. Когда освоение этого навыка или материала неважно для учащихся, они и не должны этому учиться. Отсутствие положительных результатов обучения означает, что либо учащимся некомпетентно преподавали, либо они не получили адекватной помощи и руководства. Другими словами, не выработанное в процессе обучения умение – это приговор способу обучения, а не самому ученику. Отсюда следует поистине катастрофический вывод для применяемых в настоящее время моделей измерения результатов обучения, поскольку большинство из них основано на предположении, что «нормальное распределение» педагогических результатов – явление не только ожидаемое, но и желательное. Как бы ни обстояло дело с врожденными способностями учащихся, это допущение не применимо к тем способностям, которые должны формироваться в процессе обучения.

Третий пример ошибочных выводов, сделанных в результате применения традиционных измерений в экспертных исследованиях, основан на работе Coleman[12] и отчете Международной ассоциации по оценке достижений в сфере образования.[13] В обеих этих работах представлены доказательства того, что «разные школы не отличаются друг от друга». Обе работы использовали традиционные тесты для измерения достижений в обучении. В обоих случаях попытались выявить зависимость результатов обучения от особенностей учителей. И когда статистическими методами исключили влияние таких факторов, как «домашняя ситуация» и «способности» детей, получили вывод, что «школы не различаются». Этот абсурдный вывод был получен благодаря тому, что использовались тесты, сконструированные специально для измерения содержания, общего для всех педагогических программ. В них не могли проявиться особенности профессиональной компетентности отдельного учителя. Другими словами, даже наиболее вероятные различия между учителями не могли быть выявлены в принципе.

Когда мы сами попытались измерить и как-то зафиксировать нестандартные результаты, полученные учениками при работе с конкретным учителем (а не то, научились ли они чему-то такому, что некий исследователь полагает необходимым для освоения текущего материала), и включили в опросники для учащихся нежелательные результаты наряду с желательными, мы обнаружили огромные различия во влиянии разных учителей на самооценки, набор компетентностей, ценности и приоритеты, складывающиеся у их учеников. Ученики из разных классов овладевали чрезвычайно разными умениями, многие из которых не только не подразумевались учителем, но и не несли никакой функциональной нагрузки. То же самое было отмечено и в ходе единственной исследованной нами обучающей программы проектного типа – то, что усваивал один ученик, значительно отличалось от того, что усваивали другие. Учащиеся выбирали и выполняли разные виды деятельности и, следовательно, оказывались в разной образовательной среде.

Выводы

Было показано, что традиционные тесты достижений не могут должным образом оценить результаты педагогического – в полном смысле этого слова – процесса; что они не подходят для выявления одаренности учащихся; что при попытках улучшить качество образования доверие к тестам уводит внимание учителей от тех целей, которые особо подчеркиваются при обсуждении недостатков системы образования, в сторону частных, незначительных целей; что они сужают наши представления об образовании вообще и об академическом образовании в частности и что их общепринятое применение при экспертизе содержания и методов обучения приводит к выводам, которые в лучшем случае некорректны, а по большому счету противоречат интересам как ученика, так и всего общества.

Остается добавить, что учителям совершенно необходимо иметь средства выявления интересов и способностей учеников, чтобы эффективно использовать обучающие программы. Им нужно уметь следить за продвижением учеников к цели, чтобы, если это понадобится, предпринять адекватные коррекционные действия. Ученикам необходимы средства, позволяющие определить, чему именно они научились и чем они отличаются от других учеников, обучающихся по другим программам. Они должны иметь возможность получить признание своих достижений. Учителям и администраторам необходимо уметь выявлять относительные преимущества разных программ, а также определять, в каких отношениях эти программы хороши, а в каких нет и как их можно улучшить.[14]

Очевидно, что новая концепция измерения и оценки навыков и способностей учащихся остро необходима всей системе образования.

Однако примеры, которые я привел, содержат не только критику. Они также указывают основание, на котором можно было бы построить альтернативную концепцию: вместо использования «надежных и валидных» измерений лишь отдельных результатов педагогического процесса следует попытаться описать всю область его возможного влияния.[15] Это предполагает, что альтернативная концепция измерений могла бы основываться на наглядных описаниях, аналогичных химическим, а не на установлении связи между переменными, как в физике. Подробнее мы раскроем эту идею в следующих главах. А пока, поскольку мы назвали еще далеко не все негативные последствия современной измерительной и оценочной практики и не привели достаточно свидетельств в пользу альтернативной измерительной концепции, рассмотрим еще несколько важных примеров.

ГЛАВА 2
НЕОБХОДИМОСТЬ ФУНДАМЕНТАЛЬНОЙ РЕФОРМЫ СПОСОБОВ ОЦЕНИВАНИЯ В СИСТЕМЕ ОБРАЗОВАНИЯ

В этой главе будут обсуждаться причины того, почему людям, связанным с проблемами образования, принципиально важно найти способы выявления таких индивидуальных качеств, как инициатива и желание участвовать в общественной жизни, – качеств, ускользающих от психометристов на протяжении всей истории психологии. Мы затронем здесь семь таких причин, которые можно объединить в четыре группы: 1) то, чему уделяется основное внимание в школах и что служит предметом дискуссий о политике в сфере образования, в действительности определяется самими показателями тестов учебных достижений; 2) учителя и ученики нуждаются в адекватных методических средствах для контроля за своим продвижением к поставленным целям и успешностью их достижения; 3) принятым в настоящее время способам оценивания учебной деятельности недостает конструктной и прогностической валидности, и они не позволяют нам исключить случаи, когда некомпетентные люди с неадекватными амбициями занимают влиятельное положение в обществе; 4) современные процедуры педагогического измерения необъективны.

1. Содержание выпускных экзаменов и квалификационных испытаний при приеме па работу обусловливает происходящее в школе и последовательно вытесняет из нее все, что достойно называться образованием

В исследовании, которое к настоящему времени проведено в Англии,[16] Шотландии,[17] Северной Ирландии,[18] Ирландии,[19] Бельгии[20] и США,[21] учащимся, их учителям, родителям, выпускникам школ и работодателям предлагали оценить важность различных потенциальных целей образования.