Правила диагностического экспериментирования предусматривают, что опыты и испытания должны всегда проходить в тождественных условиях. Поэтому диагностические методики снабжаются подробными инструкциями, с примерами и правилами их разбора. Но определенное значение сохраняют некоторые неучтенные условия, а среди них и личность экспериментатора, сообщающего инструкции. Волевой нажим, динамичность в сообщении инструкции, наконец, даже дикция и громкость – все это может отразиться на результатах применения методики.

В любом случае, если у исследователя возникает подозрение по поводу влияния личности экспериментатора или других условий на исход процедуры диагностирования, целесообразно проверить методику с помощью критерия «константности». Иначе результаты одного диагностирования будут несопоставимы с результатами другого. Такие проверки проводились, например, в лаборатории дифференциальной психофизиологии Института общей и педагогической психологии АПН СССР (Олыпанникова А. Е., Александрова Н. И., 1969).

В упомянутой работе был использован тот же статистический прием-корреляция. С его помощью было доказано, что при достаточной общепсихологической квалификации экспериментаторов ни их личные особенности, ни другие неучитываемые условия при проведении некоторых психофизиологических диагностических исследований не играют значительной роли.

В практике методических критериев тестологии вопрос о влиянии личности экспериментатора и некоторых условий тестирования специально рассматривается лишь в редких случаях. Однако это не может служить основанием для его недооценки. Применение любого критерия при проверке методик не может носить характер формальности. Приступая к конструированию и затем к использованию своих методик, исследователь ставит перед собою определенные вопросы. Поиск ответа на них и приводит его к статистике.

К сожалению, приходится констатировать, что на формальное отношение к статистике, на недооценку ее собственно доказательного смысла наталкивают некоторые зарубежные руководства по применению тестов. Сплошь и рядом солидные издания, содержащие полезную информацию, выделяют раздел статистики из общего текста и подают его как свод обязательных правил. Возможно, что для малоквалифицированных экспериментаторов такой способ изложения полезен; он может предостеречь их от грубых ошибок, коренящихся в слепой доверчивости по отношению к любым данным, лишь бы они были получены экспериментальным путем. Но собственно логическая сторона статистики остается при этом нераскрытой. Неквалифицированный экспериментатор избегает одних ошибок, но не гарантирован от того, чтобы совершать другие, вытекающие из бездумного применения статистики.

Прежде всего это относится к понятию надежности. Психологу, знакомому с современным состоянием проблемы психологического развития, ясно, что двукратное применение тестов через какой-то промежуток времени (например, через полгода, как рекомендует Л. Кронбах в своем известном руководстве по тестированию) может привести к значительному расхождению результатов первого и второго тестирования (Рябинина Э. П., 1976). Это расхождение, собственно, не означает, что тесты плохи. Оно может быть обусловлено и тем, что за период между двумя применениями тестов развитие детей или взрослых в экспериментальной выборке шло неодинаковым темпом: одни развивались быстрее, другие – медленнее. Темп может зависеть и от специфических возрастно-половых особенностей детей к моменту первого и второго тестирования, от изменения их интеллектуально-учебной мотивации в оба обозначенных момента, от их индивидуальных особенностей и от ряда других, вероятно, уже менее существенных обстоятельств. Конечно, может иметь решающее значение и то, что функции, испытываемые тестом, вообще неустойчивы и по этой причине не могут служить надежным – то есть стабильным – объектом измерений. Все эти достаточно простые соображения, однако, могут быть упущены при слепом следовании формальному требованию, которое гласит, что тест должен обладать определенной надежностью, как бы независимо от того, что и в каких условиях им испытывается.

Само по себе это требование резонно. От чего бы ни зависела низкая надежность, ее нельзя просто игнорировать, нужно понять, от чего она зависит.

С другой стороны, если имеются теоретические основания для того, чтобы считать испытываемое качество устойчивым и стабильным, как это, например, имеет место в отношении основных свойств нервной системы, то ссылки на неравномерность развития испытуемых как на причину низкой надежности должны быть признаны несостоятельными.

Иногда исследователи, проверяющие тест, бездоказательно считают, будто все способы установления надежности теста словно бы идентичны. Разумеется, самым простым по организации является способ проверки теста как измерительного инструмента, что достигается сопоставлением его частей, обычно – путем коррелирования четных и нечетных задач теста. Что такая проверка теста нужна, это не может быть предметом спора. Но она никак не заменяет других способов проверки, в частности проверки стабильности измеряемой функции, а в некоторых случаях, где это необходимо, и проверки теста на константность – путем сопоставления результатов, полученных в более или менее одинаковых условиях и на одной и той же экспериментальной выборке двумя экспериментаторами. Все это говорит о том, что статистика не может достичь поставленных перед нею целей, если она будет восприниматься исследователями как совокупность технических приемов; статистика полезна, если она служит в качестве аппарата доказательств психологической диагностики.

Один из укоренившихся приемов проверки диагностических методик – проверка их валидности. В самом деле, если тест испытывает какое-то психическое качество и если это качество, согласно гипотетическим построениям психолога, имеет существенное значение в каком-то виде учебной или трудовой деятельности, то тем самым как бы постулируется, что между уровнем развития или степенью представленности данного психического качества и успешностью выполнения учебной и трудовой деятельности должна существовать определенная связь. Чаще всего предполагается, что чем выше представленность психического качества, тем должна быть выше успешность.

Это рассуждение и было, по-видимому, причиной того, что для установления валидности постоянно производили корреляции между успешностью в тесте, диагностирующем данное психическое качество, и теми видами успешности, которые так или иначе устанавливались в изучении психологом учебной и трудовой деятельности.

Следует заметить, что вопрос о валидности всегда представлялся одним из наименее ясных и наименее разработанных (Wallace S. R., 1965). Видный американский психолог Е. Гизелли (Ghiselli Е., 1949), неоднократно изучавший состояние валидности применительно к исследованиям в области профессионального труда, показал, что коэффициенты корреляции, получаемые при реализации сопоставлений «тест – профессиональная успешность», обычно невысоки.