Вопросы организации изучения и обобщения педагогического опыта, опытной работы и педагогического эксперимента достаточно подробно описаны в вышеупомянутых книгах В.И. Загвязинского,

А.А. Кыверялга и М.Н. Скаткина и других авторов, поэтому на них здесь мы останавливаться не будем. Кстати, объем и характер опытно-экспериментальной работы в педагогических кандидатских диссертациях обычно не вызывает существенных возражений. Сомнения и возражения чаще всего относятся к интерпретации ее результатов, применявшимся критериям оценки и методикам статистической обработки данных.

Интерпретируя результаты опытно-экспериментальной работы в кандидатской диссертации, необходимо иметь в виду одно существенное обстоятельство, связанное со спецификой педагогики. Личность человека, начиная с ребенка, формируется десятилетиями. В ее формировании участвуют десятки, сотни людей: родители, родственники, товарищи, все школьные учителя и т.д. Поэтому говорить о существенном влиянии тех или иных серьезных педагогических инноваций, например, какой-либо дидактической системы на воспитание и развитие учащихся, строго говоря, можно было бы, если бы они проверялись с I по XI класс в школе во всех предметах. И тогда, казалось бы, оценивать их эффективность.

Но и это не все. Выпускник школы в 17 лет – еще не окончательно сложившаяся личность. Следовало бы еще получить отдаленные результаты организованных педагогических воздействий – лет так через десять. Но с тех пор, когда был бы начат такой эксперимент и когда он был бы окончен, изменятся многие социально-исторические условия жизни общества, изменится социальный заказ школе, и полученные результаты уже вряд ли кому-то будут нужны. Мы специально «сконструировали» такой крайний, предельный вариант, чтобы подчеркнуть определенную условность результатов всех педагогических экспериментов в силу особой специфики педагогической науки как, в некотором смысле, науки о будущем.

Кроме того, условность результатов опытно-экспериментальной работы в педагогических исследованиях вызывается еще и тем, что как бы ни выравнивались начальные условия в контрольных и экспериментальных группах учащихся, как бы ни подбирался «одинаковый» состав педагогов, учащихся, допустим, в эксперименте, педагогический процесс все равно будет иметь личностную обусловленность. Учитель или сам исследователь, преподающий в контрольном и экспериментальном классе, как бы ни стремился быть объективным, все равно будет иметь внутренние, часто неосознаваемые симпатии или антипатии как к тому или иному методу обучения, так и к тому или иному ученическому классу. Ведь каждый школьный класс имеет свое неповторимое индивидуальное «лицо» – все, кто работал в школе, в каком-либо другом учебном заведении, это хорошо знают. Поэтому для получения действительно достоверных результатов исследования, строго говоря, необходимо привлечение огромных контингентов учащихся и педагогов.

У аспиранта, соискателя есть всего 3-4 года для того, чтобы провести и закончить диссертационное исследование и, как правило, весьма ограниченные возможности привлечения широкой педагогической общественности к опытно-экспериментальной работе по теме своей диссертации. Естественно, все это понимают. Но диссертанту надо быть предельно осторожным в интерпретации полученных результатов. Когда автор диссертации, проведя эксперимент по одному разделу курса физики, допустим, в X классе, утверждает, что за счет этого повысилась эффективность формирования у учащихся научного мировоззрения, или, в другом случае, после изучения всего трех тем специального предмета у учащихся ПТУ было сформировано умение самостоятельно определять стратегические цели своей трудовой деятельности – такие утверждения вызывают, по меньшей мере, недоумение. И уж совсем нелепым выглядит утверждение, которое встретил автор в одной диссертации о том, что после проведения эксперимента уровень общей культуры студентов повысился на 17% (?!).

Самый сложный и острый вопрос для любого педагогического опытно-экспериментального исследования: по каким критериям производится оценка педагогических явлений, процессов? Критерии эффективности важнейшая проблема вообще в любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем. Часто приводится такой классический пример неправильного выбора критерия и вызванных этим последствий: в двадцатые годы нашего столетия пожарным, чтобы они вроде бы «меньше спали», была установлена заработная плата, пропорциональная числу потушенных за месяц пожаров. В итоге дело кончилось тем, что пожарные сами стали устраивать поджоги!

Поэтому, приступая к опытно-экспериментальной части своего исследования, диссертант должен самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент обучаемых, сколько классов, групп или школ необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.

Критерии должны удовлетворять, в частности, следующим признакам:

1.Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.

2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, их личностных качеств, а часто даже и не знаем, какие способности, качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающимися проблемами воспитания молодежи.