В целом можно сделать вывод о том, что эффективность работы по анализу динамики изменения качества образования во многом зависит от того, насколько правильно структурирована совокупность компетенций, насколько она поддается операционализации, представляется в виде некоторой системы показателей, поддающихся измерению либо экспертному оцениванию. Уже сейчас на этапе перехода к новым стандартам следует отказаться от прежнего эклектического подхода к оцениванию качества результатов обучения в аттестации и разработать системный подход к формированию содержания измерителей, выбору их видов и форм заданий, построению стандартизованных шкал и интерпретации результатов аттестации в условиях их высокой надежности, валидности и сопоставимости.

Ядро такого системного подхода должна составлять методология педагогических измерений, к ведущим принципам которой следует отнести:

• сочетание количественных и качественных уровней измерения, характерное для бипарадигмальной методологии;

• привлечение психодиагностических методик и специальной теории для измерения изменений качества результатов образования;

• учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;

• обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние);

• обеспечение высокой конструктной, содержательной и прогностической валидности (обоснованности) результатов измерений;

• применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;

• применение лонгитюдных (проводимых с учетом фактора времени) измерений в аттестационных процессах, переход к режиму мониторинга качества результатов образования;

• применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);

• использование, факторного, дисперсионного и метаанализа для изучения данных о качестве подготовки студентов;

• сочетание внешних и внутренних экспертиз при аттестации.

Для реализации этих принципов в аттестации необходим ряд подготовительных работ, в число которых входят:

• создание общей концептуальной базы аттестации;

• разработка профессиограмм для различных направлений подготовки;

• структурирование и операционализация компетенций (перевод в плоскость измерений);

• концептуальный выбор размерности измерений;

• определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);

• формирование репрезентативных выборок студентов или выпускников для апробации измерителей;

• разработка первой версии инструментария (предметно-ориентированных тестов, компетентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);

• апробация, оценивание размерности пространства измерений и определение числа шкал;

• получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;

• анкетирование работодателей;

• коррекция инструментария;

• проведение измерений;

• сбор и обработка данных;

• взвешивание;

• шкалирование;

• интеграция данных по различным шкалам;

• интерпретация результатов оценочного процесса.

Только выполнение всех этих этапов позволит в полной мере реализовать компетентностный подход в профессиональном образовании.

Критерии выбора и структурирования совокупности показателей качества могут быть самыми разными. За основу для выделения такой совокупности иногда принимают модели системы образования, структурированные цели образовательной системы, критерии ее эффективного функционирования, актуальные проблемы управления и т.д. Вне зависимости от оснований по выбору совокупность показателей должна быть:

• адекватной трактовкам качества образования, принятым педагогическим сообществом страны;

• репрезентативной, обладающей достаточной полнотой;