ВЕСТНИК СВФУ, 2013, том 10, № 4

116

УДК 37.014:001.8

Т. В. Третьякова

ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ, ИХ РОЛЬ В ОЦЕНИВАНИИ КАЧЕСТВА ОБРАЗОВАНИЯ

Рассмотрены функции педагогических измерений в оценивании и управлении качеством образования. Обоснована

роль педагогических измерений в оценивании качества образования, приведено научное обоснование использования

бипарадигмальной методологии оценивания качества образования. Приведены результаты практической апробации педаго-

гических измерений в системе образования Республики Саха (Якутия).

Ключевые слова: качество образования, оценивание, функция, педагогические измерения, бипарадигмальная методоло-

гия, измерители, показатели.

T. V. Tretyakova

Pedagogical dimensions, their role in education quality estimation

The functions of pedagogical dimensions in estimation and management of the education quality are observed. The role of

pedagogical dimensions in education quality estimation is proved; scientific substantiation of the use of the biparadigm

methodology of education quality estimation is presented. The results of practical approbation of pedagogical dimensions in the

system of education in the Republic of Sakha (Yakutia) are given.

Key words: education quality, estimation, function, pedagogical dimensions, biparadigm methodology, measurers, indicators.

ТРЕТЬЯКОВА Татьяна Васильевна – д. п. н., руководи-

тель Департамента по надзору и контролю Министерства

образования Республики Саха (Якутия).

E-mail: TV_Tretyakova@mail.ru

Педагогические измерения применяются в системе

образования многопланово. Их основной целью

является получение и предоставление объективной

информации о фактическом уровне учебных достиже-

ний. Объективная информация может обеспечить

последующую результативную деятельность по кор-

рекции образовательной ситуации, индивидуализа-

ции обучения, принятию управленческих решений,

способствующих повышению качества образования,

планированию повышения квалификации педагогов и

реальному повышению качества образования.

Мы считаем, что существует ряд важных факто-

ров, способствующих актуализации педагогических

измерений в современной образовательной системе:

• интенсификация реформирования на всех

уровнях системы образования и необходимость

соответствующего систематического анализа измене-

ний в системе образования на основе объективных

результатов измерений;

• диверсификация образования, проявляющаяся

в расширении объема содержания образования в

условиях научно-технической революции конца

XX – начала XXI вв., во введении новых методов

обучения и информатизации на всех уровнях системы

образования, в развитии механизмов управления и

требующая систематизации, конкретизации оценочных

действий в разных педагогических ситуациях;

• индивидуализация образования, выраженная

в вариативности программ, индивидуальных курсов

обучения, многочисленных контрольно-обучающих

программ, что, в свою очередь, требует создания

разных средств контроля и оценки, находящихся в

содержательном единстве с требованиями ГОСов;

• интернационализация образования, обеспечи-

вающая общее образовательное пространство,

сохранение единства фундаментальных российских

стандартов и национальных традиционных требова-

ний к образованию.

На протяжении последних десятилетий форми-

ровались подходы к оцениванию качества образова-

ния. В конце XX – начале XXI вв. сложился научно-

практический подход, который представляет собой

соединение теоретико-методологических исследо-

ваний проблемы качества с возможностями теории

педагогических измерений [1, 2]. В роли критерия

принимаются требования государственных образо-

вательных стандартов, определенные для каждого

уровня и каждой ступени общего образования.

До сих пор не решена проблема формулирования

требований стандартов в практически измеримой

форме. В государственных образовательных стандар-

тах нового поколения, которые постепенно вводятся

в систему общего и профессионального образования,

117

реализуется компетентностный подход к трактовке

качества образования. Компетентность включает

в себя усвоенные знания, умения, навыки, а также

предполагает эффективное использование их в

реальных ситуациях. Компетентность отражает

современные тенденции в понимании качества

результатов образовательного процесса и выражается

в готовности к решению реальных проблемных ситуа-

ций в ходе обучения или после него [3, 4]. При

реализации и обосновании компетентностного

подхода в образовании измерения должны охватывать

ключевые параметры (компетентности). Проблемой

является то, что ключевые компетентности носят

общепредметный характер и трудно поддаются

измерению. Простейшие навыки, необходимые для

повседневной жизни, относящиеся к ключевым

компетенциям, таким как умение считать деньги,

заполнять документы, поддаются измерениям.

Так, функциональная грамотность определяется

в международных сравнительных исследованиях

PISA и TIMSS [5, 2]. Однако в большинстве случаев

компетентность не поддается измерениям.

Таким образом, основная проблема оценивания

качества образования заключается в развитии

методологических основ педагогических измерений,

повышении точности измерений, создании

методов интерпретации результатов измерения,

совершенствовании методов шкалирования получен-

ных данных.

Важность, на наш взгляд, представляют вопросы

концептуально-методологического обоснования изме-

рений в управлении качеством образования,

методологические подходы к измерению качества

учебных достижений и применения их результатов.

Несмотря на необходимость и важность количествен-

ных показателей при оценивании качества учебных

достижений, нельзя использовать их как абсолютные

критерии вне качественной интерпретации. Мы

считаем, что для объективной оценки уровня учебных

достижений и использования их в управлении

качеством образования в образовательном процессе

необходимо привлечение смешанной методологии

педагогических измерений, экспертных суждений

и разнообразных оценочных средств. Решение этих

вопросов может быть рассмотрено во введенной

В. И. Звонниковым [1, 6] бипарадигмальной методоло-

гии оценивания качества образования, развитие

которой связано с повышением интереса к творчес-

ким аспектам подготовки учащихся, необходимостью

структурирования разнообразных методов при

использовании смешанной методологии измерений,

возрастанием роли педагогических измерений в

управлении качеством образования и расширением

технологических возможностей компьютера.

При использовании бипарадигмальных методов в

качестве средств оценивания выступают не только

стандартизованные тесты, но и совокупность методов

и средств измерения. Вместо единственного источника

информации – результатов стандартизованного тести-

рования появлялись многочисленные источники

данных, сочетающие различные средства измерения.

Полученные материалы подвергаются последующей

качественной интерпретации и только после этого

используются в управлении образованием.

Примером использования смешанных моделей

измерения является появление и практическая

апробация технологии ЕГЭ в России. Объединение

в едином контрольно-измерительном материале

закрытых тестов с выбором ответа, открытых тестов

с программированным верным ответом, заданий со

свободно конструируемым ответом является новым

подходом в отечественной практике педагогических

измерений. Репрезентативность экспериментальной

выборки, социальная ориентированность на получе-

ние дальнейшего образования, включение больших

социальных слоев населения в процессы единого

государственного экзамена обеспечили массовую

апробацию и быстрое внедрение новой методологии

измерения в педагогическую практику.

Практика ЕГЭ создала прецедент массового

использования в России бипарадигмальной методоло-

гии, позволяющей сочетать количественные результа-

ты тестирования с качественными экспертными

оценками при аттестации подготовки школьников,

приеме в вузы, аттестации школ и педагогических

кадров. Возможные сочетания количественных и

качественных подходов, используемых в педагогичес-

ких измерениях, можно представить в следующих

обобщенных схемах [1, 5]:

– качественные измерения – количественная

интерпретация – результаты. Примером применения

этой схемы является наиболее распространенное

в практике оценивание устных ответов учащихся

учителем, выражаемое в количественной шкале

(школьные оценки). Аналогичный пример:

количественная интерпретация количественных

результатов в заданиях со свободным ответом ЕГЭ.

В случае сочетания смешанных методов в измерении

возможен такой дизайн исследования: анкетирование

предваряет тестирование и на основе обобщенных

данных выводится результат. Практически такая

последовательность действий производится при

конкурсном отборе, дифференциации учащихся по

уровню знаний;

– количественные измерения – качественная

интерпретация – результаты. Это также наиболее

часто используемая схема, когда статистика

количественных данных подвергается педагогическому

анализу, качественной интерпретации. Это наиболее

привлекательный дизайн педагогических измерений,

Т. В. Третьякова. ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ, ИХ РОЛЬ В ОЦЕНИВАНИИ КАЧЕСТВА ОБРАЗОВАНИЯ

ВЕСТНИК СВФУ, 2013, том 10, № 4

118

когда результаты используются для управления

качеством образования, для предположения выводов и

прогнозов в долгосрочной перспективе;

– качественные методы – результаты – количествен-

ные методы. Вариант назван параллельным дизайном:

качественные данные оцениваются, перекладываются в

метрическую шкалу и подвергаются количественному

анализу.

Эффективность работы по оцениванию качества

учебных достижений зависит от того, насколько

операционализированы показатели качества, представ-

лены в виде стандартов, критериев и показателей,

поддающихся измерению или экспертному заключе-

нию. Поскольку «качество» есть сложное много-

аспектное понятие, его изучение в каждом конкретном

случае нужно строить путем формирования одномер-

ных составляющих, подчиняющихся стандартизации,

непосредственному измерению. Единый концептуаль-

ный подход должен основываться на смешанных

методах измерения, единой системе оценки качества,

охватывающей единые стандарты, инструментарии

и технологии измерения, образовательный процесс,

деятельность и результаты учебного процесса.

Системное использование современной методоло-

гии педагогических измерений для оценки качества

образования, управления им на разных уровнях

региональной системы образования возможно при

наличии специально созданных условий: региональ-

ной структуры, занимающейся педагогическими

измерениями на разных уровнях системы образования;

профессионально подготовленных кадров (тестологов,

экспертов, аналитиков, управленцев); создания

информационно-технологических баз и т. д., то есть

при наличии сформированной региональной системы

оценки качества образования.

Мы предлагаем функционально-структурную

модель системы оценки качества образования

Республики Саха (Якутия) [6, 7, 8]. Модель имеет три

уровня в соответствии с образовательной практикой:

региона, муниципалитета и образовательного

учреждения (рис.).

В определенной степени эта модель является

теоретической, поскольку в реальной образователь-

ной ситуации возникают проблемы, связанные с

сертификацией, валидностью тестовых материалов

и результатами измерений, а процедуры эвалюации,

обеспечивающие надежность и объективность

результатов, не разработаны на должном уровне. Эти

проблемы порождают трудности в организации и

проведении психолого-педагогических измерений, в

сопоставимости и анализе результатов, малодоступ-

ности и дороговизне компьютерного программного

продукта, используемого при анализе результатов

педагогических измерений. Проведенная нами работа

дала возможность оценить объективность результатов

ЕГЭ, сравнить статистические данные на уровне

муниципалитетов, групп районов, выделенных

по территориальным, национальным признакам,

определить конкретные задания и темы, которые

представили трудность для учащихся, выявить

зависимость результатов от социальных условий,

в которых проживает семья, от профессионализма,

национальной принадлежности педагогов и т. д.

В рамках научного исследования мы применили

аппарат теории IRT для оценивания результатов ЕГЭ

выпускников Республики Саха (Якутия) 2009 года.

Нашей задачей был не только анализ результатов

и использование его в практической деятельности

образовательных учреждений и управляющих струк-

тур, программа позволила выявить систематические

ошибки в заданиях ЕГЭ, обусловленные терри-

ториальными и национальными особенностями

республики. Они подлежат удалению из теста,

поскольку не имеют отношения к измеряемой

переменной и дают преимущество одним группам

испытуемых по отношению к другим при исполь-

зовании тестов в системе оценки качества образова-

ния региона с национальными и территориальными

особенностями [9, 6]. К этим особенностям мы

отнесли обучение учащихся по программам

национальных школ в социальных условиях

национального села, а также удаленность места

проживания от центра республики, отсутствие сетевых

коммуникаций. В целом, необходимо признать,

что влияние этих факторов на выполнение заданий

оказалось несущественным.

Мы апробировали методику, основанную на

аппарате линейного иерархического анализа (HLM).

Была поставлена задача выявить влияние различных

факторов с иерархической структурой на качество

учебных достижений выпускников школ Республики

Саха (Якутия), оценки которых были получены на ЕГЭ

в 2009 году. Применение аппарата HLM потребовало

предварительной работы по анализу демографических,

школьных и ученических факторов. Дисперсионный

анализ ANOVA показал различные результаты оценки

статистической значимости при проверке гипотезы

о наличии влияния данных факторов на результаты

ЕГЭ. Результаты дисперсионного анализа ANOVA,

проведенного для выборок выпускников школ Якутии,

сформированных по признаку принадлежности к

национальной или русскоязычной школе, не показали

значимых различий ни по математике, ни по русскому

языку. Второй фактор, связанный с национальным

составом учительского коллектива, по которому

проводился дисперсионный анализ, показал значимые

различия в результатах ЕГЭ и по математике, и по

русскому языку.

Применение модели HLM показало, что уровень

полного среднего образования выпускников школ

119

Т. В. Третьякова. ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ, ИХ РОЛЬ В ОЦЕНИВАНИИ КАЧЕСТВА ОБРАЗОВАНИЯ

�������������� ���������������������������

������������������������� ����� ���������������������� �� ��������� �������� ��������!"���������#���$��

%��������������������������$�������&����

������������������� �����

'�����(�������������� �������������!�)������

*��������������$��������+����

��� �����+�!�����,����-������ �$���(�����-����!

*������� �� �����������

��������+�����.���������� �����

*��������������������� �����

/�$�� �����������������$����� �����+�!�����,����-

*��&������������ ��!�#���$�-

*��&�������������������������� �����

0���� ������������!�����!������������ �����

�#����������&��������������������� ������������

'�!"���������#���$�������12�������)���������

'����������������!�������!�����������-�2�����$����� �����+�!�������

0������$��������������������

0���� ������������������!��$����

����������� �����

����������������)���$����)

���� �������

����������� ������������������������������� ����������������-����!

*$������ ��+��������������$���������)����&��)�����������

�������������!��� ��+���������������+�!�����,���-

0���� �� ��+������#�������+�-������+�����������

*������������������������ ���������$�������

0���� ������������!�����!������������ �����3

*����� �$��% 04��"���$����������+����

*5

������������������� �����3

����������������

����$����+�!�������������� �����

0������$���������������

�����

'�!"���������#���$���������������

�����

�#����������&����������3*��������������� �����

�#���$���(��������������,��

Рис. Функционально-структурная модель системы оценки качества образования в Республике Саха (Якутия)

Якутии, в целом, соответствует общероссийскому

уровню. Полученные результаты о влиянии школьных

факторов на качество подготовки выпускников школ

Якутии показывают большую однородность по

математике, чем по русскому языку.

Третье направление разработки методического

обеспечения региональной системы оценки качества

образования было связано со шкалированием данных

педагогических измерений с целью повышения их

интерпретируемости. Проведенное сравнительное

исследование позволило сформулировать общие

подходы к шкалированию результатов выпускников

в условиях сопоставимости данных педагогических

измерений [10, 6].

Проведение подобного рода анализа в разных

регионах, имеющих отличительные особенности,

влияющие на общие результаты измерений в

педагогической практике, способствует получению

объективной оценки качества образования. Аналитичес-

кие материалы должны быть учтены при формиро-

вании измерительных материалов Федеральным

институтом педагогических измерений, использованы

при создании контрольно-измерительных материалов

ЕГЭ.

Практические рекомендации по созданию

региональной системы оценки качества образования

в Якутии с учетом региональных особенностей

призваны способствовать совершенствованию системы

контроля и оценки. В целом они позволят повысить

объективность и обоснованность оценок учебных

достижений учащихся, получить всестороннюю,

полную и достоверную информацию о состоянии

системы регионального образования; создать систему

многоуровневого мониторинга качества образования

в регионе, установить проблемы в обучении на

основе анализа соответствия образовательных

программ и образовательных технологий требованиям

образовательных стандартов и норм; внедрить

процедуры независимой оценки учебных достижений,

в том числе единого государственного экзамена;

прогнозировать с высокой достоверностью развитие

региональной системы образования.

Л и т е р а т у р а

1. Звонников В. И. Измерения и качество образования.

– М., Логос, 2006. – 313 с.

2. Конкурентоспособна ли наша школа? // Между-

народные исследования как индикатор качества школьного

образования: Сб. мат. научно-практич. конф. М.,

2004. – 312 с.

3. Звонников В. И., Челышкова М. Б. Научное обеспече-

ВЕСТНИК СВФУ, 2013, том 10, № 4

120

ние эксперимента по введению единого государственного

экзамена // Высшее образование сегодня. – 2002. – № 6. –

С. 276.

4. Зимняя И. А. Социально-профессиональная компе-

тентность как целостный результат профессионального

образования // Актуальные проблемы качества образования

и пути их решения в контексте европейских и мировых

тенденций: Материалы Всероссийской конференции.

Кн. 2. – Уфа, М.: Исследовательский центр проблем качества

подготовки специалистов, 1999.

5. Основные результаты международного исследования

образовательных достижений учащихся PISA-2003. Отчет

Национального фонда подготовки кадров / Под ред.

Г. С. Ковалевой. – М., 2004.

6. Третьякова Т. В. Теория и методология построения

региональных оценочных систем (на материалах Республи-

ки Саха (Якутия)). – Якутск, 2010. – 346 с.

7. Ефремова Н. Ф. Модель региональной системы оценки

качества образования Единый государственный экзамен. Сб.

статей / Под ред. В. А. Болотова, С. 64-69.

8. Третьякова Т. В. Некоторые подходы к организации

внутришкольной системы повышения качества обучения

школьников // Развитие тестовых технологий в России.

Федеральный Центр тестирования «IX Всероссийская научно-

методическая конференция». Тезисы докладов. – М., 2007. –

С. 91-93.

9. Третьякова Т. В. Измерение качества образования

посредством единых государственных экзаменов // Этнос.

Образование. Личность, – № 8. – Институт повышения

квалификации работников образования им. С. Н. Донского II //

Якутск, 2007. – С. 39-41.

10. Звонников В. И., Челышкова М. Б. Зарубежный опыт

создания систем оценки качества образования. Материалы

межрег. сов. М., 2007. – С. 101-115.