ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 20 10

ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТВЫСШАЯ ШКОЛА ЭКОНОМИКИ

Исследование качества инженерного образования в пермских вузах с помощью

метода нелинейных главных компонент

ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 2010

Докладчик: Теплых Григорий Васильевич

2 ноября 2010 года


Исследование университета Стэнфорда

В 2009 году по инициативе университета Стэнфорда проведено исследование качества высшего инженерного образования в странах БРИК.

В России оно охватило несколько городов, в т.ч. Пермь – 6 факультетов в 2 вузах (ПГТУ и ПГУ – оба национальные исследовательские университеты)

Основной инструмент – анкетирование студентов Получено 339 анкет студентов, отобрано 263 Каждая из анкет содержала порядка 200 вопросов Цель исследования – оценка качества высшего

образования в пермских вузах с точки зрения студентов с помощью инструментария снижения пространства категориальных показателей (NLPCA)

2

ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТВЫСШАЯ ШКОЛА ЭКОНОМИКИ 3

Стейкхолдеры в высшем образовании

Высшее образование – сложный многосторонний процесс, задевающий различные стороны

Студенты – объект и субъект процесса, их отношение к образованию связано с психологическими моментами

Это наиболее трудный для исследования стейкхолдер

Среднее образование

Высшее образование

Работодатели

Государство

ОбществоСтуденты


Измерение качества высшего образования

Качество высшего образования – сложная и многосторонняя категория, у неё нет единого определения (Harvey, Green)

При этом реальное управление качеством требует точных и эффективных методик его измерения

Всё большую популярность приобретают концепции, где необходимо учитывать мнение студентов Высшее образование - «чистый сервис», удовлетворённость

студентов имеет большое значение (Oldfield and Baron) Двухуровневая система, платное обучение стимулируют

борьбу вузов за студентов (Voss, Gruber, Szmigin, Joseph) Студенты становятся более требовательными к вузам и

избирательными в их выборе. Общение студентов даёт при этом сильный опосредованный эффект (Marzo-Navarro).

4


Проблема оценки качества образования

Нет одного или нескольких показателей, которые могли бы однозначно приняты за оценку качества высшего образования студентами

Нельзя найти показатель оценки, имеющий при этом естественную количественную природу

Относительно простой метод – анкетирование студентов, но и он имеет ряд недостатков Невозможность выделения наиболее важных вопросов,

истинная природа качества образования априори неизвестна и может иметь скрытый характер и быть «под вопросами»

Множество исследуемых показателей (сформулированных в виде вопросов), имеющих различную статистическую природу

Коррелированность показателей между собой

5


Основная проблема анализа анкет

Большинство вопросов анкеты характеризуется не количественными (Numerical), а качественными (категориальными) показателями: Номинальные (Nominal)

«Какой уровень образования вы получаете?» «На каком факультете вы учитесь?»

Порядковые или ординальные (Ordinal) «Оцените по 5-балльной шкале, насколько изменились ваши

профессиональные навыки за время учёбы в вузе?»

Однако измерение качества образования означает количественную оценку, что ведёт к необходимости квантификации качественных переменных

6


Квантификация качественных показателей

Квантификация зависит от типа факторов

7

OrdinalNumerical Single nominal multiple nominal

Рассматривая качественные факторы по отдельности, нет объективных алгоритмов их квантификации

На практике распространены экспертные оценки Однако можно решить проблему в рамках некой другой задачи


Снижение размерности пространства данных

8

Проблему множества и коррелированности показателей может решить статистический инструментарий снижения размерности

Он позволяет перейти от множества показателей, к небольшому числу интегральных индикаторов, сохраняя максимум исходной информации об объектах наблюдения


Снижение размерности пространства данных

Анкетные показатели носят в основном качественный характер (ранговый или номинальный). Обычный МГК работает только т с количественными факторами

Как инструмент в социально-экономических исследованиях очень слабое распространение и известность получил метод нелинейных главных компонент (NLPCA), разработанный в рамках систем Gifi в университете Лейдена (1970-1990-е гг.)

Метод допускает различные типы показателей NLPCA заданным оптимальным образом не только

рассчитывает главные компоненты, но и параллельно квантифицирует качественные переменные

9


Nonlinear Principal Component Analysis

Существует несколько пониманий NLPCA Нейросетевое воплощение МГК с учётом нелинейных функций (Salinelli) Категориальные переменные (в рамках систем Gifi)

NLPCA в рамках систем Gifi разработан в рамках

проекта «Нелинейный многомерный анализ», в школе Лейдена (de Leeuw). , занимающейся им с 1968 года. Albert Gifi – псевдоним группы

Важная особенность Gifi-систем – акцент на категориальную природу данных

10


Ядро Gifi систем

Общая задача – минимизация функции потерь

X – матрица (N×p) объектов в свёрнутом p-мерном пространстве (содержит главные компоненты)

Yj – матрица (Lj×p) переменной j, содержащая координаты (квантификации) всех Lj её категорий в p-мерном пространстве, j = 1,…,J.

Gj – матрица смежности (N×Lj) для j-й исходной переменной, j = 1,…,J. Определяет к какой из категорий относятся каждый объект (Gj = 1 или 0)

Матрицы X и Yj априори неизвестны11

J

1jjj

'jj

J

1j

1jj

1J1 )YGX()YGX(trJ)YGX(SSQJ)Y,...,Y;X(


Категориальные данные в системах Gifi

В системах Gifi неизвестны как исходные значения факторов Yj, так и интегральные показатели X

Известны только взаимосвязь между ними Gj – на основе отнесения объектов к той или иной категории

Кроме того, возможны дополнительные условия: Естественные условия центрированности и ортонормированности Ограничения, связанные с типов переменных

12

npp1

p111

X...X.........

X...X

jPL

j1L

jPL

j11

jj

j

Y...Y.........

Y...YЕсли G km = 1, k-й объект относится к категории m-й переменной J-й


Ограничения первого порядка

Для исключения решения X, Yj = 0 необходимы условия центрированности и ортонормированности

Решение задачи позволяет одновременно найти как значения главных компонент (Х), так и значения самих квантифицированных переменных (Yj)

Учёт типа переменных заставляет дополнительно наложить ограничение 1-го ранга на матрицы Yj

Вектор qj содержит квантификации j-й переменной

Вектор βj содержит веса, с которыми j-я переменная входит в расчёт главных компонент

13

0Xun pNIXX '

'jjj qY Jj


Ограничения на категориальные переменные

Ограничения 1 ранга позволяют учесть тип факторов, что связано с дополнительными ограничениями на qj

Количественные переменные

Порядковые переменные

Простые номинальные переменные. Нет ограничений на qj.

Множественные номинальные переменные. В этом случае нет никаких ограничений даже на Yj , т.е. одна переменная может иметь разные квантификации для разных компонент

Выбор типа переменной зависит не только от природы данных, но и от логики исследования

14

)(...)2()1( jjjj Lqqq Jj

jjjj sq Jj


Процедура расчёта главных компонент

Одновременный расчёт матриц X, Yj и корректировка вектора qj требуют два итерационных цикла в ходе решения задачи

Процедура построения компонент (процедуры CatPCA, Princals): 1. Инициализация исходной матрицы X2. Расчёт матриц Yj

3. Оценка векторов нагрузки βj

4. Оценка векторов квантификации qj

5. Пересчёт значений qj в зависимости от типа переменной

6. Обновление матриц Yj

7. Расчёт матрицы конечных индикаторов X8. Центрирование и ортонормализация X9. Проверка критерия сходимости

Подобная процедура имеет общий характер, в частности, можно показать, что в её рамках можно воспроизвести обычный метод главных компонент (если все переменные количественные)

15

Цикл 1

Цикл 2


Предварительный анализ и выбор факторов

Для дальнейшего анализа выбрано 37 показателей, сформированных на основе анкетных вопросов

Исходные факторы объединены в три группы : 1. Студенческая активность и успеваемость – объективные в

целом характеристики, связанные с учебной успеваемостью, общественной активностью, работой и т.п. (14 факторов)

2. Субъективное отношение к образовательным процессам в вузе. «Насколько качественное образование дают мои специальность, факультет, вуз?» (8 факторов)

3. Оценка изменения знаний, навыков и умений за время обучение в вузе. Группа отражает субъективные ощущения студентов о полученном образовании. (15 факторов)

NLPCA проводится отдельно по каждой группе

16


1 группа факторов (студенческая активность и успеваемость)

17

№ Показатель Тип Возможные значенияA1 Получал ли студент стипендию в прошлом году

Ordinal

«0» (Нет) или «1» (Да)A2 Получал ли студент повышенную стипендиюA3 Работает ли студент

A4 Учебная успеваемость студентовОт «1» (были пересдачи) до

«6» (только отлично)

A5Учебные планы на будущее, самое максимальное образование, которое студент планирует получить

От «1» (только высшее образование) до «4» (PhD)

A6 Время, уделяемое на учёбу (только занятия в вузе)

NumericalЧисло часов в неделю,

уделяемое на разные виды деятельности студентов

A7 Время, уделяемое на общественную деятельность A8 Время, уделяемое на студенческую активностьA9 Время, уделяемое на рабочую деятельностьA10 Семинар/курс по развитию прикладных навыков

Nominal

«1» - Участвовал«2» - Нет, в вузе не было «3» - Нет, не было интереса«4» - Нет, не было времени или возможности

A11Семинар/курс по научно-исследовательской работе

A12 Участие в вузовских исследовательских проектахA13 Программа по развитию управленческих навыковA14 Дополнительное изучение иностранного языка


Квантификация переменных по 1 группе факторов

18


1 группа факторов

Координаты матрицы нагрузок в пространстве главных компонент

19



Разброс объектов наблюдения (студентов) по главным компонентам

20


2 группа факторов (отношение студента к факультету и процессу обучения на нём)

21

№ Показатель Тип Возможные значения

M1 «Работодатели знают наш факультет»

Ordinal

От «1» (категорически не

согласен) до «5» (полностью

согласен).

M2 Факультет известен научными исследованиями

M3 Готовность к профессиональной деятельности

M4«Если бы пришлось выбирать, я бы снова выбрал

эту же специальность»

M5 «Я смогу работать в России и за рубежом»

M6 Обучение носило общий характер

M7 Обучение было узко специализированным

M8Обучение было направлено на развитие

практических навыков



22




23





3 группа факторов (оценками студентами изменения своих знаний, навыков и умений за период обучения)

25

№ Показатель Тип Возможные значенияS1 Теоретические знания по специальности

Ordinalот «1» (не стали лучше)

до «3» (стали гораздо лучше)

S2 Практические навыки по специальностиS3 Навыки исследовательской работыS4 Знание новейших методик и технологийS5 Представление об отрасли, где он будет работать

S6Навыки выступлений и профессионального общения

S7 Умение решать профессиональные задачиS8 Умение работать в командеS9 Представление о применимости знанийS10 Умение структурировать информациюS11 Умение комбинировать факты и элементыS12 Умение быстро находить информациюS13 Владение иностранным языком

Ordinalот «1» (стали хуже)

до «4» (гораздо лучше) S14 Навыки письменной речиS15 Умение планировать рабочее время






27





Расчёт и интерпретация главных компонент

29

Группа факторов ГК Объяснимая

дисперсия Интерпретация компоненты

№1 Студенческая активность и успеваемость

ГК 11 16,196% Общая вузовская активность студентаГК 12 12,375% Усилия, направленные на учёбуГК 13 10,610% Общественная активность студента

ГК 14 9,084% Профессиональная/рабочая активность

№2 Оценка своего факультета и качества образования)

ГК 21 29,026% Оценка факультета и образования с позиции востребованности на рынке труда

ГК 22 19,687% Акцент внимания на специализированности и практической направленности образования

№3 Оценка изменения своих знаний, навыков и умений за время учёбы

ГК 31 39,733% Общая оценка изменения своих знаний, навыков и умений за период обучения

ГК 32 9,048%

Насколько процесс обучения был направлен на развитие не общих (умение работать в команде, искать информацию и т.п.), а конкретных профессиональных знаний и навыков


Выводы по интерпретации компонент

С позиции отношения к студенческой активности выполняется следующее правило: общая вузовская активность > учёба > общественная деятельность > работа

Самый значимый критерий активности студента – его общая вузовская активность. При этом она определяется как некие «сверх усилия» студентов, связывается с их участием в дополнительных программах, необязательной учебной и вне учебной деятельностью и т.д.

В плане оценки факультета (ГК 2.1) студентов более всего волнует качество подготовки со стороны работодателей

На втором месте по субъективной оценке для студентов стоит момент практичности, специализированности, прикладного характера образования (ГК 2.2 и ГК 3.2)

Субъективная оценка студентами качества образования может быть достаточно полно выражена в 2-3 интегральных критериях

30


Квантификация номинальных переменных

5 переменных (из 1 группы факторов) связаны с участием в необязательных учебных программах (семинары, курсы)

По разным факторам получены схожие квантификации

Общая зависимость: «1» (участие в программе) > «4» (не было возможности) > «3» (не было желания) > «2» (не знал, что есть в вузе)

Соотношения легко объяснимы, переменные прямо отражают студенческую учебную активность

31


Квантификация ординальных переменных

15 переменных (3 группа факторов) отражают оценку студентами изменения своих знаний, навыков и умений за период обучения

Квантификация всех переменных имеет схожий вид – всё большее возрастание значения при росте качественной оценки

Студенты, лучше оценивающие результат своего обучения, сильнее отличаются по своему статистическому профилю от «общей массы», нежели студенты с худшей самооценкой

32


Разброс объектов наблюдения по ГК


33

Не наблюдается крупных явных кластеров Обратная связь ГК22 и разброса ГК21 – студенты, делающие

акцент на специализации и практичности образования, более умеренны и схожи в оценке факультета и качества образования



Разброс объектов наблюдения по ГК

Отсутствие кластеров «хорошо» в статистическом смысле – интегральность компонент позволила в заметной степени устранить влияние дискретности значений отдельных категориальных переменных

Компоненты можно использовать как количественные переменные для дальнейших исследований качества образования

Дополнительный анализ анализирует связи ГК с внешними характеристиками, не входящими в их расчёт (факультет, демографические признаки и т.п.).

Близость объектов и их кластеризация в p-мерном пространстве слабо связана с этими свойствами

34


Анализ компонент по факультетам. Рейтинг.

Компоненты ГК21 и ГК 31 в наибольшей степени связаны с оценкой студентами качества образования на факультете

Имеет смысл построить рейтинг факультетов пермских вузов

Результаты не вполне согласуются с обыденным мнением: так, выпускники ЭТФ весьма востребованы на рынке труда, а физический факультет малопривлекателен для поступающих

Студенты факультетов прикладной технической направленности в целом хуже оценивают качество подготовки по специальности

35

Оценка общего уровня профессиональной подготовки на факультете

Оценке студентами общего развития своих знаний, навыков и умений

№ Факультет/Вуз ГК.2.1 (среднее) № Факультет ГК.3.1 (среднее)1. Мехмат/ПГУ 0,315 1. Физический/ПГУ 0,3452. ФПММ/ПГТУ 0,098 2. Мехмат/ПГУ 0,1323. Физический/ПГУ 0,049 3. ФПММ/ПГТУ 0,1124. АКФ/ПГТУ -0,197 4. АКФ/ПГТУ 0,0315. МТФ/ПГТУ -0,234 5. МТФ/ПГТУ -0,4226. ЭТФ/ПГТУ -0,235 6. ЭТФ/ПГТУ -0,578


Анализ ГК по оплате и ступеням обучения

Магистры уделяют много внимания учёбе, бакалавры – мало, работе Студенты более высокой ступени обучения хуже оценивают свой

факультет и качество образования (ГК.2.1 и ГК.3.1) Студенты в рамках 2-уровневой системы менее склонны (ГК.2.2)

акцентировать внимание на практической части своего обучения Коммерческие студенты менее активны и успешны во всех сферах

деятельности и склонны оценивать хуже качество образования

36

ГК.1.1 ГК.1.2 ГК.1.3 ГК.1.4 ГК.2.1 ГК.2.2 ГК.3.1 ГК.3.2Среднее значение главных компонент в группах по ступеням образования Бакалавр 0,092 0,117 -0,105 -0,407 0,302 -0,671 0,231 0,099 Специалист -0,014 -0,127 0,028 0,063 -0,021 0,145 -0,070 -0,026 Магистр -0,079 0,836 -0,017 0,041 -0,364 -0,486 0,001 -0,008Группировка студентов по отношению к оплате обучения и средний уровень ГК Бюджетная основа 0,119 0,179 0,062 0,039 -0,025 0,070 0,058 -0,012 Платная основа -0,450 -0,662 -0,152 -0,106 0,170 -0,273 -0,168 0,018


ГК в разрезе социальных характеристик

Гендерные различия влияют на характер активности студентов, но не влияют на оценку качества образования

Заметно влияние семейных условий (образование отца, доход семьи) на оценку значимости практичности образования (ГК.2.2), а также на оценку эффективности полученного образования (ГК.3.1)

37

ГК.1.1 ГК.1.2 ГК.1.3 ГК.1.4 ГК.2.1 ГК.2.2 ГК.3.1 ГК.3.2Гендерные группы студентов и средний уровень главных компонентМужской пол -0,003 -0,111 -0,07 0,081 -0,023 0,003 0,024 -0,062Женский пол 0,002 0,225 0,177 -0,176 0,044 -0,005 0,007 0,133Группировка студентов по месячному доходу семьи и среднее значение ГКДо 10 тыс. в месяц 0,085 0,007 0,342 0,43 0,27 -0,145 0,471 -0,03810-25 тыс. в месяц -0,036 0,248 0,004 -0,116 -0,161 -0,357 -0,06 0,1225-50 тыс. в месяц -0,017 -0,052 -0,22 -0,083 -0,033 0,071 -0,085 0,029Свыше 50 тыс. в месяц 0,21 -0,034 0,504 -0,118 0,204 0,26 -0,144 -0,123Корреляция отдельных характеристик студентов с ГКОбразование отца 0,178 0,046 0,037 -0,231 0,038 0,137 -0,006 -0,101Образование матери 0,138 0,001 0,019 -0,073 -0,045 0,079 -0,15 -0,043Число братьев/сестёр 0,132 0,067 -0,054 0,027 0,013 -0,136 0,065 -0,028


Анализ главных компонент в иных аспектах

Студенты, работающие по специальности, гораздо лучше оценивают свой факультет и качество своего образования

Абитуриенты, набравшие большие баллы по математике и (особенно!) по русскому языку, как более активны в учёбе, так и лучше оценивают свой факультет и качество образования

Средняя зарплата студентов слабо связана с оценкой качества образования и больше отражает направленность их активности

38

ГК.1.1 ГК.1.2 ГК.1.3 ГК.1.4 ГК.2.1 ГК.2.2 ГК.3.1 ГК.3.2Группировка студентов по критерию работы по специальности и среднее значение ГКРабота по специальности -0,025 -0,035 -0,134 0,405 0,285 -0,026 0,078 -0,086Работа не по специальности 0,073 -0,124 -0,125 0,500 -0,240 0,042 0,088 -0,066Корреляция отдельных характеристик студентов с главными компонентами Год поступления 0,021 -0,019 -0,020 -0,140 0,014 -0,072 -0,163 -0,044Баллы ЕГЭ по русскому 0,146 0,158 -0,116 -0,002 0,193 -0,104 0,156 0,029Баллы ЕГЭ по математике 0,171 0,162 -0,099 0,041 0,069 -0,088 0,138 0,046Средняя зарплата студента -0,119 -0,241 -0,047 0,437 0,041 0,020 0,025 -0,226


Выводы

NLPCA (Gifi) удобен для свёртки категориальных данных. Это перспективный метод социально-экономических исследований

В настоящей работе осуществлена оценка качества высшего образования в пермских вузах со стороны студентов Выделены основные латентные характеристики качества высшего

образования в виде главных компонент На первом места для студента стоит общая оценка образования, на

второй – практичность, специализированность подготовки Субъективное отношение студентов к качеству образования в целом

описывается 2-3 интегральными характеристиками Проанализирована их связь с исходными факторами и внешними

характеристиками студентов Студенты факультетов с более прикладной технической подготовкой

оценивают качество образование заметно хуже На оценку качества образования оказываются заметное влияние

уровень получаемого образования и семейный фактор, слабое влияние – пол и работа

39


Перспективы исследования

Количественные измерения такой сложной категории как качество высшее образование позволяют продолжить и углубить наши исследования в этой области в дальнейшем Пространственный и межвременной анализ данных Взаимосвязь оценок образования различных стейкхолдеров Связь субъективных оценок с социально-экономической

средой и условиями обучения Насколько оценка студентов отражает реальные условия

обучения на факультете, возможности и перспективы трудоустройства

Влияют ли различия студентов по отношению к качеству образования на их будущую производительность труда, качество человеческого капитала, социально-культурное развитие и т.д.

Возможность (для руководства университета) управления субъективным восприятием качества образования

40

Documents

ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 20 10