Профессор Донна Мертенс Университет Голоде Алматы , Казахстан Июль 2011

UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ:День 1

Профессор Донна Мертенс

Университет Голоде

Алматы, Казахстан

Июль 2011

IPEN, Алматы, Казахстан, июль 2011, Донна Мертенс 1

План на три дня

IPEN Almaty Kazakhstan July 2011 Mertens

2

День 1: Какую роль играет специалист по оценке?

Основные аспекты оценки (Техзадание)

Трансформационная парадигма

Многообразие и социальная справедливость; привилегии

Культурная компетентность

День 2: Качественные и количественные подходы

День 3: Подход, предполагающий сочетание качественных и количественных методов

Введение/ Ожидания участников-


3

Имя, должность, организация (пожалуйста, не используйте аббревиатуры).

Откуда вы приехали?

Есть ли у вас опыт проведения исследований в мультикультурных или маргинальных сообществах? Какой?

Сталкивались ли вы с социальной несправедливостью?

Чего вы ждете от этого семинара?

Вопросы для затравки

«Социальные преобразования» - что это? Может ли оценка помочь осуществлять

социальные преобразования? Какую роль в деле социальных

преобразованиях может играть специалист по оценке?

4


Специалист по оценке в роли провокатора

5


В каждой культуре есть свои возмутители

спокойствия……которым нравится

нарушать заведенный порядок вещей

Вызовы

Гендерное равенство и права человека – «больные» темы, тесно связанные с политическими и социальными условиями, в которых реализуются программы. Поэтому исключительно важно использовать инклюзивные подходы с участием всех заинтересованных сторон. Проблема в том, что эти подходы требуют значительных затрат времени и управления сложной системой отношений. Если мы будем предвидеть, с какими сложностями и ограничениями можем столкнуться, то сможем предложить дизайн оценки, который с большей вероятность обеспечит получение хороших результатов.

На заметку: По мнению UN Women, оценка, основанная на ценностях гендерного равенства и прав человека, должна выявлять и анализировать проявления неравенства, дискриминационные практики и несправедливое распределение властных полномочий, которые являются главным препятствием для социально-экономического и личностного развития. UN Women 2011

Зачем специалисту по оценке быть провокатором? Вызовы: консервативность, сопротивление внешним воздействиям и комплексная природа социальных явлений

Тенденции: растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки

Смена парадигм: учет мнения маргинализированных групп

Движущие силы изменений

7


Растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки

Декларация ООН по правам человека (1948) Декларации ООН по правам :

представителей разных рас людей с ограниченными возможностями женщин детей рабочих-мигрантов коренных и малочисленных народов

8


Противоречия как катализаторы

Неравное распределение властных полномочий Дискриминация/ угнетение Сопротивление сообщества Осуждение жертвы Незаслуженные привилегии Идеализация существующих традиций Механизмы социальной интеграции и

маргинализации Сложные культурные системы

9


ОЦЕНКА: ОПРЕДЕЛЕНИЕ ООН


10

Анализ деятельности в рамках программы Системный и непредвзятый Ориентирован на выявление достижений (ожидаемый

и достигнутых) Рассматривает цепочку результатов, процессы,

контекст и причинно-следственные связи Чтобы определить “релевантность (соответствие

ситуации и целям), влияние, результативность, эффективность и устойчивость результатов программы”

Источник: UNEG, 2005

ГЕНДЕРНОЕ РАВЕНСТВО


11

Предполагает равные права, обязанности и возможности для мужчин и женщин.

Подразумевает учет интересов, потребностей и приоритетов и женщин, и мужчин, и признание многообразия среди мужчин и женщин.

Является одним из прав человека, а также условием и показателем уровня социально-экономического и личностного развития.

Источник: UNEG Guidance

ОЦЕНКА, ОСНОВАННАЯ НА ЦЕННОСТЯХ ГЕНДЕРНОГО РАВЕНСТВА И ПРАВ ЦЕЛОВЕКА

Что такое оценка, основанная на ценностях гендерного равенства и прав человека?

Это оценка, которая объединяет подходы, ориентированные на ценности гендерного равенства и прав человека:

1) Анализирует, в какой степени программа учитывает организационные и системные цели в области гендерного равенства и прав человека;2) Интегрирует эти подходы в процесс проведения оценки.

Module 1-2 12

12


ОЦЕНКА, ОСНОВАННАЯ НА ЦЕННОСТЯХ ГЕНДЕРНОГО РАВЕНСТВА И ПРАВ ЦЕЛОВЕКА

Учитывает распределение властных полномочий; Определяет структурные причины неравенства и

дискриминации; Определяет влияние программы на бедных и тех, кто

сталкивается с дискриминацией; Используется процессы с участием заинтересованных сторон и

рефлексию; и Признает права женщин и гендерное равенство, выявляет

притязания правообладателей и обязанности тех, на кого возложена какая-либо ответственность

Стремиться обеспечить все более широкое соблюдение прав человека и гендерного равенства

Источник: UNEG/UNSSC, Module, 2008

Module 1-2 13

13


В чем особенности подхода, основанного на ценностях гендерного равенства?

Концептуальные: Признает гендерную природу развития и значение

гендерного равенства для социального и экономического развития

Признает социокультурную природу бедности и

маргинализации. Признает, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья.

Признает, что в семье существует определенное разделение властных полномочий, связанное с разделение властных полномочий в обществе, государстве и экономике

Module 1-2 14

14


ТЗ на оценку

ТЗ на оценку определяет, зачем проводится оценка (цель); что нужно проанализировать (фокус и ключевые вопросы); каким образом и когда будет проводиться оценка (методы и источники информации); кто и как будет использовать результаты оценки. ТЗ состоит из взаимосвязанных разделов, названия и инструкции по заполнению которых приведены в «Руководстве по подготовке ТЗ» UN Women. ТЗ влияет на все этапы процесса оценки, так как оно используется для привлечения ресурсов для проведения оценки, является руководящим документом в процессе проведения оценки (включая подготовку промежуточных отчетных материалов и финального отчета), ясно определяет, как будут использовать результаты оценки после ее окончания. UN Women 2011

Содержание ТЗ

Заголовок Контекст и назначение

оценки, как будут использоваться ее результаты

Контекст программы Описание программы Рамки оценки Вопросы оценки Существующие

источники информации

Подходы, процесс и методы

Участие заинтересованных сторон

Ожидаемые продукты Состав команды,

которая будет проводить оценку, навыки и опыт

Управление оценкой Этические нормы и

правила, которые должны соблюдаться

Пример 1: Программа профилактики ВИЧ/СПИД в Ботстване

Молодежь Ботстваны:

Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД

17


Пример 2: Программа UN Women “Безопасные города»


18

Пример ТЗ

Оценка Фазы 1 Кампании «Скажи нет насилию»

http://unifem.org/evaluation_manual/wp-content/uploads/2010/02/Example-ToR-Evaluation-Say-NO-to-Violence-against-Women-Campaign1.pdf

UN Women 2011





Парадигмы:

Ваша картина мира Ваши представления

об этике (аксиология) о реальности (онтология) о природе знания и отношениях между

субъектом и объектом познания (эпистемология)

о том, как нужно проводить системные исследования (методология)

20


Трансформационная парадигма

Система представлений и убеждений, которая предполагает активное участие в исследовании различных культурных групп во имя социальной справедливости.

Метафизическая «рамка»: критические теории, феминистские теории, приоритет прав человека, учет национальных и культурных традиций, постколониализм

21 IPEN Almaty Kazakhstan July 2011 Mertens

Что общего у программ UN Women и трансформационной парадигмы

Гендерная природа развития; гендерное равенство как условие экономического и социального развития

Признание гендерной природы бедности и маргинализации, того, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья

Признание наличия в семье разделения властных полномочий, связанного с разделение властных полномочий в обществе, государстве и экономике UNWOMEN 2011

Что общего у трансформационной парадигмы и подходов, основанных на ценностях гендерного равенства и прав человека

Инклюзивность – дезагрегирование групп по релевантным критериям

Участие заинтересованных сторон и рефлексия – серьезное и уважительное отношение к заинтересованным сторонам

Уважение - к культуре, языку, гендеру, месту и уровню способностей

Прозрачность и ответственность: доступность Сочетание качественных и количественных методов:

контекст, влияние, соответствие ситуации и целям, результативность, эффективность и устойчивость.

Трансформационная парадигма: философия


Аксиология: Уважение к культурным нормам; приверженность правам человека и социальной справедливости, взаимное сотрудничество

Онтология: Вопросы распределения властных полномочий и критический анализ различных реальностей: социальной, политической, культурной, расовой и этнической, гендерной, возрастной, религиозной и связанной с состоянием здоровья, - чтобы выявить факторы, которые помогают сохранять существующие механизмы дискриминации

Эпистемология: Власть и структура взаимодействий; социальная и историческая привязка знания; доверительные отношения.

Методология: сочетание качественных (диагностика) и количественных методов; контекст

24

Этический стимул: государственное регулирование

Общественное благо: Обеспечить максимум положительных результатов для науки, человечества и отдельных участников исследования и свести к минимуму или нулю ненужный риск, вред или урон.

Уважение: Уважительное и вежливо обращение в людьми, в том числе с недееспособными (например, маленькими детьми, людьми с задержкой в умственном развитии и страдающих старческим слабоумием)

Справедливость: Риску должны подвергаться только те, кто получит выгоду в результате исследования; процедуры должны быть рациональными, исключать эксплуатацию участников, быть тщательно продуманными и применяться справедливо. (Отчет Белмонта)

25


Этические принципы UN


26

Обязанности перед участниками Уважение достоинства и разнообразия Право на самоопределение Адекватное представление Соблюдение норм работы с уязвимыми группами Компенсация Конфиденциальность Предупреждение ущерба

Этика

Этические принципы, которые должны соблюдаться при проведении оценки в системе ООН (Группа ООН по оценке) - UNEG Ethical Guidelines for Evaluation in the UN System

Нормы поведения специалистов по оценке (Группа ООН по оценке) - UNEG Code of Conduct for Evaluators

http://www.unevaluation.org/search/index.jsp?q=ethical+guidelines



UN Women: Политика в области оценки – принципы и стандарты

Участие заинтересованных сторон, инклюзивность

Ориентация на использование результатов оценки, осознанность

Прозрачность, независимость и непредвзятость

Качество и достоверность Соблюдение этических

принципов

Ключевые стандарты Эмпауэрмент женщин и гендерная

справедливость Права человека Развитие ради человека Координация работы всех

учреждений ООН для достижения гендерного равенства

Заинтересованность и приверженность ключевых заинтересованных сторон в стране

Управление, ориентированное на достижение гендерного равенства и эмпауэрмент женщин

Ключевые принципы

Module 1-2

28

28


Трансформационный подход – аксиологические положения


29

Выявление и уважение к культурным нормам, которые способствуют соблюдению прав человека и социальной справедливости;

Выявление и критика культурных норм, которые способствуют сохранению системы угнетения;

Взаимность – что специалисты по оценке дают сообществам; Стойкость – признание значимости знаний, опыта и сильных

сторон, которыми обладают сообщества; Устойчивость – создание условий, при которых сообщество

сможет продолжить действия, направленные на достижение социальной справедливости и обеспечение соблюдения прав человека, и после ухода специалиста по оценке;

Признание ограничений: Специалист по оценке не должен выходить за определенные рамки и давать неисполнимые обещания.

Кто является заинтересованной стороной? Лица, на которые возложена обязанность принимать

решения относительно программы, например, органы управления программы; другие лица, на которые возложены определенные обязанности, например, сотрудники правительственных учреждений, имеющих отношение к программе

Лица, на которые возложена ответственность за программу, например, ее руководители

Лица, которым была передана часть ответственности за реализацию программы, например, бизнес или родители

Лица, обладающие определенными правами: благополучатели программы, целевые и нецелевые

Лица, обладающие определенными правами, положение которых программа ухудшила

UNWomen 2011

Как обеспечить участие заинтересованных сторон?

Создать консультативную группу Кто? Ключевые представители национальных

правительственных структур, партнеров, НКО, женских организаций, благополучателей, руководства программы, других агентств ООН и/или доноров

Роль: разработка ТЗ на проведение оценки, принятие решений, предоставление знаний о контексте и содержательной стороне программы и/или помощь в сборе данных, подготовка отчета, распространение и использование результатов оценки

Вопросыдля референтной группы

Как вы будете использовать результаты оценки?

На какие ваши вопросы о программе должна ответить оценка?

Какой потенциально полезной информации о программе у вас сейчас нет?

Что именно должна проанализировать оценка?

Есть какие-то моменты, которые не нужно рассматривать в процессе оценки?

На ваш взгляд, каким образом в процессе оценки должны собираться необходимые данные и информация?

Какими данными и информацией, которые могут быть использованы в процессе оценки, вы уже располагаете?

Какие трудности могут возникнуть при проведении оценки? (Географическая удаленность, культурные различия, гендерные особенности)

Каким образом вы хотите внести свой вклад/ участвовать в проведении оценки?

Каким образом и как часто вы хотите получать информацию о ходе оценки?

Трасформационная этика: методологические следствияКакие заинтересованные стороны являются главными?

Что, по-вашему, вы знаете о культурных нормах и взглядах различных заинтересованных сторон?

Как можно использовать оценку, чтобы: определить, какие культурные нормы и взгляды существуют в сообществе? должным образов включить в проведение оценки членов сообщества? Определить, какие культурные нормы и взгляды способствуют установлению социальной

справедливости, а какие – сохранению социального неравенства и угнетения?

Дополнительные вопросы:

Каким образом можно измерить, что, когда вы уйдете из сообщества после окончания исследования, ситуация там будет лучше, чем до вашего прихода, - что люди получили новые знания, приобрели новые способности, что появились новые политики или практики?

Каким образом можно использовать опыт, знания и сильные стороны сообщества, чтобы взаимодействие между его членами и специалистом по оценке было искренним и равноправным?

33


Онтологические положения трансформационного подхода


34

ТП признает, что существуют различные версии реальности; Различные версии реальности не являются равноценными; Признает существование привилегий, которые

предоставляются в соответствии с представлениями о реальности, связанными с социальными, политическими, культурными, экономическими, этническими, гендерными, религиозными и физическими различиями

Ставит под сомнение версии реальности, которые способствуют сохранению неравенства и угнетения;

Привлекает внимание к версиям реальности, которые способствуют соблюдению прав человека

•

Характеристики разнообразия (Petesch & Thalayasingam)


Шри-Ланка – многонациональное государство. Из 21 миллиона жителей две трети составляют сингалезцы, и многие из них исповедуют буддизм.

18% населения – тамилы, которые исповедуют в основном индуизм и христианство. Тамилы проживают в основном в северных, восточных, западных и центральных провинциях. Примечание: есть индийские тамилы и шриланкийские тамилы.

В 1956 году Парламент принял закон, согласно которому единственным официальным языком является сингальский язык. А 1972 году были приняты законы, которые по мнению общественности дискриминируют тамилов при поступлении в университеты.

Мусульмане составляют 7% населения. Мусульмане сосредоточены в городах, а также в центральных, южных и восточных провинциях.

В 2004 году цунами обрушилось на северное, восточное и южное побережья острова. 30 тысяч людей погибло, десятки тысяч остались без крова. Среди районов, где проводилось исследования, сильнее всего пострадал район Ампара на востоке.

35

Характеристики разнообразия (Petesch & Thalayasingam)


Считается, что бедность зависит от состава семьи. Беднейшие семьи часто:

Большие, с большим числом членов, которые не могут сами содержать себя

без отца или с большим числом женщин, престарелых и нездоровых людей;

семьи, в которых кто-то болен, часто живущие за счет одного кормильца;

несовершеннолетние дети в таких семьях часто должны работать, чтобы семья могла сводить концы с концами.

36

Культурная компетентность (Как понять, какие характеристики разнообразия являются важными?)

37


Вот моя коллекция шариков из камня. У меня есть агатики, бомбардиры,

молочники, бамбузеры, поплавки и блестючки…

А у тебя что есть?

Круглые шарики..

Трасформационная онтология: методологические следствия


Как можно использовать оценку, чтобы: Найти, оказать поддержку и вовлечь в работу

различных участников, чтобы можно было Выявить различные версии реальности, и в

том числе понять, как в них распределяются привилегии и власть?

Способствовать изменению представлений о реальности?

38

Эпистемологические положения трансформационного подхода


39

Необходимость взаимодействия между специалистом по оценке и участниками;

Признание социальной и исторической обусловленности знания;

Открытое признание неравного распределения властных полномочий;

Установление доверительных отношений.

Историческая привязка знания


За последние несколько десятилетий Шри-Ланка пережила два крупных конфликта. Группа сингалезских повстанцев, называвших себя Народно-освободительным фронтом (Джаната Вимукти Перамуна)

попыталась свергнуть правительство сначала с 1971, а потом в 1989 году. Правительство жестоко подавило восстание 1989-91 гг. Было убито почти 60 тысяч человек.

Второй конфликт, который развязали «Тигры освобождения Тамил-Илама», начался в 1983 году и привел к гражданской войне за отделение исторических территорий проживания тамилов. Конфликт продолжался до 2009 г.

40

Трасформационная эпистемология: методологические следствия


Как понять, какой властью и привилегиями вы обладаете?

Как, по-вашему, вас воспринимают сообщества, с которыми вы работаете?

Как вы можете использовать оценку, чтобы: Решить проблемы, связанны с тем, что у одних

сообществ власти и полномочий меньше, чем у других?

Заставить услышать голоса слабых, не имеющих власти?

Установить доверительные отношения?

41

Руководящие принципы Американской ассоциации оценки: связь между культурной компетентностью и трансформационной эпистемологией


42

Во имя выявления, корректной интерпретации и уважения к разнообразию, специалисты по оценке должны сделать так, чтобы члены команды, которая проводит оценку, коллективно проявляли культурную компетентность (Американская ассоциация оценки, Публичное заявление относительно культурной компетентности при проведении оценки, 2011)

Оценка отражает культуру


43

Культура неизбежно влияет на оценку. Люди, участвующие в оценке, привносят в

нее свои ценности, взгляд на мир и культуру.

Культура влияет на то, как формулируются вопросы оценки, что, в свою очередь влияет на то, какие данные собирают, каким образом их собирают, анализируют и как интерпретируют.

Что такое культурная компетентность?


44

Культурная компетентность – это не результат, а процесс получения, потери и повторного обретения знаний.

Это чувствительность, которую нужно культивировать в течение всей жизни.

Культурная компетентность требует самоосознания, размышлений о своей культуре, понимания культуры других людей, способности открыто и с уважением взаимодействовать с другими людьми.

Специалисты по оценке, обладающие культурной компетентностью, не допускают мысли, что они целиком и полностью понимают позиции и взгляды заинтересованных сторон, чья культура отличается от их собственной.

Культурная компетентность зависит от контекста (AEA 2011)

Культурная компетентность и достоверность


45

• Внимательно и уважительно обдумывайте жизненный опыт и мнения участников программ;

• Стройте отношения так, чтобы обеспечить доверительный обмен информацией между всеми участниками процесса оценки.

• При дизайне оценки и интерпретации данных используйте теоретические подходы, учитывающие культурные особенности или даже адаптированные к данной культуре.

• Выбирайте методы, которые соответствуют культурному контексту исследования.

• Учитывайте ожидаемые и побочные последствия при оценке их работы (AEA 2011)

Вопросы: культурная компетентность


46

Как вы определяете культурную компетентность?

Каково значение культурной компетентности при проведении оценки?

Как вы развиваете культурную компетентность?

Как вы демонстрируете культурную компетентность?

Какие риски таит в себе данная концепция?

Методологические положения трансформационного подхода


В начале планирования оценки исследователям необходим диалог (сбор качественной информации), чтобы понять, в каком культурном контексте им предстоит работать;

Использование качественных и количественных данных позволяет учесть интересы различных участников и различные аспекты;

Используемые методы должны адекватно отражать сложность контекста и быть приемлемыми для культурных групп, которые участвуют в исследовании;

Можно использовать цикличный дизайн, чтобы использовать в ходе исследования промежуточные результаты.

47

IPEN Almaty Kazakhstan July 2011 Mertens48

Community Participation

Трансформационная методология Участие

сообществ

Виды исследованийОписательные – С вмешательством

Модель исследования

Цикличное Краткосрочное

Дизайн и методы

Комплекс методов Один метод

Одновременно Последовательно

Сочетание качественных и количественных

методов

Количественные Качественные

Участие сообществ

Пример: делаем явнымМолодежь Ботстваны:

Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД

49


Методологические положения трансформационного подхода


50

Как разработать дизайн исследования, чтобы: Учесть необходимость диалога/ сбора

качественных данных в начале планирования, чтобы учесть культурный контекст;

Предусмотреть сбор количественных и качественных данных, чтобы учесть интересы различных участников и различные аспекты;

Использовать методы, позволяющие отразить сложность культурного контекста и приемлемые для культурных групп, участвующих в исследовании;

Используйте цикличный дизайн, чтобы использовать промежуточные результаты в ходе исследования.

Методология и качество


51

Как можно использовать оценку, чтобы наладить взаимодействие со всеми участниками и собрать данные, которые помогут и вам, и им лучше понять сообщество?

Как можно построить процесс сбора данных, чтобы учесть потребности самых разных участников?

Каким образом можно спланировать оценку, чтобы повысить вероятность использования ее результатов для обеспечения социальной справедливости и соблюдения прав человека?

Литература Mertens, D. M. & Wilson, A. (in

press). Program Evaluation. NY: Guilford.

Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage.

Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford

Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage.


52

Контактная информация


Donna M. Mertens, Gallaudet University [email protected]

53

Documents

Профессор Донна Мертенс Университет Голоде Алматы , Казахстан Июль 2011