Оценка проекта: зачем и как. Благотворительные гастроли, 2 этап

Август 4, 2022

Главная
Обществознание
Оценка проекта: зачем и как. Благотворительные гастроли, 2 этап

Содержание

2. Цели занятия Закрепить знания, полученные в первую половину дня. И их углубить Объяснить логику перехода от
3. Исследовательская программа «Если быть точным» Собираем и анализируем данные о третьем секторе, мониторим общественное мнение о
4. Определение понятий: Оценка Оценочная деятельность в социальном проектировании включает: Систематичный сбор информации Рефлексию о достигнутых результатах
5. Такие разные оценочные исследования Оценка исходной ситуации Цель: Определить «точку отсчета» для планируемых результатов проекта, задать
6. Оценка процесса (промежуточная, формирующая, output) – цели: Описать, что в действительности происходит Проверить достижимость поставленных целей
7. Оценка результативности (итоговая, суммирующая, outcome) – цели: Соотнести фактические результаты проекта с первоначальным планом и определить
8. Резюме: Прежде чем начинать оценку проекта, определитесь, кто и как будет использовать её результаты, какие решения
9. Определение понятий: Эффективность социального проекта 3 ключевых подхода. Эффективно, значит: Запланированный результат достигнут (план vs факт,
10. Основные методы сбора данных Всего три: Кабинетное исследование – изучение доступных материалов Наблюдение Опрос (групповые и
11. Основные модели (дизайн) исследования Эксперимент / рандомизированное контролируемое исследование: сравнение контрольной и экспериментальной групп, отобранных случайно
12. Пирамида доказательной способности научных исследований Адаптировано с: www.logicofscience.com В медицине (от наиболее сильных к наиболее слабым
13. Где НКО брать данные? И как им доверять?? Начать с аудита уже собираемой информации Потом: какая
14. Резюме: Оценка результативности начинается с выстраивания системы измерения и мониторинга >>>Переходим к практическому заданию
15. Определение понятий: Заинтересованные лица Заинтересованные лица/ Стейкхолдеры – отдельные люди и группы, чьи интересы затрагивает проект
16. Определение понятий: Непосредственный результат Непосредственный результат деятельности/ Продукт / Output - то, что осуществлено в рамках
17. Определение понятий: Социальный результат Социальный результат / Результат / Outcome – это изменения, которые преднамеренно и
18. Работа в группах: задание 1. Менеджер проекта коротко представляет проект группе 2. Группа выбирает человека, который
19. #Инструмент: Цепочка социальных результатов Возможности для расширения таблицы: Социальные результаты: могут быть краткосрочными, среднесрочными, долгосрочными (социальный
20. Что невозможно измерить, тем невозможно управлять Алгоритм выстраивания системы измерения и оценки: Определяемся со стейкхолдерами и
21. Вооружен – значит предупрежден Угрозы внедрения системы мониторинга и оценки: «А судьи кто?» = Страх сотрудников
22. Вооружен – значит предупрежден Чем можно ответить на угрозы: Следовать этике оценщика Запуск объявляется официально -
23. Преимущества внедрения системы измерения и оценки Что говорят те, кто это сделал: Уточнили цели и задачи
24. Узнать больше. На русском Проекты АНО «Эволюция и Филантропия»: http://socialvalue.ru Социальные результаты и показатели - пожалуй,
25. Узнать больше. На английском Сайты ассоциаций оценщиков: https://www.eval.org/, http://www.evaluation.org.uk/ и другие https://evpa.eu.com – широко используемая модель
26. Елизавета Язневич, E.Yaznevich@nuzhnapomosh.ru Спасибо за внимание!
28. Скачать презентацию

Слайд 2

Цели занятия
Закрепить знания, полученные в первую половину дня. И их углубить
Объяснить

логику перехода от планирования результатов социального проекта к их измерению
Помочь вам разработать первоначальный вариант системы показателей для оценки ваших проектов

Слайд 3

Исследовательская программа «Если быть точным»
Собираем и анализируем данные о третьем секторе,

мониторим общественное мнение о социальных проблемах
www.nuzhnapomosh/research

Информационная система «Если быть точным» (при поддержке Благотворительного фонда В.Потанина; релиз – 2019 год)
11 исследований опубликовано на сайте
Ещё 3 ожидают публикации
Регулярно проводим внутренние исследования для нужд фонда
Помогаем в оценке эффективности социальных проектов сторонним заказчикам

Слайд 4

Определение понятий: Оценка
Оценочная деятельность в социальном проектировании включает:
Систематичный сбор информации
Рефлексию о

достигнутых результатах
Принятие решения
= оценка как инструмент управления проектом
Когда оценочная деятельность охватывает всю деятельность НКО
= оценка как инструмент развития организации
А еще это про выявление ценности (evaluation) и принцип «не навреди»: принцип актуален для всех участников проекта, но в первую очередь, если работа ведется с социально-уязвимыми группами.

Слайд 5

Такие разные оценочные исследования
Оценка исходной ситуации
Цель: Определить «точку отсчета» для планируемых

результатов проекта, задать базу для сравнения
Оценка потребностей
Цель: Определить приоритеты планируемой деятельности – исходя из актуальности для целевых групп (или величины разрыва между желаемым и действительным положением дел)

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

Слайд 6

Оценка процесса (промежуточная, формирующая, output) – цели:
Описать, что в действительности происходит
Проверить

достижимость поставленных целей при текущем ходе проекта
Выявить возможности для улучшения проекта

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

Такие разные оценочные исследования

Слайд 7

Оценка результативности (итоговая, суммирующая, outcome) – цели:
Соотнести фактические результаты проекта с

первоначальным планом и определить причины расхождений
Выявить незапланированные эффекты
Определить необходимость продолжения и возможности развития проекта
Оценка социального эффекта/воздействия (impact)
Цель: Зафиксировать изменение исходной ситуации и определить вклад проекта в это изменение

Разработка и планирование проекта

Реализация и мониторинг

Завершение или развитие проекта

Такие разные оценочные исследования

Слайд 8

Резюме: Прежде чем начинать оценку проекта, определитесь, кто и как будет использовать

её результаты, какие решения принимать
>>>Где брать данные?

Слайд 9

Определение понятий: Эффективность социального проекта
3 ключевых подхода. Эффективно, значит:
Запланированный результат достигнут

(план vs факт, изменилось то, что должно было измениться)
Достигнутые результаты адекватны вложениям (SROI)
Достигнутые результаты адекватны контексту (например, «не хуже чем у других», или benchmarking)

Слайд 10

Основные методы сбора данных
Всего три:
Кабинетное исследование – изучение доступных материалов
Наблюдение
Опрос (групповые

и индивидуальные интервью, анкетирование)

Насколько структурированно?

Насколько регулярно?

Слайд 11

Основные модели (дизайн) исследования
Эксперимент / рандомизированное контролируемое исследование: сравнение контрольной и

экспериментальной групп, отобранных случайно
Пре- и пост-тест / лонгитюдное исследование / когортный анализ: изучение изменения состояния одной группы во времени
Ретроспективный анализ: поиск факторов, влияющих в прошлом, у одной группы (описание отдельного случая) или в сравнении двух групп (исследование случай-контроль)
Квази-эксперимент / исследование методом поперечных срезов: сравнение двух групп, отобранных по подобию, в один момент времени

Слайд 12

Пирамида доказательной способности научных исследований
Адаптировано с: www.logicofscience.com
В медицине (от наиболее сильных

к наиболее слабым доказательствам):
Δ Мета-анализ, систематический обзор
Δ Рандомизированные контролируемые исследования (эксперимент)
Δ Когортные исследования
Δ Исследования случай-контроль
Δ Поперечные исследования (квази-эксперимент)
Δ Исследования на животных/ в пробирке
Δ Описание отдельных случаев, мнение экспертов

Ограничения при исследовании социальных явлений:
Социальная практика – не таблетка
Невозможно обеспечить лабораторную чистоту: всегда остается вероятность внешних факторов
Субъективность оценочных шкал: в граммах/ сантиметрах не измеришь
Риск социально-значимых ответов и влияния исследователя на результаты
Этический момент при проведении экспериментов (кто-то помощь не получит)

Слайд 13

Где НКО брать данные? И как им доверять??
Начать с аудита уже

собираемой информации
Потом: какая еще информация доступна?
И наконец: обратная связь от благополучателей – как минимум, самооценка изменений. Более сложные методики: «индивидуальный план развития», тесты «до и после», лонгитюд
+ Принцип триангуляции обеспечивает надежность данных

https://www.etsy.com/listing/271433976/geometric-animal-art-blue-elephant

Слайд 14

Резюме: Оценка результативности начинается с выстраивания системы измерения и мониторинга
>>>Переходим к практическому

заданию

Слайд 15

Определение понятий: Заинтересованные лица
Заинтересованные лица/ Стейкхолдеры – отдельные люди и группы,

чьи интересы затрагивает проект
Кроме благополучателей, это:
Доноры
Попечители
Волонтеры
Партнеры
«Все причастные»

Слайд 16

Определение понятий: Непосредственный результат
Непосредственный результат деятельности/ Продукт / Output - то,

что осуществлено в рамках проекта.
Как измеряется (индикаторы):
наличием/отсутствием каких-то фактов;
количеством проведенных мероприятий / оказанных услуг / выпущенных материалов / переданных вещей;
количеством людей, побывавших на мероприятиях/ получивших услугу / контактирующих с материалом / получивших вещи и др.
При разработке проекта часто задаются плановые значения показателей.

Слайд 17

Определение понятий: Социальный результат
Социальный результат / Результат / Outcome – это

изменения, которые преднамеренно и непреднамеренно произошли вследствие реализации проекта.
Как измеряется (индикаторы):
увеличением количества каких-то позитивных проявлений и/или уменьшением негативных;
долей стейкхолдеров, которые отметили влияние программы на их жизнь;
долей благополучателей, которые овладели навыками/умениями; развили какие-то качества, улучшили качество жизни, поменяли поведение и др.
Плановые значения могут не задаваться.

Слайд 18

Работа в группах: задание
1. Менеджер проекта коротко представляет проект группе
2. Группа

выбирает человека, который будет отвечать за методический аудит
3. Группа заполняет таблицу в рабочей тетради
4. 20 минут на всю работу. После чего менеджер проекта презентует результаты
Главное правило обсуждения: все мнения выслушиваются, но окончательное решение – за менеджером проекта (ему с этим работать). При этом методолог может озвучить альтернативное предложение во время презентации результатов
Критерии качества показателя – в помощь методологу:
Достижимость (можно подобрать метод, данные доступны)
Устойчивость (при повторном измерении результат совпадет)
Релевантность (меряет то, что должен мерить)

Слайд 19

#Инструмент: Цепочка социальных результатов
Возможности для расширения таблицы:
Социальные результаты: могут быть краткосрочными,

среднесрочными, долгосрочными (социальный эффект)
По каждому показателю: Периодичность сбора данных | Ответственное лицо | Где хранятся | Где используются
Также можно задавать целевые значения показателей

Адаптировано с: www.socialvalue.ru

Слайд 20

Что невозможно измерить, тем невозможно управлять
Алгоритм выстраивания системы измерения и оценки:

Определяемся со стейкхолдерами и их ожиданиями
Формулируем результаты, которые хотим достичь (будут разными для разных стейкхолдеров
Определяем показатели (индикаторы) достижения результатов, периодичность и методы измерения. Если возможно, задаем целевые значения
Распределяем ответственность за сбор (и анализ) данных
Договариваемся о периодичности встреч для обсуждения

- Джек Уэлч, американский предприниматель

Слайд 21

Вооружен – значит предупрежден
Угрозы внедрения системы мониторинга и оценки:
«А судьи кто?»

= Страх сотрудников получить негативную обратную связь
«Нет времени разбираться, надо дела делать» = Слишком много задач, требующих оперативного вмешательства
«И так все хорошо» = Неочевидность преимуществ

Слайд 22

Вооружен – значит предупрежден
Чем можно ответить на угрозы:
Следовать этике оценщика

Запуск объявляется официально - руководителем
Определить ответственного сотрудника и дополнительно замотивировать его (например, через обучение)
Обсуждать-обсуждать-обсуждать!
Автоматизировать все, что может быть автоматизировано

А судьи кто? Нет времени И так всё хорошо

Слайд 23

Преимущества внедрения системы измерения и оценки
Что говорят те, кто это сделал:
Уточнили

цели и задачи проекта
Улучшили качество оказываемой помощи/услуг
Улучшили качество отчетности организации, составили "портфолио" - для привлечения новых партнеров и ресурсов
Поняли, что работает и почему; что не работает и почему
Это работает и на мотивирование и вдохновление сотрудников и привлечение волонтеров
//A Good Practice case study report: What good impact measurement looks like (Evaluation Support Scotland, 2013)

Слайд 24

Узнать больше. На русском
Проекты АНО «Эволюция и Филантропия»:
http://socialvalue.ru Социальные результаты

и показатели - пожалуй, наиболее полная электронная библиотека методических пособий по оценке
http://pion.org.ru/ ПИОН – «Профессиональное решение для всех, кто реализует программы в сфере защиты детства и профилактики социального сиротства. Приложение поможет подобрать результаты и показатели для мониторинга и оценки, а также наглядно представить логику программы»
http://ep-digest.ru Дайджест публикаций международного филантропического сообщества, где одна из регулярных тем – это оценка социальных проектов
http://www.ozenka.info - Ресурсы по оценке программ в сфере детства. Текущий важный проект: разработка стандарта доказательности практик в сфере детства (можно присоединиться к обсуждению)
http://www.eval.ru/ - Ассоциация специалистов по оценке программ и политик (АСОПП) проводит ежегодную конференцию по оценке (9-10 октября в 2018 году в Москве)
http://scisc.ru/ - МОО Сибирский центр поддержки общественных инициатив - «популяризаторы» (в хорошем смысле) оценочных исследований в Сибири
http://www.ceecis.org/remf/Service3/unicef_rus/module1/index.html - Онлайн-курс UNICEF по мониторингу и оценке (устаревший визуально, но не морально)

Слайд 25

Узнать больше. На английском
Сайты ассоциаций оценщиков: https://www.eval.org/, http://www.evaluation.org.uk/ и другие
https://evpa.eu.com –

широко используемая модель измерения социального эффекта и кейсы; важный документ: A Practical Guide to Measuring and Managing Impact (2013)
https://iris.thegiin.org/ - каталог показателей социальных результатов
https://www.inspiringimpact.org/ - the place for online impact resources; a UK-wide collaborative programme, working with the charity sector to help organisations know what to measure and how to measure.

Слайд 26

Оценка проекта: зачем и как. Благотворительные гастроли, 2 этап

Содержание

Цели занятияЗакрепить знания, полученные в первую половину дня. И их углубитьОбъяснить

Исследовательская программа «Если быть точным»Собираем и анализируем данные о третьем секторе,

Определение понятий: ОценкаОценочная деятельность в социальном проектировании включает: Систематичный сбор информации Рефлексию о

Такие разные оценочные исследованияОценка исходной ситуацииЦель: Определить «точку отсчета» для планируемых

Оценка процесса (промежуточная, формирующая, output) – цели:Описать, что в действительности происходитПроверить

Оценка результативности (итоговая, суммирующая, outcome) – цели:Соотнести фактические результаты проекта с

Резюме: Прежде чем начинать оценку проекта, определитесь, кто и как будет использовать

Определение понятий: Эффективность социального проекта3 ключевых подхода. Эффективно, значит:Запланированный результат достигнут

Основные методы сбора данныхВсего три:Кабинетное исследование – изучение доступных материаловНаблюдениеОпрос (групповые

Основные модели (дизайн) исследованияЭксперимент / рандомизированное контролируемое исследование: сравнение контрольной и

Пирамида доказательной способности научных исследованийАдаптировано с: www.logicofscience.comВ медицине (от наиболее сильных

Где НКО брать данные? И как им доверять??Начать с аудита уже

Резюме: Оценка результативности начинается с выстраивания системы измерения и мониторинга>>>Переходим к практическому

Определение понятий: Заинтересованные лицаЗаинтересованные лица/ Стейкхолдеры – отдельные люди и группы,

Определение понятий: Непосредственный результатНепосредственный результат деятельности/ Продукт / Output - то,

Определение понятий: Социальный результатСоциальный результат / Результат / Outcome – это

Работа в группах: задание1. Менеджер проекта коротко представляет проект группе2. Группа

#Инструмент: Цепочка социальных результатовВозможности для расширения таблицы:Социальные результаты: могут быть краткосрочными,

Что невозможно измерить, тем невозможно управлятьАлгоритм выстраивания системы измерения и оценки:

Вооружен – значит предупрежденУгрозы внедрения системы мониторинга и оценки:«А судьи кто?»

Вооружен – значит предупрежденЧем можно ответить на угрозы: Следовать этике оценщика

Преимущества внедрения системы измерения и оценкиЧто говорят те, кто это сделал:Уточнили

Узнать больше. На русскомПроекты АНО «Эволюция и Филантропия»: http://socialvalue.ru Социальные результаты

Узнать больше. На английскомСайты ассоциаций оценщиков: https://www.eval.org/, http://www.evaluation.org.uk/ и другиеhttps://evpa.eu.com –

Елизавета Язневич, E.Yaznevich@nuzhnapomosh.ruСпасибо за внимание!

Похожие презентации

Цели занятия
Закрепить знания, полученные в первую половину дня. И их углубить
Объяснить

Исследовательская программа «Если быть точным»
Собираем и анализируем данные о третьем секторе,

Определение понятий: Оценка
Оценочная деятельность в социальном проектировании включает:
Систематичный сбор информации
Рефлексию о

Такие разные оценочные исследования
Оценка исходной ситуации
Цель: Определить «точку отсчета» для планируемых

Оценка процесса (промежуточная, формирующая, output) – цели:
Описать, что в действительности происходит
Проверить

Оценка результативности (итоговая, суммирующая, outcome) – цели:
Соотнести фактические результаты проекта с

Определение понятий: Эффективность социального проекта
3 ключевых подхода. Эффективно, значит:
Запланированный результат достигнут

Основные методы сбора данных
Всего три:
Кабинетное исследование – изучение доступных материалов
Наблюдение
Опрос (групповые

Основные модели (дизайн) исследования
Эксперимент / рандомизированное контролируемое исследование: сравнение контрольной и

Пирамида доказательной способности научных исследований
Адаптировано с: www.logicofscience.com
В медицине (от наиболее сильных

Где НКО брать данные? И как им доверять??
Начать с аудита уже

Резюме: Оценка результативности начинается с выстраивания системы измерения и мониторинга
>>>Переходим к практическому

Определение понятий: Заинтересованные лица
Заинтересованные лица/ Стейкхолдеры – отдельные люди и группы,

Определение понятий: Непосредственный результат
Непосредственный результат деятельности/ Продукт / Output - то,

Определение понятий: Социальный результат
Социальный результат / Результат / Outcome – это

Работа в группах: задание
1. Менеджер проекта коротко представляет проект группе
2. Группа

#Инструмент: Цепочка социальных результатов
Возможности для расширения таблицы:
Социальные результаты: могут быть краткосрочными,

Что невозможно измерить, тем невозможно управлять
Алгоритм выстраивания системы измерения и оценки:

Вооружен – значит предупрежден
Угрозы внедрения системы мониторинга и оценки:
«А судьи кто?»

Вооружен – значит предупрежден
Чем можно ответить на угрозы:
Следовать этике оценщика

Преимущества внедрения системы измерения и оценки
Что говорят те, кто это сделал:
Уточнили

Узнать больше. На русском
Проекты АНО «Эволюция и Филантропия»:
http://socialvalue.ru Социальные результаты

Узнать больше. На английском
Сайты ассоциаций оценщиков: https://www.eval.org/, http://www.evaluation.org.uk/ и другие
https://evpa.eu.com –

Елизавета Язневич, E.Yaznevich@nuzhnapomosh.ru
Спасибо за внимание!