Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология
Образование Политология Производство Психология Стандартизация Технологии


Оценка социальных программ и проектов



Помимо оценки потребностей, в социальной работе проводится оценка программ и проектов, оценка качества услуг. Одно из направлений оценки – это экспертиза программ и проектов, направленная на анализ работы программ, произведенного ими эффекта и сравнение этих результатов с определенными критериями (например, «что было – что стало после реализации программы» или «что стало – что должно было стать по плану программы»). Оценка программ – это всегда сравнение, по итогам которого выносится суждение о качестве программы, и разрабатываются рекомендации на будущее (Как измерить… 2002).

Оценка – понятие растяжимое, распространяющееся на всевозможные суждения. Оценивать можно все. Говорят об оценке различных программ и политики в сфере образования, социального благосостояния, здоровья, жилья, юридических услуг, коррекции, экономического развития, строительства автотрасс... Программы могут быть государственными, федеральными, осуществляться на местном или международном уровне коммерческими или некоммерческими организациями. Они могут быть направлены на изменение знаний, отношений, ценностей, поведения, организаций, институтов, сообществ.

Их объединяет одна цель – улучшить жизнь людей (Ваисс, 2003).

Проблема изучения качества и эффективности социального обслуживания, качества социальной работы с различными группам пользователей услуг, качества разнообразных социальных проектов, связанных с улучшением положения людей, очень важна. Теперь многие государственные и общественные организации наряду с текущей деятельностью ведут проекты по грантам, оказывают платные услуги.

Проектная деятельность — инструмент развития, например, при выходе на новые группы потребителей или запуске новых видов услуг. Организация работы по принципу проектов позволяет оценить, насколько успешна деятельность, достигаются ли запланированные результаты и в чем причины неудач, если таковые случаются. Для этого необходимо уметь отслеживать, оценивать и представлять результаты своей деятельности (Боровых, Грешнова, 2001).

Будем считать программу комплексом мероприятий, разработанным, финансируемым и реализуемым на федеральном и региональном уровнях.

Более локальный уровень деятельности – конкретная организация или несколько организаций реализуют проекты. Фактически, проект представляет собой ту же программу, но с меньшими масштабами. В дальнейшем будем оперировать более общим термином программа. В последние годы практически каждая из программ развития в России, разрабатываемых кабинетом министров и правительствами регионов, имеет обязательный раздел, посвященный социальным эффектам и анализу эффективности. Он должен отражать те факторы и показатели, по которым можно будет судить об эффективности проекта. Само по себе обсуждение социальных эффектов свидетельствует о более высоком уровне разработки социально значимых программ и проектов. Однако существующие на сегодня механизмы оценки эффективности недостаточно прозрачны для представителей общественных организаций, внешних независимых экспертов. Эти механизмы требуется оптимизировать и делать доступными как для государственных служб и учреждений, так и для некоммерческих организаций, воплощающих проекты, связанные с социальным обслуживанием или развитием. Тогда будет возможно измерять результативность деятельности в рамках проекта, предвосхищать и фиксировать ее прямой и косвенный эффект, оценивать качество оказываемых услуг, принимать меры по повышению их качества. Во многих странах мира в этих целях используются такие инструменты, как мониторинг и оценка проектов. В зависимости от особенностей и хода реализации проекта организация могла бы применять тот или иной механизм, чтобы получить необходимую информацию (табл. 2) (Боровых, Грешнова, 2001).

Таблица 4. Механизмы получения информации

 

Мониторинг Оценка
Проводится непрерывно Проводится на ключевых этапах реализации проекта
Модель принимается в существующем виде без изменений Модель подвергается анализу с целью оптимизации/улучшения
Запланированные деятельность и результаты сравниваются с фактическими Анализируются причины достижения/отсутствия запланированных результатов
Полученная информация используется для улучшения работы по проекту Полученная информация может использоваться как для улучшения работы по данному проекту, так и для уточнения планов на будущее

 

Оценка отличается от ревизии, проверки или экзамена, которых опасаются, видя в них нежелательные последствия. От недостатков не застрахована ни одна организация, но оценки, позволяют выявить ресурсы, точки роста, удачи и достижения. Кроме того, ведь если не исследовать деятельность, то промахи трудно выявить, а следовательно, невозможно исправить. Оценка деятельности организации, по определению А. Бодунгена, – это процесс определения того, насколько организация или ее отдельная программа качественно и эффективно работает, приносит реальную пользу (Бодунген, 2001). Можно сказать, что оценка – поиск ответа на вопрос: успешно или не очень действует организация или программа. Текущий контроль деятельности – это мониторинг, в котором отслеживается, проведены ли все запланированные мероприятия, соблюдены ли планируемые временные рамки, соответствуют ли расходы утвержденному бюджету, охвачено ли запланированное количество участников проекта.

Существует целый ряд причин, по которым государственным и общественным организациям, предоставляющим услуги социальной работы различным клиентам, или пользователям, полезно проводить оценку своей деятельности. Прежде всего, сотрудники и администраторы организации обращают внимание и на достижения, и на неудачи, т. е. могут увидеть картину со всех сторон. В этом случае важно привлекать специалистов, владеющих навыками социологических исследований организаций, скорее даже независимых консультантов или экспертов, исследователей, которые могут обеспечить сторонний взгляд.

Сами сотрудники, применяя исследовательские методы, могут стать более объективными по отношению к своей организации. Сотрудники, добровольцы и клиенты (потребители услуг) получат зримое подтверждение того, что организация работает «не впустую». Благодаря оценке можно найти так называемые «критические точки», моменты, оказывающие решающее влияние на качество и эффективность работы; в дальнейшем, воздействуя именно на эти точки, менеджер и сотрудники организации сумеют добиться существенных положительных изменений, тем самым сэкономив ее силы, время и ресурсы. Оценка даст работникам и руководству повод задуматьзадуматься о стандартах качества, к которым следует стремиться их организации.

С точки зрения потребителей услуг (благополучателей), спонсоров, партнеров – той среды, в которой действует организация, такая оценка тоже имеет важный смысл. Прежде всего, пользуясь ее результатами, можно достаточно определенно ответить на вопрос: «Насколько хорошо работает эта организация? ». В переговорах со своими потенциальными донорами социальная служба сможет привести факты и сравнительные характеристики, которые позволят понять, что же она собой как организация представляет и насколько эффективно работает.

Периодическое проведение оценки делает организацию более привлекательным и надежным партнером. Некоторые типы доноров (например, фонды, дающие гранты) требуют включать в заявку на финансирование того или иного проекта такой этап, как оценка. Оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков. Вместо того, чтобы полагаться на суждения профессиональных наблюдателей, периодическиеотчеты сотрудников, человек, проводящий оценку, использует более методичные и точные научные методы социального исследования. При оценке ставятся четкие вопросы, проводится систематический сбор информации от разных людей, вовлеченных в программу. Иногда полученные данные представлены с использованием количественных параметров («23% участников», «85 баллов»), в виде таблиц и диаграмм или в виде повествования. Затем делаются выводы о том, как была проведена программа, какова ее эффективность. Оценивать можно и политику, в частности, декларации государственных интересов, официально принятые заявления целей, связанные с определенной деятельностью, направленной на реализацию этих целей.

Сферы применения оценочных исследований многочисленны. Оценка может проводиться в организации: в этом случае полезно применять подходы, сложившиеся в организационной антропологии и социологии. Здесь важно учитывать особенности организационного контекста, в частности, те властные отношения, которые влияют на позицию респондентов. В организационных исследованиях активно применяются методы включенного наблюдения, анализа документов, интервью. Исследования организаций могут быть представлены следующими примерами: анализ проблем взаимодействия специалистов и клиентов в Центре планирования семьи, Центре помощи женщинам, семье и детям; изучение трудовых отношений и управления в частном бизнесе; социально-психологическое самочувствие пациентов в медицинском учреждении. Выясняя явные и скрытые установки сотрудников, ценности организационной культуры, механизмы власти и контроля, степень удовлетворенности клиентов, исследователи могут проводить оценку эффективности, вырабатывать рекомендации по повышению качества обслуживания.

В практике социальной работы и реализации социальной политики силу сложности и многоплановости задач нет единой и общепризнанной методики оценки программ социально-экономического развития. В мировом сообществе оценщиков, принадлежащих к разным управленческим и аналитическим школам, пока не сложилось единого терминологического поля даже в тематике мониторинга и оценки проектов. Поэтому говорить в настоящее время о создании универсальной для всех городов и программ любого типа методики оценки программ вряд ли возможно. Можно говорить лишь о методических подходах к проведению оценки, определяющих общие принципы и логику оценочной деятельности. Но планировать оценку, выбирать ее параметры и способы их измерения необходимо в каждом конкретном случае отдельно.

Универсальной формулы проведения оценки не существует, поскольку программы и организации весьма разнообразны. Многоенеобходимо ли оно для принятия решения или прояснения положения, для лучшего понимания того, как работает программа. Многое, к сожалению, зависит от ограничений во времени, месте, доступности информации, квалификации исследователей, отношений в исследуемой организации.

Играет роль и финансирование, которое существенно влияет на объем деятельности по оценке и продолжительность исследования. Зачастую возможность оценивать негативные стороны или результаты ограничивается заказчиком или руководством организации.

При проведении оценки необходимо правильно поставить вопросы, выбрать форму исследования, суметь собрать и проанализировать информацию, проинтерпретировать полученные данные, кроме того, нужно уметь достигать компромисс с организацией или сотрудниками программы, но в то же время быть готовым защищать до конца те моменты, по отношению к которым компромисс невозможен. К тому же, необходимо иметь навыки распространения полученных результатов с целью улучшения политики и программ: готовить отчеты и оформлять их в публикации различных жанров.

В зависимости от задач выделяют оценки результативности и эффективности.

Оценка результативности– это экспертиза организационного процесса выполнения программы, анализ причин отклонений в реализации программы от намеченных изначально целей. Оценка эффективности– сопоставление результатов программы с затраченными в ходе ее реализации ресурсами.

Таким образом, в фокусе оценки могут оказаться процесс и/или результаты программы. Если оценка концентрируется на изучении процесса реализации программы, то внимание уделяется соответствию программы предписанному плану (замыслу) или тому, что происходит.

Если же цель оценки – результат и эффект программы для ее бенефициариев, или благополучателей (т.е. тех людей или целевых групп, на улучшение жизни которых направлена программа), в этом случае пытаются найти ответ на вопрос: «Получают участники все то, что планировалось? » или «Как влияет на них программа? » Очень часто оценивают и процесс осуществления программы, и результаты (Ваисс, 2003). Причем результаты или эффекты программы могут быть как прямыми, так и побочными, ожидаемыми и неожидаемыми.

Откуда же берутся стандарты для сравнения? Получив информацию о процессе и результатах, проводят оценку достоинств программы по сравнению с определенными ожиданиями. Независимо от того, оценивается процесс или результаты, выражается мнение. К примеру, если проводилась программа, направленная на уменьшение количествабеременностей среди девушек подросткового возраста, эксплицитным стандартом будет уменьшение количества беременностей среди участниц программы. Но оцениваться могут не только официальные цели программы, которые могли измениться во время осуществления программы. На данном этапе целью может быть обучение гигиене беременных. В таком случае критериями становятся здоровье беременной и ребенка. Другие стандарты определяются ожиданиями других участников программы. Цели спонсоров, менеджеров, сотрудников и участников программы могут стать критериями оценки. Иногда оценка представляет определенную информацию о программе, оставляя за читателем право судить о ее достоинствах.

Цель оценки, ее вклад в улучшение программы или политики определяют критерии и методы оценивания. Оценка способствует улучшению программ и выделению средств на лучшие программы.

Опираясь на результаты оценки, уполномоченные лица должны принимать мудрые решения, а те, кто проводит оценку, получать удовлетворение от вклада в совершенствование программы. На оценочные исследования уходит больше времени и сил, по сравнению с интуитивной оценкой, которой нередко довольствуются руководители и сотрудники социальных служб, но оценочные исследования точнее, что особенно важно, если: а) оцениваемый результат сложен, его трудно проследить, он состоит из множества разнообразных элементов; б) будущие решения важны и требуют больших материальных затрат; в) данные необходимы для того, чтобы убедить людей в состоятельности выводов. В России осуществляется множество социальных программ и постоянно появляется необходимость в новых: это программы помощи бездомным, ВИЧ-инфицированным и больным СПИДом, профилактики наркотизации среди молодежи. Некоторые новые программы являются логическим продолжением уже реализованных программ, а в другие внесены радикальные изменения. Осуществляя оценку, мы задаем следующие вопросы. Как осуществляется программа? С какой целью ее проводят? Осуществляется ли она в соответствии с намеченным планом? Каковы результаты, цели программы? Стоит ли она вложенных средств? Необходимо ли ее продолжать, расширять, урезать, менять, не доводить до конца? Каким образом определяются участники программы? Нужна ли она всем или только определенным категориям людей?

Если программу осуществляет частная компания, многое может решать рынок: спрос на услугу среди населения и конкуренция между разными организациями, качество услуг может влиять на уровень удовлетворенности пользователей и, следовательно, на их выбор в пользу данного или другого сервиса. Существует представление, что «рынок все расставит по своим местам», т.е. со временем плохие программы исчезнут срынка, останутся только хорошие. Однако, если программу осуществляетгосударственная или некоммерческая организация, то удовлетворенность пользователей обычно не имеет большого значения: ведь программа может быть единственной в городе или районе, нацеленной на определенную группу людей, предоставляющей данный вид услуг бесплатно. В этом случае она будет осуществляться независимо от спроса и мнения клиентов.

В свою очередь, частные фирмы могут организовывать подобные программы для своих сотрудников, при этом их качество тоже не зависит от того, насколько удовлетворен клиент. В то же время многих организаторов программ заботят вопросы, какой же эффект имеют государственные или частные инвестиции; соответствуют ли затраты тому качеству, которым характеризуются услуги; получены ли ожидаемые результаты, и соответствуют ли они поставленным целям; насколько адекватны применяемые методы принципам программы; можно ли уменьшить расходы, увеличить результативность. На эти вопросы трудно ответить, не проведя систематического оценивания.

Пример: Школьные ранцы

Вопрос: В ходе реализации программы по повышению качества жизни детей из малообеспеченных семей мигрантов, стоящих на учете в социальных службах, в канун учебного года были закуплены и переданы в качестве материальной помощи 30 ранцев со школьными принадлежностями стоимостью по 500 рублей каждый. Как может быть произведена оценка результативности этого проекта? Ответ: Здесь можно использовать несколько типов оценки и оценивать разные аспекты программы. Можно спросить родителей детей, получивших ранцы, о том, насколько существенной была эта материальная помощь в ходе подготовки ребенка к учебному году. Если ответы укажут, что не очень существенная, то можно сделать вывод о неправильном отборе целевой группы или незначительности материальной поддержки. Можно провести подсчет той доли, которую составляют 500 рублей в общем бюджете семьи, получившей поддержку. Другим аспектом проблемы является подсчет доли детей, получивших материальную помощь, в общем объеме детей из семей мигрантов, в такой помощи нуждающихся. Если общее количество детей, стоящих на учете, составляет 3000, то охват такой программы всего 0, 01%, что трудно назвать успехом в борьбе с бедностью среди мигрантов. Распределение таких ограниченных ресурсов часто актуализирует дискуссии о справедливости среди получателей помощи и может привести к негативным побочным последствиям.  

 


Применительно к социальной политике и социальной работе, оценка – это ответ на вопрос, насколько успешна оцениваемая социальная программа. Однако ответить на вопрос, что такое успех программы, не так просто. Критерии успешности программы могут быть самыми разными.

Это зависит от того, кто заинтересован в проведении оценки программы, какие результаты он хочет получить и как будет их использовать. Если к тому же учесть, что социальные программы весьма разнообразны, то возникает вывод, что один из важнейших атрибутов оценки и ее исходная точка – это цель оценки. Оценка социальной программы может быть вызвана самыми разными потребностями, например: анализ выполнения программы; корректировка содержания программы (в том числе уточнение целей и задач, переориентирование программы на реалистичные результаты); попытка активизировать работу по выполнению программы; повышение эффективности сбора данных; экспертиза дополнительных ресурсных потребностей; анализ причин успехов и неудач выполнения программы; учет ошибок и недостатков программы при разработке других проектов; привлечение внимания общественности; информирование лиц и организаций, принимающих решения; защита программы от критики; анализ разногласий, возникших среди исполнителей по ходу реализации программы.

Оценку можно проводить на разных этапах реализации программы. Предварительную оценку – до начала запуска программы для анализа ее качества и соответствия потребностям города; промежуточную – во время реализации программы для оценки ее первичных результатов и корректировки в случае необходимости; обобщающую – после завершения программы для анализа ее результатов, учета ее недостатков и преимуществ при разработке следующих программ.

Этап подготовки и планирования оценки столь же важен, сколь и ее результаты. Ключевое место в нем занимает структура (или дизайн) оценки. Структура оценки определяет состав и план работ, а также, какая информация необходима для проведения оценки, как она будет получена и с помощью каких методов обработана; сколько времени уйдет на проведение оценки и какие ресурсы понадобятся для ее проведения.

Формативная оценка помогает менеджерам программ, практикам, специалистам, планирующим программу, улучшить программу в процессе ее разработки. Суммативная оценка проводится для предоставления информации по завершении программы или, по крайней мере, одного из ее циклов, касательно ее продолжения, прекращения, коренного изменения. Оценка процесса/результатов проводится в течение программы и по ее завершении (Ваисс, 2003).

Оценку могут проводить штатные сотрудники или нанятые организации. По отношению к тому, кто осуществляет оценку, она может быть внутренней (ее еще называют самооценкой) или внешней. Внешняя проводится приглашенным специалистом. При этом важно, чтобы он не только не работал в организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов (например, такойруководителей организации или одним из тех, кто получает от нее помощь). Оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.

Внутренняя оценка или самооценка осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой, проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.

Оба способа имеют свои преимущества. Штатные сотрудники знают больше об организации, ее интересах и потребностях, возможностях применения полученных результатов. У них больше возможностей распространения полученной информации. Нанятые организации независимы, престижны, предоставляют больше навыков и умений. У них есть возможность распространения полученной информации вне организации.

Нередко к оценке привлекаются эксперты или группа экспертов – специалистов из разных областей, имеющих знания о других программах и большой опыт проведения экспертизы или работы в проектах. Эксперт может непредвзято рассматривать программу, но у него могут быть определенные предпочтения, которые повлияют на его суждение. Даже высококвалифицированный эксперт опирается на субъективные стандарты, в которых можно усомниться. Неудовлетворительный отчет поставит под сомнение опыт и репутацию эксперта. Поэтому, проводя большинство оценок, пытаются использовать наименее уязвимые методы и следовать основным принципам оценки.

 

 

Принципы оценки программ*

I. Основой оценки программ может быть только точная и достоверная информация. II. Исполнение работы по оценке должно быть компетентным. III. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки. IV. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности. V. Специалисты по оценке программ имеют профессиональные обязательства, определяющиеся общественными интересами и общественным благом.   *Источник: Международная сеть оценки программ (IPEN): http: //www.ipen21.org.  

 

 


Помимо разделения оценок на формативные и суммативные, в соответствии с тем, когда проводятся оценки, они подразделяется на предварительные, промежуточные и завершающие. Предварительная проводится на этапе планирования проекта, при этом оценивается нереализация, а предложение вашей будущей работы. Промежуточная оценка осуществляется во время исполнения программы или проекта, чтобы помочь более успешно достичь намеченных целей и привести к планируемым результатам. Эту оценку также проводят, если в ходе реализации проекта возникли проблемы, причины появления которых неясны. В данном случае говорят о диагностической оценке, которая служит возвращению проекта " на путь истинный".

Завершающее оценивание бывает незадолго до завершения проекта или сразу же после него. Оно позволяет понять, что собой представляет проект, достигнуты ли его цели, получены ли планируемые результаты.

Если же программу предполагается повторять где-либо еще, завершающая оценка поможет избежать ошибок при реализации подобных проектов в будущем.

Можно также проводить оценку «постфактум». Она проводится обязательно через какое-то время (скажем, через полгода или год) после того, как проект полностью завершен и можно проанализировать его воздействие. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, т. е. сохраняются ли изменения без дальнейшего воздействия со стороны проекта. Для того, чтобы ответить на вопросы оценки, разумно оценивать не всю программу целиком, а ее отдельные ключевые (согласно вопросам) аспекты, которые и подвергаются прицельному анализу. В качестве параметров оценки могут выделяться, в том числе результативность программы, эффективность организации выполнения программы, социально-экономический эффект, оказываемый программой на решение социальных задач, соответствие программы интересам целевых групп населения.

Цели оценки могут быть разные, они зависят от ожиданий и потребностей различных акторов: во-первых, кто организовал оценку, во-вторых, как повлияет исследование на их деятельность, в-третьих, кто принимает окончательные решения, в-четвертых, целевые группы населения, которые являются благополучателями программы, – а также от возможностей проведения исследования. Цели и задачи оценки в каждом конкретном случае удобнее всего формулировать в виде вопросов оценки. Они могут быть самыми разными. Например, каковы фактические результаты программы, и как они соотносятся с ее целями? Как соотносятся средства, потраченные на выполнение программы, с полученным эффектом? Выполнены ли все мероприятия, предусмотренные программой? Для всего этого оценка будет проводиться по-разному, с использованием разных методов сбора и обработки информации.

Ключевая задача любой оценки – улучшить работу проекта или организации в целом, сделать ее деятельность более эффективной и полезной. Наиболее часто подвергаются оцениванию финансовая эффективность, устойчивость и результаты проекта или организации, а также эффективность управления и методология. При этом ставятся вопросы, перечисленные в табл. 3 (Бодунген, 2001).

Что оценивается Вопросы
Финансовая эффективность проекта Насколько приемлемо соотношение ресурсов, вовлеченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов? Можно ли добиться дешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов?
Эффективность управления проектом Соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности? Способствовала ли она успешной реализации проекта? Достаточно ли гибко руководители проекта реагировали на изменения, влиявшие на ход проекта? Насколько правильными (ошибочными) были принимаемые решения?
Методология проекта Все ли методы привели к достижению заявленных результатов? Какие методы оказались наиболее (наименее) эффективными?
Устойчивость проекта Будет ли работать этот проект при его повторении в другом месте? Сохранил ли проект актуальность, соответствует ли он сегодняшнему дню? Будет ли жизнеспособен проект после завершения его специального финансирования? (Как правило, этот вопрос особенно волнует фонды.)
Полнота решения проблемы или удовлетворения потребности В какой мере проектом решена заявленная проблема? Можно ли говорить о том, что проблема решена кардинально, т. е. не появится вновь? Достаточно ли полно удовлетворены потребности клиентов (подопечных) проекта?

Таблица 5. Вопросы для оценки

 

Структура оценки – это методическая основа, ориентированная на задачи и вопросы оценки и устанавливающая методы сбора и обработки данных, план работ, ресурсное обеспечение, систему отчетности и контроля исполнения проекта. Чтобы определить структуру оценки, необходимо продумать, какая информация понадобится для ее проведения, каким образом можно будет получить необходимые данные, кто именно будет собирать информацию, какие методы анализа данных следует применить, потребуется ли в ходе оценки консультация специалиста в какой-либо области; потребуются ли помощники (например, для проведения анкетирования или интервьюирования клиентов организации); сколько времени понадобится для проведения оценки, какие ресурсы нужны для этого.


Поделиться:



Популярное:

Последнее изменение этой страницы: 2017-03-11; Просмотров: 2114; Нарушение авторского права страницы


lektsia.com 2007 - 2024 год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! (0.045 с.)
Главная | Случайная страница | Обратная связь