Контроль и мониторинг социокультурного проекта

КОНТРОЛЬ И МОНИТОРИНГ СОЦИОКУЛЬТУРНОГО ПРОЕКТА Контроль социокультурного проекта означает сравнение достигнутых результатов исполнения проекта с запланированными. На этой основе выявляются отклонения от запланированных показателей и определяются способы их исправления. Для осуществления эффективного контроля над исполнением проекта необходимы следующие условия: 1. Разработанный и детальный план реализации социокультурного проекта с декомпозицией работ. 2. Своевременное предоставление отчетности о состоянии социокультурного проекта; 3. Учет движения финансовых средств (поступлений и расходов); 4. Наличие критериев оценки и своевременный анализ показателей исполнения плана социокультурного проекта; 5. Все вносимые изменения должны фиксироваться в специальном документе (журнале изменений). Основные аспекты мониторинга социокультурного проекта (TMQIO): • Время (Time – T) • Деньги (Money – M) • Качество (Quality – Q) • Информация (Information – I) • Организация (Organization – O) Схема 1. Структура TMQIO менеджмента Для осуществления контроля социокультурного проекта осуществляется мониторинг – периодическая проверка исполнения ключевых параметров социокультурного проекта. Мониторинг времени включает в себя следующие действия: мониторинг потраченного времени, оценку необходимого времени, сравнение с запланированным временем, соответствие затрат времени запланированному, причины отклонения от плана. От подчиненных может быть потребован отчет о деятельности в течении определенного срока (например, в течении недели). Мониторинг информации и организации может осуществляться в процессе регулярных консультаций между всеми членами команды. Такие совещания рекомендуется проводить не реже одного раза в неделю. На таком совещании обсуждаются изменения и уточняются точки взаимодействия. Мониторинг информации также включает в себя оценку предоставления и передачи информации и заполнения документов. Документы могут быть двух видов: документы с информацией, связанной с содержанием (рабочие чертежи, проекты, сценарии и т.п.) и документы управления проектом, обеспечивающие эффективность и подотчетность (повестки дня, протоколы, проектный план). Мониторинг планирования сводится к установлению соответствия действий установленному плану. В действительности планы редко соответствуют реальности и задача проектного менеджера прояснить реальное положение дел. Мониторинг бюджета. Размер финансирования проекта определяется в самом начале. Проблема заключается в контроле расходования средств и соответствия расходов утвержденной смете. Бюджет формирует спонсор, которому и достаются результаты проекта. Финансовые ресурсы расходуются на оплату персонала и закупку для проекта оборудования и материалов. Расходы и затраты должны быть известны на каждом этапе проекта. Они сравниваются с запланированными расходами. Если расходы растут катастрофически, спонсор может участвовать в их корректировке или прекратить финансирование проекта. Мониторинг качества заключается в установлении соответствия создаваемого продукта ожиданиям целевой аудитории, ее требованиям, интересам, вкусам, а также требованиям заказчика. Если спецификация конечного продукта или услуги составлены подробно, могут возникнуть ошибки или неясности, в результате чего конечный продукт или услуга не соответствует этим спецификациям и, следовательно, имеет недостаточное качество. Поэтому при выполнении проекта необходимы промежуточные проверки качества. В проверке качества обычно участвуют покупатель или спонсор, для которых важны определенные свойства продукта или качества услуги. Возможны и другие способы мониторинга проекта. Так, мониторинг и контроль могут осуществляться в соответствии с процессами социокультурного проекта (Схема 2). Схема 2. Мониторинг и контроль процессов социокультурного проекта1 Контроль реализации социокультурного проекта включает в себя три части: сбор данных, анализ данных и выводы на основе анализа данных, формулирование необходимых изменений. Еще до начала сбора данных необходимо решить два вопроса: • когда собирать данные (на каком этапе социокультурного проекта?)? • какие данные следует собирать (количественные и качественные)? Данные о реализации проекта должны собираться в конце каждого этапа, поскольку это позволяет определить достигнуты ли цели, сформулированные для него. До начала сбора данных должны быть разработаны количественные критерии, характеристики. Эти ключевые показатели разрабатываются для каждого этапа реализации социокультурного проекта. Собранные данные соотносятся с выделенными показателями. Данный метод соотнесения собранных данных с определенными показателями получил название бенчмаркинга. Там, где невозможно провести количественную оценку, реализация социокультурного проекта оцениваются качественно. На основе использования приведенного метода составляется контрольный лист мониторинга и контроля социокультурного проекта (таблица 1). Таблица 1. Контрольный лист мониторинга и контроля социокультурного проекта Предмет контроля Период контроля Количественные показатели Качественные показатели Фактический показатель Контрольный показатель Фактический показатель Контрольный показатель Использование контрольного листа мониторинга и контроля социокультурного проекта осуществляется следующим образом: • определение предмета контроля, т.е. ресурсов, которые будут подлежать аудиту. Все контролируемые ресурсы фиксируются в левом столбце таблицы; • определение периода, в течение которого будет проводиться сбор данных. Указываются этап, виды работ и сроки мониторинга; • далее указываются фактические показатели, которые достигнуты к определенному периоду и контрольные, которые планировались и должны были быть достигнуты к этому же периоду; • наступление планируемого события отмечается в контрольном листке наклонной линией. Наступление события в пятый раз отмечается горизонтальной линией, перечеркивающей четыре наклонные линии. На основе соотнесения фактических и базовых показателей выявляются проблемные места проекта, недостигнутые запланированные результаты, перерасход финансовых средств и т.д. Определяются причины отклонений от плана реализации проекта и намечаются способы корректировки методов осуществления проекта. Важной проблемой является определение того, кто проводит аудит (проверку) социокультурного проекта. В отличие от крупных технических проектов, где в качестве аудитора можно привлечь стороннюю организацию, в социокультурных проектах это не осуществимо. Каждый социокультурный проект носит авторский характер и его оценка по чисто техническим параметрам вне замысла его «архитектора» будет носить ошибочный характер. Поэтому в комиссию по аудиту можно включить заказчика, но главную роль в ней будет играть менеджер, который знает и понимает замысел социокультурного проекта. Результатами контроля социокультурного проекта выступают: • отчет об исполнении работ; • запрос на изменения (исправление дефектов); • обновление плана реализации социокультурного проекта и иных документов. ОЦЕНКА СОЦИОКУЛЬТУРНОГО ПРОЕКТА Оценка состоит из трех этапов: при планировании проекта, во время исполнения проектов и после завершения проекта. Процесс оценки носит циклический характер, при этом каждый шаг влияет на другой шаги. Поэтому планирование оценок имеет решающее значение: достижимы только четко определенные цели, могут быть достигнуты только реалистичные показатели. Схема . Цикл оценки проекта Первый этап оценки включает в себя показатели планирования. Это зависит от проектов и их целей. Менеджерам необходимо спросить, что они хотят оценить и как это можно сделать, а также какие данные достижимы, какой ценой. Менеджеры должны решить на этапе планирования, с кем и с какими показателями успешного воздействия сравниваются: • Являются ли показатели успешного воздействия по сравнению с другими проектами в области искусства и/или культурными организациями? • Можно ли сравнить показатели с предыдущими проектами одной и той же команды, и художников или предыдущими мероприятиями одной и той же культурной организации? • Следует ли сравнивать показатели воздействия только с заранее определенными целями проекта? Определение ключевых показателей – или показателей – является наиболее важной и одновременно наиболее сложной частью оценки культурного проекта. Менеджеры могут использовать как количественные, так и качественные показатели, но, независимо от этого, их функция состоит в том, чтобы сделать ожидаемые цели измеримыми. Для того чтобы оценка имела смысл, необходим правильный анализ ключевых показателей и сравнение их с ожидаемыми целями. Количественные показатели измеряют денежные или метрические аспекты, такие как объем производства или посещаемость, и поэтому часто воспринимаются как убедительные доказательства. В напротив, качественные данные часто критикуются за то, что они уязвимы для субъективной интерпретации. Например, большое количество посетителей на выставке может означать, что галерея хорошо осведомлена о предпочтениях своих посетителей. С другой стороны, это также может означать, что галерея решила показать искусство, соответствующее вкусу публики, а не что-то инновационное или неизвестное. Для получения надежных результатов оценки должны сочетать качественные и количественные данные. Поскольку показатели планирования зависят от целей проектов и целей их оценки, нет общих существует список показателей эффективности, который подходит для каждого проекта. Каждый проект должен разработать свою собственную систему для измерения результатов, процессов и структур. На втором этапе проектная группа должна решить, что именно она хочет проанализировать. Когда это будет сделано, команде необходимо определить, собираются ли данные внутри или снаружи, и какой вид оценки и стиль или метод будут использоваться. На третьем этапе определяются цели и показатели и составляется план оценки. Оценка может быть оптимально эффективной только в том случае, если миссия проекта и сначала были сформулированы цели, поскольку эффективная оценка эффективности работы основывается на четком изложении миссии. Один и тот же оценочный подход обычно не работает для каждого художественного проекта, поскольку у каждой проектной команды есть конкретные цели и разные причины для оценки их эффективности. Кроме того, каждая проектная группа должна решить, почему они оценивают результаты, какие данные доступны и необходимы для сбора и анализа, а также что необходимо сделать, когда эти участники получат данные. Затем проводится соответствующая оценка цели и методологии могут быть выбраны, и команды могут решить, что измерять и как это делать. Менеджеры должны обеспечить, чтобы как методология оценки, так и желаемые результаты обучения были встроены в жизненный цикл проекта, когда это планируется. После определения показателей и планирования процедур оценки можно приступать к реализации проекта. На заключительном этапе проводится обзор проекта, и на основе ранее определенных показателей определяются предлагаемые мероприятия для последующих проектов. Участники, ответственные за оценку, должны быть включены в состав участников проекта. начните, и, следовательно, структура и процесс оценки проекта должны быть встроены при планировании проекта, а не добавлены позже. Перед началом оценки проектной группе необходимо оценить возможности своей организации в области оценки. Оценка проекта - это вопрос как составления бюджета, так и сотрудничества, и только в том случае, если все участники проекта участвуют в подготовке к оценке, можно ожидать, что эти участники почувствуют привязанность и приверженность конечным результатам. Этот процесс оценки определенно не будет работать, если это ответственность только одного человека и на самом деле не понимают другие. Решения о том, что оценивать, должны приниматься исходя из потребностей проекта. При выборе методов и критериев менеджеры должны учитывать, кому нужно знать, что и почему о том, как проект удался. Они также должны спросить, достиг ли проект своих целей и желаемых результатов или произошли какие-то непредсказуемые последствия. Целью оценки является непрерывное развитие – в организациях, проектах или проектных командах. Для обеспечения доверия и взаимного обучения все соответствующие заинтересованные стороны проектов, включая доноров, партнеров, попечителей, сотрудников, добровольцев и бенефициаров, среди прочего, должны сначала определить свои цели и ожидания и согласовать показатели и процессы оценки. Для каждой оценки следует составлять отдельный бюджет, поскольку оценка влечет за собой расходы. По крайней мере, некоторое время и трудозатраты необходимы для строительства и проведения даже самый ограниченный опрос посетителей. Определение бюджета также является признаком того, что к оценке относятся серьезно. Однако сумма бюджета, выделяемая на оценку, может быть весьма изменчивой. Некоторые эксперты предполагают, что 10% от общего бюджета необходимо выделить на оценку и исследование аудитории любой выставки, но это предел, который практически никогда не достигается в реальности (Reussner 2010). Уделение внимания влиянию проекта является важнейшей частью этапа инициирования и планирования проекта. Уже на этапе планирования проектная группа должна стремиться выявлять и прогнозировать как желательные, так и нежелательные последствия. Главное-управлять воздействием таким образом, чтобы желаемые воздействия были максимальными, а нежелательные-минимальными. Один из способов управления воздействием-убедиться, что коммуникация между аудиториями, организаторами и другими заинтересованными сторонами работает хорошо. Например, в общественных художественных проектах местные жители часто являются лучшими экспертами, рассказывая проектной команде, что нужно сделать улучшилось и то, что уже хорошо управляется. Общение может происходить лицом к лицу, но также и другие средства, такие как пресса и социальные сети, могут использоваться для информирования людей о том, что планируется и реализуется в проектах. В главе 9 оценка воздействия обсуждается более подробно. В самом широком смысле оценка подразумевает оценку стоимости объекта. Это может быть продукт, процесс, проект или программа. Оценочные исследования относятся к систематическому сбору информации для принятия решений о дальнейшем развитии той или иной деятельности. «Оценка-это культура, культура обратной связи». Оценка программ проводится по проектам и программам с общими целями. Кроме того, оценка программ, как правило, предполагает использование стандартных критериев результатов, например, в рамках схем предоставления грантовой помощи и оценки программ регенерации. Обычно измерение эффективности - это процесс, который разрабатывает показатели и собирает данные для описания, анализа и отчетности о результатах деятельности. Измерение эффективности может проводиться как в организациях, так и в проектах, ограниченных по времени. Термин «мониторинг» используется в разных контекстах. Мониторинг может описывать рутину сбор данных, таких как показатели посещаемости, или проверка материалов и оборудования, чтобы убедиться в их хорошем качестве. Важно подчеркнуть постоянный характер мониторинга: это деятельность, которая осуществляется с течением времени. Контроль в основном сравнивает текущую ситуацию с желаемой. На практике такие вещи, как продажи билетов и показатели использования производственных мощностей, измеряются в процессах управления. Контроль имеет дело с поддающимися количественной оценке переменными и показателями, а также с понятными, объективно измеримыми цифрами. Управление качеством - это система, включающая задачи управления, которые должны определять и реализовывать цели политики в области качества. Управление качеством часто используется для оценки эффективности деятельности организаций государственного сектора. Оценка обычно проводится внешними экспертами, но также может использоваться для отслеживания организационных изменений и развития. Что следует оценить Оценка - это бесконечный процесс, направленный на непрерывное совершенствование посредством организационного обучения. Этот процесс можно даже назвать культурой отношения или обратной связи. Чтобы быть эффективной, оценка в идеале должна быть постоянной практикой, охватывающей весь персонал и интегрированной во все мероприятия по проекту. При планировании художественного проекта оценка должна быть включенным уже в общий план с самого начала. Эффективность связана с социально желательными аспектами деятельности, в то время как эффективность в большей степени зависит от результатов достижения целей. Кушнер и Пул предполагают, что эффективность состоит из четырех компонентов: удовлетворение потребностей доноров, аудитории и добровольцев; выявление и получение финансовых и людских ресурсов; эффективная организация ресурсов с помощью технологий для представления художественных представлений и достижения целей программы исполнительского искусства. Оценка социального воздействия художественных проектов Оценку можно определить, как систематический сбор информации о деятельности, характеристиках и результатах художественных проектов для вынесения суждений о проектах, повышения их эффективности и/или информировании о решениях по будущим проектам. Полезная оценка поддерживает действие, поэтому оценка не является самоцелью. Поэтому оценка проекта может быть сосредоточена на различных аспектах, подчеркивается акцент на воздействии, чтобы оценить прямое и косвенное воздействие проектов – не только на участников, но и на более крупные системы и сообщества. Evaluation Activities during the course of an art project Input Activities Output Outcome Impact Вход Деятельность Выход Итог Влияние Artistic visions, expert knowledge, funding, technical equipments, etc. Художественное видение, экспертные знания, финансирование, техническое оснащение и т.д. Producing an artistic event for children, creating art related service for foreigners Организация художественного мероприятия для детей, создание услуг, связанных с искусством, для иностранцев Completed event, new service Завершенное мероприятие, новая услуга Children receive artistic experiances, foreigners use the service Дети получают художественный опыт, иностранцы пользуются услугой Children learn to appreciate art, foreigners are better integrated to the society Дети учатся ценить искусство, иностранцы лучше интегрируются в общество Process evaluation Оценка процесса Output assessment Оценка результатов Impact assessment Оценка воздействия Planned activities Планируемые мероприятия Intended results Ожидаемые результаты Влияние проекта - это сумма его результатов и результатов в общем анализе его результатов, которые основаны на вкладах и мероприятиях проекта. Входные данные не следует путать с деятельностью, поскольку входные данные-это вещи, которые будут использоваться для реализации проекта (например, человеческие ресурсы, деньги и оборудование). Затем действия-это действия, связанные с достижением целей и задач проекта. Мероприятия не следует путать с результатами, а рассматривать их как прямые и краткосрочные результаты проекта. Один из способов подумать о результатах-это количественно оценить проектные мероприятия, которые имеют прямую связь с цель проекта (например, количество участников художественного мероприятия). Результаты затем относятся к среднесрочным последствиям проекта и часто связаны с целями проекта (например, процент иммигрантов, участвующих в мероприятии по искусству). Воздействие-это третий и последний уровень результатов проекта, относящийся к долгосрочным последствиям проекта (например, иммигранты лучше интегрируются в общество). Когда результаты меняются, влияние проекта также может изменяться с течением времени. Обычно на воздействие влияют несколько факторов и действующих лиц, что затрудняет определение исключительного воздействия проекта. На рисунке ниже оценка арт-проекта разделена на три различные этапа: 1) оценка процессов (т. е. вводимых ресурсов и мероприятий в ходепроекта), 2) оценка результатов (т. е. непосредственных результатов проекта) и 3) оценка воздействия (т. е. результатов и воздействий после проекта). Чтобы быть устойчивым, каждый проект должен отслеживать процессы на протяжении всего своего жизненного цикла. В начале анализ экономических показателей, таких как прибыль, является достаточно, но в нестабильной ситуации необходим более глубокий анализ стратегических решений. Результаты оценки позволяют проектной команде иметь более информированное представление о результатах работы и лучше понимать, каким образом проект влияет на сообщества или целевые группы, которым он служит. В области искусства и социальной сфере оценки более успешны, если их результаты напрямую не приводят к финансовым наказаниям. В то же время выбранные показатели должны иметь прямую связь с измеряемыми результатами и воздействием проекта. Оценка Plaza (2006) сделал экономический анализ влияния Гуггенхайма Бильбао, сравнивая денежный поток музея с первоначальными инвестициями (проводя различие между зданием и стоимостью коллекции. Плаза пришла к выводу, что возврат инвестиций (не включая стоимость постоянной коллекции произведений искусства) был завершен уже через семь лет после открытия музея. Основания для оценки воздействия художественных проектов Любой тип оценки может помочь проектным командам лучше анализировать потребности своих пользователей, посетителей, целевых групп и других заинтересованных сторон. Для художественных проектов, которые обычно имеют ограниченный бюджет и повышенную подотчетность общественности, оценка завершения любого крупного нового предприятия имеет жизненно важное значение, особенно когда от этого зависит финансирование. Оценка также может быть подходящим способом помочь спонсорам или государственным органам и участникам проекта обеспечить максимальную эффективность их деятельности. Оценки воздействия также являются ценные инструменты принятия решений для директивных органов, поскольку эти оценки направлены на обеспечение обратной связи и помогают повысить эффективность программ и политики. Оценка позволяет арт-проектам быть подотчетными общественности. Следующий выбор возможных последствий искусства может помочь подкрепить аргументы в пользу того, что художественные проекты оказывают влияние на общество. Проекты могут: • Развивать уверенность в себе и чувство собственного достоинства • Развивать творческие способности и навыки мышления • Совершенствовать навыки планирования и организации мероприятий • Улучшать обмен идеями и информацией • Повышать уровень образования • Повышать оценку искусства • Создание социального капитала • Укрепление общин • Развивать идентичность сообщества • Уменьшить социальную изоляцию • Улучшать понимание различных культур • Повышать социальную сплоченность • Поощрять интерес к местной среде • Активизация социальных изменений • Повышать осведомленности общественности о проблемах • Укреплять психическое и физическое здоровье и благополучие • Способствовать восстановлению городов • Уменьшать количество оскорбительного поведения • Смягчать последствия нищеты • Повышать возможностей трудоустройства Руководители арт-проектов должны составлять четкие планы различных видов оценок, которые охватывают процессы проектной деятельности и оценку результатов, а также оценки результатов и воздействия. Таблица . Оценка социального воздействия социокультурных проектов Прямое социальное воздействие Искусство и культура обеспечивают социально ценный досуг, развивают мышление людей, повышают их чувствительность и позитивно влияют на психологическое и социальное благополучие людей. Косвенное социальное влияние Искусство обогащает социальную среду стимулирующими или приятными общественными удобствами. Искусство является источником цивилизующего воздействия и социальной организации (например, художники-любители). Стимулируя творчество и пренебрегая устоявшимися моделями мышления, художественная деятельность способствует инновациям. Произведения искусства и культурные продукты являются коллективной «памятью» для сообществ и служат хранилищем творческих и интеллектуальных идей для будущих поколений. Учреждения искусства и культуры повышают качество жизни и, в городских районах, повышают личную безопасность и снижают уровень уличной преступности и хулиганства. Как оценить влияние художественных проектов Как внутренние, так и внешние оценки имеют важное значение. Внутренняя оценка проводится самими проектными группами. Этот подход опирается на опыт экспертов в данной области и их способность немедленно применять полученные результаты. Недостатком, однако, является то, что участники проекта не беспристрастны в отношении своих проектов и, скорее всего, хотят, чтобы они увенчались успехом. Поэтому оценка может быть предвзятой. Несмотря на это, внутренняя оценка по-прежнему считается полезным инструментом, поскольку это позволяет проектным командам и их руководителям контролировать ситуацию. Это также может быть более экономически эффективным, чем внешняя оценка. Преимуществом внешней оценки является то, что она проводится объективным профессионалом, который знаком с эффективными методами оценки. Однако недостатком является то, что идея о том, что кто-то внешний контролирует их проект, может запугать участников проекта. Внешняя оценка также означает дополнительные расходы на проекты. Для оценки требуется достаточно соответствующих данных, чтобы продемонстрировать, насколько сильно повлиял проект, политика или деятельность. По меньшей мере четыре возможных воздействия Оценка социального воздействия художественных проектов в литературе по оценке были выявлены факторы, каждый из которых предоставляет различные источники данных и методы сбора для оценки воздействия: 1) опросы общественности, 2) исследования экономического воздействия, 3) исследования эффекта образования и 4) исследования социальной полезности. Общественные опросы, такие как опросы аудитории, опросы общественного участия и опросы общественного мнения, помогают, например, лучше понять аудиторию и способы ее охвата. Однако опросы аудитории часто измеряют деятельность, а не воздействие, если только охват проектов не принимается в качестве показателя воздействия. Опросы аудитории также охватывают те слои общества, которые уже посещают учреждения или посещают определенные художественные мероприятия. Исследования участия общественности пытаются восполнить этот пробел, включая как участников, так и неучастников. Эти исследования обычно проводятся на долгосрочной основе, и по этой причине они могут наводить на размышления о влиянии различных социальных и технологических факторов на искусство и его аудиторию. Наконец, опросы общественного мнения полезны для измерения восприятия воздействия или ожидания относительно воздействия искусства, но они не дают прямых показателей воздействия искусства (Вышомирский 2001). В таблице ниже представлены некоторые примеры вопросов, которые будут использоваться на разных этапах оценки проекта в области искусства, в данном случае выставки. В таблице указывается на важность оценки проекта на разных этапах и с разных точек зрения. Таблица . Три этапа оценки и примеры вопросов для оценки Предварительная оценка Формирующая оценка Итоговая оценка Оценивает структуры на этапах планирования – вещи, которые еще не существуют, – часто путем выявления запросов пользователей и реализации их в новых концепциях Контролирует процессы, промежуточные результаты и цели; если ожидаемые цели не будут достигнуты в запланированные сроки, руководство проекта может перенаправить свой проект Проверяет, были ли достигнуты ожидаемые цели в конце проекта, и проводит обзор всего процесса Вопросы для предварительной оценки Вопросы для формирующей оценки Вопросы для итоговой оценки О чем думают посетители, сталкиваясь с конкретными объектами и/или идеями? Ясны ли инструкции? Какие значения (в самом широком смысле) посетитель создал из своего опыта? Какой смысл возникает из их встречи? Используют ли посетители интерактивные элементы так, как задумано дизайнерами? Какие части выставки были непонятными/ понятными? Какие объекты привлекают внимание посетителей? Почему? Понимают ли посетители сообщение так, как задумали разработчики выставки? Какие части выставки были наиболее привлекательными? Пробуждаются ли воспоминания, когда посетители смотрят на предметы? Если да, то каковы они? Расположены ли заголовки разделов стратегически? Могут ли посетители видеть предметы в футлярах? Правильно ли посетители используют интерактивные средства? Как много посетители знают об этом предмете или теме? Не слишком ли затянулось взаимодействие? Видят ли посетители брошюру, выставленную в галерее? Что, по мнению посетителей, они узнают из выставки? Удобочитаемы ли тексты на стендах информации? Какие компоненты привлекают наибольшее/наименьшее внимание? Что, по мнению посетителей, они увидят на выставке? Понятно ли содержание текстов на стендах информации или путеводителей по галерее? Какие компоненты привлекают внимание посетителей? Что, по мнению посетителей, они испытают на выставке? Какие общие значения посетители создают из своего опыта? Читали ли посетители текст на стендах информации? Какие именно? Как долго? Что делали посетители, когда они останавливались у компонента или экспоната? Сколько времени посетители проводят в выставочном зале? Что узнал посетитель? Успешные анкеты или опросы требуют времени для надлежащей подготовки. В следующем примере показан график того, как можно было бы провести анкетирование с точки зрения времени. Таблица . Управление временем оценки проекта Деятельность Время Определение целей и графика 19 марта Заполнение анкеты/опроса До 19 марта Перевод вопросов К 2 апреля Подготовка онлайн-анкеты и распечатка бумажных анкет К 9 апреля Открытие/отправка анкеты (продолжительность: три недели) К 23 апреля Окончание анкеты 14 мая Расшифровка ответов на анкету До 14 мая Анализ и интерпретация ответов К 21 мая Написание отчета и рекомендаций для дальнейших действий К 4 июня Представление отчета 2 июня Прежде чем рассматривать, какая методология сбора данных и подход или инструмент оценки могут быть наиболее подходящими, проектные группы должны быть полностью осведомлены о том, что они хотели бы выяснить и почему они хотят получить эту информацию. Проектные группы должны определить свой уровень взаимодействия со всеми заинтересованными сторонами и определить, следует ли и как взаимодействовать с ними. Если руководитель проекта не привлечет участников проекта и других заинтересованных сторон, оценка может не привести к получению наилучших возможных выгод и возможностей для обучения. Обычно руководитель проекта начинает с информирования сообщества, чтобы помочь ему понять цели. На этом этапе полезны такие инструменты, как информационные бюллетени, веб-сайты и открытые обсуждения. На втором этапе руководитель проекта консультируется с сообществом, чтобы получить отзывы общественности о планах, организуя фокус-группы, опросы или публичные собрания. Далее, сообщество должно быть вовлечено в планы, например, с помощью различных семинаров. Наконец, сотрудничество на протяжении всего процесса и расширение прав и возможностей при принятии окончательных решений являются важнейшими элементами для повышения уровня воздействия проектов на общественность. Чтобы привлечь людей к оценке художественного проекта, руководители проекта должны использовать язык, который имеет смысл для всех участников, потому что оценки неэффективны без плавной внутренней и внешней коммуникации. Результаты оценки также нуждаются чтобы ими делились честно, и все участники должны иметь к ним доступ. Иногда при самооценке недостатки в управлении (например, финансовые) могут быть исключены из отчетов или вообще не исследованы. Это важнейшая часть этики оценки. Каждый проект может корректировать показатели в соответствии со своими целями и задачами. Таблица . Показатели успеха проекта в области художественного образования Во время проекта Искусство и творческое обучение Проект создает возможности для людей, принимающих участие и групп, чтобы: - участвовать в расследовании, открытии и создании чего-то нового для них - изучать новые навыки и техники, основанные на искусстве - обладать новым для них творческим опытом - заниматься творческим мышлением - получать опыт работы с профессиональными художниками Личностное и социальное развитие Люди, принимающие участие: - наслаждайтесь собой и чувствуйте себя уверенно - имейте возможность проявить свою индивидуальность - почувствуйте, что ваш творческий вклад ценится - почувствуйте себя владельцем проекта - проявите энтузиазм и целеустремленность - сотрудничайте с другими - занимайтесь вопросами и идеями, которые важны для них - взаимодействуйте с культурными различиями Остальное Проект генерирует: - интерес среди людей, которые не принимают участия - позитивную атмосферу В конце проекта Искусство и творческое обучение Люди, принимающие участие: - улучшили свои навыки, знания и понимание творчества и форм искусства, участвующих в проекте - сделали художественное произведение или приняли участие в спектакле более высокого качества, чем то, чего они достигли раньше - сделали художественное произведение или приняли участие в спектакле, который другие оценивают, как высококачественный Учителя и руководители: - смогут опираться на то, чему они научились в будущей художественной и творческой деятельности - повысили свои навыки, знания и понимание творчества и форм искусства, участвующих в проекте Личностное и социальное развитие Результатом проекта стало: - более сильная командная работа - повышение уверенности в себе и самооценки - расширение понимания вопросов и идей, которые важны для тех, кто принимает участие - более глубокое понимание культурных различий - решения общественных проблем Иное Проект: - имел положительные неожиданные результаты - укрепил связи с внешними сообществами - вызвал интерес у людей, которые не принимают участия - создал позитивную атмосферу Для оценки художественных проектов могут быть применены различные методологические подходы. Мы кратко представляем следующие восемь моделей: • Матрицы • Сопоставление результатов • Сбалансированная система показателей • Анализ пробелов • Сравнительный анализ • Рамочная модель оценки деятельности организаций искусства • Призма производительности • Социальная отдача от инвестиций (СРО) Эти модели также были признаны эффективными для оценки художественных проектов и организаций. Все эти методы учитывают финансовые аспекты, но они не фокусируются исключительно на них и уделяют больше внимания уникальности – как и большинство художественные проекты обеспечивают выполнение проектов или организаций на основе их миссии посредством их общей эффективности. Модель SROI-единственная модель, описанная здесь, которая уделяет особое внимание финансовым вопросам. Различные типы матриц являются полезными инструментами для оценки воздействия. Матрица - это инструмент, который оценивает результаты и влияние проекта или организации. Матрицы поощряют дискуссии между заинтересованными сторонами проекта и вовлекают художников и общественность во взаимодействие. Матрицы предназначены для того, чтобы помочь определить значения, характерные для этих заинтересованные стороны, которых, возможно, потребуется учитывать при оценке результатов и воздействия проектов. Международный центр исследований в области развития предложил инструмент для оценки результатов. Согласно данным Института зарубежного развития (2015), картирование результатов (OM) - это методология планирования и оценки программ развития, ориентированных на изменения и социальные преобразования. OM предоставляет инструменты для разработки и сбора информации о результатах процесса изменений, определяемых как изменения в поведении. Используя инструмент OM, проектные группы могут узнать больше о влиянии на прогрессирование изменений в их непосредственных партнерах и эффективные методы обучения тому, как более систематично и прагматично думать о том, что делают эти партнеры. ОМ может даже помочь планировать и отслеживать изменения в поведении или внутреннюю практику проектов, чтобы помочь им оставаться эффективными. Сбалансированная система показателей - это инструмент управления, представленный Капланом и Нортом в 1992 году. Их целью при внедрении этого инструмента было повышение эффективности работы организации. Этот инструмент является важным способом поощрения менеджеров к использованию более широкого взгляд на их бизнес, а это означает, что использования только традиционных финансовых мер недостаточно. Кроме того, поскольку все художественные проекты и организации уникальны, каждая система показателей также должна быть уникальной. Сбалансированная система показателей дает возможность отслеживать успех предприятий, рассматривая эти организации четырьмя различными способами. Наиболее часто используются следующие аспекты: • Потребительская перспектива: удовлетворенность, доля рынка и имидж • Финансовая перспектива: доходы, новые источники финансирования и ликвидность • Внутренние рабочие процессы: инновации и внутренняя оптимизация процессов • Обучение и рост: человеческие ресурсы, удовлетворенность сотрудников и развитие персонала Как количественные, так и качественные аспекты используются в качестве показателей в сбалансированной системе показателей. Сохраняя в поле зрения все аспекты, имеющие отношение к контролю, система обеспечивает сбалансированность организации. Вопросники со сбалансированной системой показателей имеют три уровня вопросов: 1) оценка текущего положения, 2) качество процесса и 3) устойчивость процесса. Этот инструмент, по сути, использовался для согласования управления бизнесом и стратегий, но также успешно внедряется в общественных и художественных организациях. Анализ пробелов используется для оценки и улучшения качества обслуживания проектов или организаций. Этот инструмент представляет собой метод, позволяющий организациям научиться определять, какие шаги необходимо предпринять, чтобы перейти из текущего состояния в желаемое будущее. Этот метод также называется анализом пробелов в потребностях, анализом потребностей и оценкой потребностей. Этот метод заставляет компании или проектные команды задуматься о том, кто они такие, и спросить, кем они хотят быть в будущем. Анализ пробелов состоит из перечисления характеризуемых факторов нынешней ситуации, перечисления факторов, которых необходимо достичь в будущем, и выделения пробелов, которые существуют и которые необходимо заполнить. Mindtools.com (2015) хорошо объясняет, как использовать анализ пробелов, выполнив следующие три шага: 1. Определите будущие цели государственных организаций, которые необходимо определить. Это позволяет визуализировать будущее или «место», в котором хотят находиться проекты/организации. 2. Проанализируйте текущую ситуацию – для каждой цели необходимо проанализировать текущую ситуацию. 3. Определите пути устранения пробелов – когда будет определено будущее состояние и текущая ситуация, проектные группы смогут подумать о том, что необходимо сделать для устранения пробелов и достижения целей. Бенчмаркинг - это сравнение данных одного проекта или организации с показателями аналогичных проектов или организаций в той же области деятельности. С одной стороны, этот инструмент помогает судить о том, насколько хорошо продвигаются проекты в настоящее время, в то время как, с другой стороны, он помогает определить потенциальные улучшения. Если проектные группы хотят использовать бенчмаркинг, у них есть два варианта: создать свой собственный эталонный кластер или использовать уже существующие инструменты бенчмаркинга. Сравнительный анализ может помочь проектным командам ответить на следующие вопросы: • Како уровень грантового финансирования в похожих проектах? • Какой процент дохода от проектов следует установить в качестве целевого показателя в таких областях, как подписка, членство, пожертвования, спонсорство, трасты и фонды, гонорары, контракты и комиссионные? • Как расходы проекта соотносятся с аналогичными расходами других проектов? • В каких областях расходов похожих проектов осуществлена экономия средств и можно ли этот опыт применить в проекте? Результаты оценки не нужно – но можно – сравнивать с другими проектами или организациями. Внутри организации сравнение результатов проектов или успеха проектов может кое-что рассказать об организационном обучении. Кроме того, экспертная оценка или оценка совместно с другими проектами или организациями-коллегами может помочь проектам или организациям развиваться дальше. В этом случае крайне важно обсудить с сверстники и учитесь друг у друга – делитесь передовым опытом или возможными ошибками. Модель призмы производительности начинается с определения различных заинтересованных сторон, уделения особого внимания их желаниям и заинтересованности проектных команд в сотрудничестве с ними. Во-первых, необходимо определить приоритеты заинтересованных сторон, на основе которых и могут быть разработаны различные стратегии для удовлетворения их потребностей. Процесс определения фокуса измерения не такой, как в сбалансированной системе показателей, но показатели эффективности, которые выбираются в конечном итоге, как правило, весьма схожи. Сорджонен и Ууситало (2008) предлагают рамочную модель оценки эффективности художественных проектов и организаций. Это инструмент разработки, который позволяет организациям оценить, насколько эффективно они продвигаются к своим целям, а затем использовать этот процесс для разработки планов на будущее. В модели основными измерениями являются качество и удовлетворенность клиентов и других заинтересованных сторон. Качество также связано с качеством продукции и услуг. Одной из распространенных моделей измерения социального воздействия является социальная отдача от инвестиции (SROI). SROI был разработан на основе социального учета и анализа затрат и выгод, а модель основана на семи принципах: 1. Вовлечение заинтересованных сторон. 2. Понимание изменений. 3. Оценка значимости. 4. Включайте только то, что является материальным. = измеримость 5. Отсутствие завышенных требований. 6. Прозрачность. 7. Обоснованность результатов. Подход SROI является традиционным и широко используемым способом оценки различных типов программ и проектов. Он дает количественную сводку достижений, которые обычно основаны на анализе затрат и выгод. Эквивалентами в деловом мире были бы выгоды и другие финансовые показатели, чистая приведенная стоимость или внутренняя норма прибыли для проекта. Таблица . Примеры критериев оценки в модели SROI Запланированная работа Ожидаемые результаты Затраты или ресурсы Мероприятия Результаты или продукты Последствия или результаты Влияние Какие ресурсы вкладываются в проект Какие виды деятельности осуществляет проект Что получается в результате этих видов деятельности Изменения или выгоды, которые являются результатом проекта Фундаментальные изменения, которые происходят в отдельных лицах, организациях, сообществах или системах в результате проекта после его завершения например, деньги, персонал и оборудование например, разработка материалов и учебных программ например, количество выпущенных буклетов, проведенных семинаров и обученных людей например, повышение квалификации/ знания/ уверенность, приводящая к долгосрочным последствиям например, устойчивые изменения в поведении/мышлении отдельных лиц или практике организаций Table 8 Examples of evaluation criteria in the SROI model