Экспертный анализ пример. Основные идеи методов экспертных оценок. Определим значения весовых коэффициентов

Исследуемая проблема

№ варианта

Предложения по решению проблемы экспертной группой

Первый эксперт группы

Второй эксперт

эксперт группы

Второй вариант

Третий вариант

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.

При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.

Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.

Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.

Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:

1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;

2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;

3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;

4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;

5) выбор оптимальной подходящих методов обработки выводов экспертов;

6) точную формулировку итоговых выводов в экспертной работе.

Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.

Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:

1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.

2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.

Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:

Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;

Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);

Предварительная оценка выполнения плана по определенному показателю.

Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:

1. Определение цели исследования.

2. Определение необходимого количественного и качественного состава группы.

3. Создание группы.

4. Определение способа опроса.

5. Составление программы обследования и анкеты (листа) опрос.

6. Проведение опроса.

7. Сведения, группировка и анализ полученной от экспертов информации.

8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.

Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).

Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.

Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.

Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.

Рис. 14.3. Основе виды методов экспертных оценок

Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.

Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.

Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.

Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.

Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.

Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.

Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.

Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.

В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.

Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.

Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.

Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.

В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.

Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.

Экспертизой называется оценка, получаемая путём выяснений мнений специалистов. Эксперт (от латинского e x p e r t u s - опытный) -сведущее в определенной области деятельности лицо, приглашаемое для решения вопроса, требующего специальных знаний. Экспертиза бывает индивидуальной (когда к решению задачи привлекается один специалист) или групповой. Эксперты могут устно высказывать своё мнение или заполнять специальный бланк. К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно (В.М. Зациорский, 1982; Б.Г. Литвак, 1996; В.С. Рубин, 2006; Е.Р. Яхонтов, 2006).

Например, к экспертизе прибегают в следующих случаях: а) при прогнозировании какой-либо ситуации; б) при анализе событий, для которых не существует других способов измерения; в) при обосновании принятия того или иного управленческого решения в условиях неопределенности (В.В. Музыченко, 2003; Н.Н. Пилипенко, Е.Л. Татарский, 2007).

Проведение экспертизы включает следующие основные этапы: формирование её цели, подбор экспертов, выбор методики, проведение опроса экспертов, обработка полученной информации, в том числе оценку согласованности индивидуальных экспертных оценок. Экспертные оценки подразделяются на количественные и качественные (Б.Г. Литвак, 2002).

Подбор экспертов - важнейший этап экспертизы. Основными требованиями, предъявляемыми к экспертам, являются: компетентность, заинтересованность в работе экспертной комиссии, деловитость, широта взглядов, объективность и независимость суждений. Точность экспертной оценки во многом зависит от количества экспертов. Как свидетельствует практика, оптимальное число экспертов - 7-12 человек (Э.М. Коротков, 2003). Экспертное оценивание может осуществляться путём использования следующих подходов: а) закрытого обсуждения с последующим закрытым голосованием или заполнением специальных экспертных бланков; б) свободных высказываний без обсуждения и голосования; в) открытого обсуждения поставленных вопросов с последующим открытым или закрытым голосованием.

Способы проведения качественной экспертизы многообразны. Самый простой из них называется методом предпочтения (или ранжирования альтернативных вариантов). Пользуясь этим методом, эксперты расставляют оцениваемые объекты в порядке ухудшения их качества (табл. 1).

Таблица 1. Форма экспертного бланка, составляемого при проведении экспертизы методом предпочтения

ТИП ТУРИЗМА	Результаты ранжирования
Номер эксперта	Суммабаллов

Деревенский
Оздоровительный
Паломнический
Познавательный
Приключенческий
Развлекательный
Рекреационный
Спортивный
Экзотический
Экологический

Место, занятое каждым объектом, определяется числом набранных баллов: чем меньше сумма баллов, тем выше занятое место. Для примера в таблице 1 представлены результаты ранжирования десяти типов туризма шестью специалистами (экспертами) по уровню их привлекательности для жителей России.

Часто используется и другой способ проведения экспертизы -метод парного сравнения. В этом случае эксперт заполняет таблицу, в которой и по горизонтали, и по вертикали обозначены все сравниваемые объекты (табл. 2).

Таблица 2. Пример экспертного бланка, заполняемого каждым экспертом при проведении экспертизы методом парного сравнения

									Сумма баллов

Болгария
Германия

Например, необходимо определить наиболее популярную страну из восьми представленных, в которую россияне хотели бы совершить туристское путешествие. В таблице 2 каждая клетка относится к двум сравниваемым объектам, и в ней проставляется единица тому из них, который, по мнению эксперта, имеет более высокое качество или более важен. Другому из этих сравниваемых объектов проставляется ноль. Затем подсчитывается общее количество набранных баллов и определяется место (ранг) объекта экспертизы.

Оценка результатов экспертизы может иметь и более сложную форму. Далее, в качестве примера, приведём поэтапную экспертизу, направленную на «Подбор руководителя туристской фирмы».

Этап № 1. Заполнение экспертного бланка. Как мы уже установили, каждый из экспертов должен заполнить экспертный бланк, который, по сути, представляет собой матрицу предпочтений, причем столбцы и строки этой матрицы именуются выбранными качествами (табл. 3). Смысл такого заполнения заключается в сравнении всех качеств поочередно друг с другом. При этом (т.е. при обоюдном сравнении) более предпочтительному качеству даётся 2 балла, а менее предпочтительному - 0 баллов. При невозможности отдать предпочтение кому-либо из двух сравниваемых качеств, каждому из них даётся по 1 баллу.

Таблица 3. Матрица предпочтений

Итак, в нашем примере на первом шаге начинаем сравнивать качества по первой строке, т.е. прежде всего, сравниваем «общительность» 1-ой строки и «обязательность» 2-ой строки. Пусть, на взгляд одного из экспертов, для директора туристской фирмы, качества которого сравниваются между собой, «общительность» предпочтительнее «обязательности». Тогда в «ячейке 1.2» проставляется значение 2, соответственно «обязательности» присваивается 0 баллов и это значение заносится в «ячейку 2.1». Таким образом, на первом шаге происходит заполнение только лишь первой строки и, соответственно, первого столбца, причем «автоматически» в зависимости от выбранных предпочтений по первой строке. Далее эксперт сравнивает качества по второй строке, т.е. сравнивает «обязательность» со всеми остальными качествами. Причем сравнивать «общительность» и «обязательность» уже не надо, так как это сравнение уже было совершено на первом шаге. Аналогичным образом происходит сравнение всех оставшихся качеств. В нашем примере заполненная матрица предпочтений будет иметь следующий вид (табл. 3).

Для проверки правильности заполнения матрицы предпочтений следует обратить внимание на то, чтобы все элементы относительно главной диагонали обладали взаимным соответствием, то есть, если в «ячейке 1.2» записано значение 2, то в «ячейке 2.1» соответственно, должно быть записано значение 0, если в «ячейке 1.3» записано значение 1, то в «ячейке 3.1» соответственно, должно быть также записано значение 1 и т.п.

Этап № 2. Обработка матрицы предпочтений. На этом этапе каждый эксперт приступает к обработке матрицы предпочтений. Прежде всего, суммируются все значения ячеек матрицы по строкам. Таким образом можно вычислить общую сумму баллов, полученных каждым альтернативным качеством, т.е. по сути узнать абсолютный вес каждого отдельного качества (V). Заметим, что максимальный абсолютный вес каждого качества () равен:

где N - число сравниваемых качеств.

В нашем примере эта величина равна 14. После обработки матрицы предпочтений видно, что такое качество, как «общительность», имеет абсолютный вес, равный 5, «обязательность» - 9, «пунктуальность» - 4 и т.д.

Затем необходимо определить общий абсолютный вес всех качеств матрицы предпочтений по формуле:

В нашем примере = 8 (8 - 1) = 56.

Если в экспертизе принимают участие несколько экспертов, то следует вычислить средний вес каждого качества по формуле:

где? = ? + ? + … + ?; k - число экспертов; а 1, 2 … n - текущий номер строки (порядковый номер качества).

И, наконец, легко вычислить относительный вес каждого качества по формуле:

= [ / N (N - 1)] ?100%, если в экспертизе участвуют несколько экспертов, и

100%, если в экспертизе участвует один эксперт.

В нашем случае мы имеем лишь одного эксперта и, следовательно, значение k=1. Отсюда, относительный вес, соответствующий качеству «общительность», равен (5/56) ? 100% = 8,9 %; качеству «обязательность» - (9/56)? 100% = 16,2%; качеству «пунктуальность» - (4/56) ? 100% = 7,1%; качеству «уравновешенность» - (8/56) ? 100% = 14,3%; качеству «стаж работы» - (5/56) ? 100% = 8,9%; качеству «справедливость» - (11/56) ? 100% = 19,6%; качеству «компетентность» - (14/56) ? 100% = 25,0%.

Этап № 3. Анализ результатов экспертизы.Зная относительный вес каждого качества, можно проранжировать их, расставив в порядке возрастания значимости. Другой важный вопрос, на который также следует дать ответ, используя полученные результаты, каковы же те качества, без которых кандидат не может занять предлагаемую должность ни при каких условиях? Для нахождения границы между необходимыми и достаточными качествами рекомендуется использовать коэффициент границы, равный 4/3n (В.В. Музыченко,2003). Итак, если nкачеств, то граница будет проходить по весу, равному (4/3) n. В нашем случае это значение равно 11 и, следовательно, такие качества, как «компетентность» и «справедливость», являются необходимыми для руководителя туристской фирмы.

Из более сложных методов проведения экспертизы получил распространение «Метод Дельфы», «Метод мозговой атаки», «Метод 6.3.5.» и некоторые другие методики.

Метод Дельфы.Его название происходит от древнегреческого города Дельфы, где, по преданию, при храме Аполлона в период с IXв. до н.э. по IVв. н.э. существовал совет мудрецов («дельфийский оракул»), славившийся своими предсказаниями. Сущность метода заключается в выработке согласованных мнений путем многократного повторения индивидуального письменного опроса одних и тех же экспертов. После первого тура опроса все ответы анализируются и в сводном виде доводятся до каждого эксперта. Затем, после каждого тура данные опроса вновь обрабатываются, и полученные результаты сообщаются экспертам с указанием расположения оценок. Первый тур опроса проводится без аргументации. Во втором отличающиеся от других ответы подлежат аргументации или же эксперт может изменить оценку. После стабилизации оценок опрос прекращается и принимается предложенное экспертами решение (А. Дурович, Л. Анастасова, 2002).

«Мозговая атака» является одним из основных в организации и проведении экспертизы (Б.Г. Литвак, 1996; Э.М. Коротков, 2003; Е.Р. Яхонтов, 2006). «Мозговая атака», как правило, состоит из двух туров. В первом туре происходит генерирование идей, а во втором - обсуждение выявленных идей, их оценка и выработка коллективной точки зрения.

Первый тур проводится так, чтобы каждый из экспертов мог свободно высказывать своё мнение. Любая высказанная точка зрения или идея должна быть обсуждена и не может объявляться ложной. Основная задача первого тура состоит в том, чтобы получить, возможно, более полную картину о факторах, которые могут влиять на развитие ситуации. Во втором туре из выявленных в первом туре факторов необходимо оставить лишь наиболее существенные. Для этого их надо критически оценить, поэтому участвующие в проведении второго этапа эксперты делятся на сторонников и противников высказанного мнения. Сторонники пытаются привести необходимые доказательства в пользу высказанной точки зрения, а противники - их опровергнуть. Затем, основываясь на результатах обсуждения, принимается окончательное решение.

Метод качественных экспертных оценок, как мы видим, имеет множество вариантов, одним из которых является метод «6. 3. 5». Суть его состоит в том, что 6 экспертов за 5 минут предлагают 3 варианта решения исследуемой проблемы.Свой ответ эксперты пишут на специальных бланках (табл. 4). Через пять минут для этой же процедуры приглашаются следующие шесть экспертов. Таким образом, за полчаса можно получить 108 новых предложений.

Таблица 4. Пример экспертного бланка, заполняемого при проведении экспертизы методом «6. 3. 5»

Накопленные за короткое время многочисленные предложения затем тщательно анализируются, и эксперты-специалисты делают выводы и дают конкретные предложения по затронутой проблеме.

Иногда специфика объектов экспертного оценивания такова, что эксперты могут дать количественную оценку отдельных показателей. В этих случаях более оправданным являются использование методов количественной оценки объектов экспертизы. Среди методов получения количественных экспертных оценок наиболее часто применяется«Непосредственная количественная оценка», «Метод средней точки» и «Метод Черчмена-Акофа».

Непосредственная количественная оценка используется в том случае, когда необходимо определить значение показателя, измеряемого количественно. В этом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Например, оценивается предполагаемая ёмкость туристского рынка; цена единицы продукции, при которой она будет иметь конкурентоспособный спрос; оптимальный объем производства; стоимость фирмы и т.п.

Метод средней точки. Метод используется, когда альтернативных вариантов, которые можно оценить количественно, достаточно много. В этом случае, если через f () обозначим оценку первого альтернативного варианта, а через f () - оценку второго альтернативного варианта, то далее эксперту предлагается определить третий альтернативный вариант, оценка которого f () располагается в середине между значениями f () и f () и равна f () + f ()/2. Далее эксперт указывает альтернативный вариант, значение которого расположено посередине между f () и f (), затем вариант, значение которого f () расположено посередине между значениями f (и f (). Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

Метод Черчмена-Акофа. Данный метод используется при количественной оценке сравнительной предпочтительности альтернативных вариантов и допускает корректировку оценок, даваемых экспертами. Все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт присваивает количественные оценки, как правило, в долях единицы, при этом общая сумма оценок альтернативных вариантов должна равняться 1 (или 100 %). Далее эксперт сопоставляет по предпочтительности оценку первого альтернативного варианта f ()и сумму остальных альтернативных вариантов. Если первый вариант предпочтителен, чем сумма остальных альтернативных вариантов, то из дальнейших рассмотрений исключается. Когда менее предпочтителен, чем сумма остальных альтернативных вариантов, то он сравнивается с суммой альтернативных вариантов, за исключением последнего. Если альтернативный вариант на каком-то шаге оказывается предпочтительнее суммы остальных альтернативных вариантов, то из дальнейших рассмотрений исключается. Этот процесс продолжается до тех пор, пока последовательно не будет просмотрены все альтернативные варианты, при этом оценки могут быть соответствующим образом скорректированы.

Как мы видим, туризм охватывает многие области жизнедеятельности человека, и поэтому изучение туризма тесно связано с психологией человека. Наиболее полно, на наш взгляд, необходимость применения методов психодиагностики в туризме обосновал в своей работе М.Б. Биржаков (1999, С. 181): «Какое направление для путешествий выберет турист, какая страна будет предпочтительнее в этом сезоне, какой вид туризма будет наиболее популярным? Что выгодно предложить на туристском рынке, куда направить активность в продвижении своего туристского продукта? Как правильно построить тур для наилучшего удовлетворения пожеланий клиента? На многие из этих вопросов невозможно ответить, не изучая психологию человека и предпосылки мотивации поступков и принятий решений».

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.

Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.

В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:

метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);

метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;

дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;

методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;

документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.

По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.

Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.

Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

оценки согласованности и зависимости мнений экспертов;

оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле:

где – количество максимально возможных оценок, полученных j-тым объектом;

– количество экспертов, оценивающих j-ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где – ранг оценки j-м экспертом j-го объекта.

Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (Vj) оценок, данных j-му объекту определяется по формуле:

где – оценка в баллах i-м экспертом j-гo объекта;

– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где mj – количество экспертов, оценивающих j-ый объект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по

где – ранговые оценки j-гo объекта экспертов α и β;

п – количество оцениваемых объектов;

– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:

если все n рангов оценок, назначенных i-м экспертом различны, то Тi = 0, иначе для равных рангов:

где L – количество групп связанных рангов;

t1 – количество связанных рангов в 1-й. группе.

Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:

затем вычисляются отклонения dj суммы рангов оценок, полученных j-м объектом от :

после этого подсчитываются показатели Ti связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации:

где m1 – количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:

рассчитывается значение по формуле:

где т – количество экспертов,

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

По таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – Po (обычно Рo = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Рo, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

получены количественно определенные ответы на предлагаемые вопросы;

получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.

Таблица 9

Анализ оценки относительной важности влияния i-x

локальных АИСУ на статьи затрат себестоимости продукции

В качестве примера в табл. 9 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11, стр. 298). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 10.

Таблица 10

Анкета оценки степени влияния на мнение экспертов источников аргументации

Таблица 11

Анкета количественной оценки степени влияния на

мнение экспертов источников аргументации

После этого в клетки табл. 10, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (Kai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

значение коэффициента аргументированности

значению Kai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;

значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

В целях удовлетворения третьему условию каждому эксперту предлагается сделать отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.

После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.

Показателями обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (Mj) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.

– коэффициент степени знакомства с обсуждаемой проблемой.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 12.

Коэффициент степени знакомства учитывает степень знакомства эксперта с рассматриваемой проблемой и равен нормированному (умноженному на 0,1) значению соответствующей оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид:

Таблица 12

Коллективная экспертная оценка

Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения Сij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц.

Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.

В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:

обеспечить адекватную оценку объекта экспертизы;

выработать эффективные альтернативные варианты решений достижения поставленных целей;

выбрать из них единственный оптимальный (наиболее рациональный) вариант.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.

Литература

Евланов Л.Г. Теория и практика принятия решений. – М: Экономика, 1984.

Карданская Н.Л. Принятие управленческого решения. – М.:ЮНИТИ, 1999.

Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.

Методика (основные положения) определения потребности народного хозяйства в продукции отрасли (с учетом нормативов для отдельных групп продукции). – М.: ЦНИИ ИиТЭИ приборостроения, средств автоматизации и систем управления, 1982.

Растригин Л.А. Современные принципы управления сложными объектами. – М.: Советское радио, 1980.

Трояновский В.М. Математическое моделирование в менеджменте. – М.: Экономика, 1999.

РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ

В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ

В исследовании социально-экономических и политических систем управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью исследуемых проблем, отсутствием надежных экспериментальных или нормативных инструментов.

Экспертиза ¾ это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаний предмета исследования и технологиях качественного анализа. Слово «эксперт» образовано от латинского «опытный». Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Экспертные методы завоевывают популярность по мере увеличения доли качественных критериев в отображении и оценке социальных процессов. Одной из причин, вызвавших эту тенденцию, является необходимость учета интуиции опытных экспертов, выносящих заключения о целесообразности принятия того или иного варианта решения в процессе разработки и реализации программы.

Факт проникновения субъективных подходов в плоскость объективной оценки рассматриваемых альтернатив, лежащий в основе методологии экспертных методов, призван обеспечить более точное и адекватное отображение свойств и признаков оцениваемого объекта. Особую роль экспертные методы начинают играть в условиях нестабильной экономики, когда возрастает неопределенность решения различных социально-экономических ситуаций.

Методология экспертных оценок применяется в решении следующих задач:

Обоснование выбора варианта управленческого решения на основе заложенных в основу оценки критериев;

Определение перспективных направлений использования имеющихся в организации технологий;

Согласование мнений между различными уровнями управления;

Проведение полной и адекватной оценки ситуации, сложившейся на предприятии, в отрасли и пр.

Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа - это исследование параметров исследуемого объекта, основанное на принципах организации коллективной мыследеятельности с использованием технологии экспертного опроса. Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение ряда этапов.

1. Подготовка экспертов.

2. Выделение критериев и условий принятия экспертных решений.

3. Выбор оптимального метода экспертной оценки.

Эксперты не всегда способны дать количественные оценки значений оцениваемых показателей. Поэтому важнейшим элементом экспертной оценки является способ качественной оценки объектов экспертизы.

Таким образом, своеобразие качественных методов проведения экспертной оценки заключается в таком представлении объекта экспертизы, которое позволит увидеть в нем скрытые до этого свойства.

СТЕПЕНЬ ДОСТОВЕРНОСТИ ЭКСПЕРТИЗЫ.

ТРЕБОВАНИЯ К ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ

Экспертные исследования могут иметь как самостоятельное значение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.

Прогнозные экспертные оценки отражают индивидуальность суждения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.

Интуитивные (экспертные) методы исследований используются в следующих случаях:

Для анализа, диагностики состояния, последующего прогнозирования вариантов развития объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

В условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

В условиях большой неопределенности среды функционирования объекта, рыночной среды;

При средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках;

В случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

При отсутствии необходимых технических средств моделирования, например вычислительной техники с соответствующими характеристиками;

В экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией. К эксперту предъявляют следующие требования:

Высокий уровень общей эрудиции;

Стабильность во времени оценок эксперта;

Наличие дополнительной информации о прогнозируемых признаках лишь подтверждает оценку эксперта; богатый практический и исследовательский опыт, репутация признанного специалиста в данной области знаний;

Наличие психологической установки на будущее;

Способность к адекватному отображению тенденций развития исследуемого объекта;

Незаинтересованность в конкретном результате прогноза.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида - как случайные. Эксперт, склонный к систематическим ошибкам, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.

Случайные ошибки изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии.

Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рассмотренному выше перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, заранее определить способность человека делать правильные экспертные оценки невозможно.

Организация форм работы эксперта может быть программированной или непрограммированной. Деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме. Программирование работы эксперта предполагает следующее:

1) построение граф-модели объекта на базе ретроспективного анализа данных прошедшего периода;

2) определение структуры таблиц экспертных оценок или программы интервью на базе граф-модели объекта и целей экспертизы;

3) определение типа и формы вопросов в таблицах экспертных оценок или интервью;

4) определение типа шкалы для вопросов в названных таблицах;

5) учет психологических особенностей экспертизы при определении последовательности вопросов в таблицах экспертных оценок;

6) учет верифицируемых вопросов;

7) разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация и стимулирование работы эксперта состоит в разработке эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета в авторстве, а также неразглашение всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм моральной, профессиональной и материальной заинтересованности эксперта в экспертных оценках; организационных форм работы эксперта.

При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать десять наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать десять наиболее крупных коллег-ученых. Из полученного списка специалистов вычеркивают десять первоначальных, а остальным рассылают письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлечение всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

Анкета для опроса специалистов является важнейшим инструментом экспертного прогнозирования. Подготовка и проведение экспертного прогнозирования включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозирования, методикой прогнозирования и верификации прогноза.

Формулировка вопросов в анкете должна отвечать следующим требованиям:

Общепринятая терминология;

Исключение всякой смысловой неопределенности;

Обеспечение достижения целей прогноза;

Соответствие структуре объекта прогнозирования;

Обеспечение единого и однозначного толкования результатов анкетирования;

Обеспечение использования конкретного способа верификации результатов прогнозирования.

По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на который не регламентирован. Закрытым называют вопрос, в формулировке которого содержатся альтернативные варианты ответов. При ответе на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, содержащегося в бланке. Косвенные вопросы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать неискренность эксперта при ответе на вопрос.

Таким образом, методы экспертных оценок в исследовании социально-экономических и политических процессов часто применяют в предшествующих прогнозных и плановых исследованиях.

ЭКСПЕРТНЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ

В целом можно выделить две группы экспертных оценок: индивидуальные и коллективные. Индивидуальные экспертные методы используют при прогнозировании в относительно узких областях науки и практики. Коллективные экспертные оценки применяют при прогнозировании объектов и процессов, имеющих междисциплинарный характер.

Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также используются как качественные, так и количественные критерии. Таким образом, можно выделить особую группу эвристических методов, значение которых заключается в мобилизации творческого мышления на решение сложных комплексных задач.

Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получает заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

1.Метод гирлянд и ассоциаций, разработанный в 70-е гг. XX в. советским ученым Г. Бушем, предполагает изучение объекта, схожего по свойствам, на базе сличения их выявляются особенности, характерные для исследуемого объекта.

Метод предполагает прохождение следующих этапов:

Определение аналогов объекта;

Выбор случайных объектов;

Составление комбинаций из элементов гирлянд аналогов объекта и случайных объектов;

Составление перечня или таблицы признаков случайных объектов;

Развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов;

Генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков);

Развитие новых идей путем попыток комбинирования элементов гирлянды ассоциаций по признакам с элементами гирлянды аналогов объекта;

Выбор альтернативы, т.е. анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциаций и комбинирования понятий;

Оценка и отбор рациональных вариантов идей;

Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная проблемная ситуация, слабо изученная, в отношении которой нет сложившегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изучении свойств аналогов исследуемого объекта, целесообразности их привлечения, формировании психологической установки экспертов и т.д.

2. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноценность или принципиальную несравнимость представленных альтернатив, в связи с чем они исключаются из анализа. В ходе такого сравнения эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свойства и признаки отобранной альтернативы.

3.При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изобразить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонентом - число альтернатив, которые превосходят второй, и т.д. Использовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX в. американским ученым Ч. Вайтингом, заключается в перенесении признаков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на концентрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска. Процедура применения метода предполагает прохождение следующих этапов;

Выбор фокального объекта;

Выбор трех-пяти случайных объектов;

Составление списков признаков для каждого случайного объекта;

Генерирование идей посредством присоединения к фокальному объекту признаков случайных объектов;

Развитие полученных сочетаний путем свободных ассоциаций;

Оценка полученных идей и отбор полезных решений.

5. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом (экспертами) разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного документа, составленного на основе тщательного обследования объекта.

6. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй - наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа. В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт назначает количественные оценки. Преимуществом данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов.

8. Метод лотерей. В соответствии с методом имеющиеся альтернативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (а 2) равноценен лотерее; альтернативный вариант (а,) встречается с вероятностью (р), альтернативный вариант (а 3) встречается с вероятностью (1 - р).

Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зрения достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительного круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов.

1. «Мозговой штурм». Главная цель «мозгового штурма» заключается в стимулировании творческого процесса генерации идей, возможного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной ситуации разработать максимальное количество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Главным преимуществом метода «мозгового штурма» является нацеленность на нахождение нестандартных решений, способных реализоваться при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сформировать группу людей, обладающих высокими креативными способностями, что чрезвычайно важно для организации любого типа. Метод «мозгового штурма» является очень эффективной технологией генерирования новаторских идей.

2. Методика судов. Суть методики заключается в такой организации обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая дает критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое исполнение, которое позволяет участникам обсуждения наиболее полно проявить себя в организационном процессе, осознавая в нем не только собственное место, но и место других служб и должностных функций.

3.Метод «черного ящика». Главным достоинством метода «черного ящика» является минимизация возможного влияния заинтересованных лиц на принятие неэффективных решений. Метод нацеливает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экспертов, оценивающих перспективы принятия решений по определенному перечню проблем.

4.Метод эвристического прогнозирования. Использование данного метода предполагает привлечение к работе экспертов узкой специализации, которые на основе предварительно разработанных анкет и таблиц должны выработать общую модель исследуемого объекта. Основной трудностью в использовании этого метода является процедура подбора экспертов, поскольку их специализация и профиль должны обеспечить возможность целостного представления объекта. Успешное выполнение этой задачи позволит сформулировать ряд нормативных характеристик объекта, которые могут послужить базой для определения вероятных путей их достижения.

Таким образом, методом эвристического прогнозирования называют метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов (экспертов) в узкой области науки, техники или производства.

Область применения рассматриваемого метода включает научно-технические объекты, рынки и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разрабатывать адекватную модель.

В основе метода лежат три теоретических допущения:

1) существование у эксперта психологической установки на будущее, сформулированной на основе профессионального опыта и интуиции;

2) тождественность процесса эвристического прогнозирования или процесса решения научной или рыночной проблемы с однотипностью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации;

3) возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синтезируемых из прогнозных экспертных оценок.

Следовательно, назначение метода эвристического прогнозирования - выявление объективизированного представления о перспективах развития узкой области науки, техники, рынка на основе систематизированной обработки прогнозных оценок репрезентативной группы экспертов.

5. Синектический метод. Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно. При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма
общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.

Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию решений придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная стабильность, но выявляется уникальный способ осознания и разрешения актуальных проблем.

6. Метод дневников. Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего
метод используется в структуре управления с жестко регламентированной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по совершенствованию деятельности предприятий.

7. «Метод Делъфи» является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими возможностями самого метода, позволяющими решать сложные комплексные задачи.

«Метод Дельфи» был разработан в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.

Сущность метода заключается в последовательном анкетировании мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих возможности вступать друг с другом в непосредственный контакт и получающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

На первом этапе экспертам предлагают дать заключение о целесообразности выбора того или иного варианта решения проблемы, основанного на логике доказательства такого выбора и интуиции эксперта.

На втором этапе (обсуждения) эксперты обмениваются заключениями через координатора экспертизы, учитывая во втором варианте собственного отчета доводы и аргументацию своих коллег.

Процесс экспертизы может продолжаться до тех пор, пока не будет получена максимально консолидированная оценка экспертами сложившейся проблемной ситуации и предложен оптимальный и наиболее обоснованный способ ее решения.

Использование метода возможно лишь при соблюдении ряда условий, способных оказать влияние на его эффективное применение в отборе наилучшей альтернативы.

Организационные требования к использованию «метода Дельфи» таковы.

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в определенных рамках. Минимальное число экспертов можно вычислить по формуле

N min = 0,5 (3: b+5)

где b - ошибка результата, измеряемого в диапазоне экспертной оценки от 0 до 1.

2. Время между этапами опроса должно составлять не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров (этапов) должно быть достаточным, чтобы все участники имели возможность ознакомиться с причиной той или иной оценки и критиковать ее.

5. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

6. Необходима формула согласованности оценок, основанная на данных самооценок.

7. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи.

8. Необходимо установить влияние общественного мнения на экспертные оценки и на сходность этих оценок.

9. В ходе реализации метода должен проводиться систематический отбор экспертов, основанный на данных экспертизы по турам и самооценкам.

Важнейшим достоинством метода является использование в нем количественных показателей, позволяющих делать точные и аргументированные заключения.

«Метод Дельфи» целесообразно применять в следующих случаях:

Имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы;

В распоряжении нет нужных данных;

Нет достаточного времени для сбора данных;

Процесс получения и анализа необходимых данных слишком дорог.

В «Дельфи» предусматривается создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения - с другой. Еще одно важное свойство - обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в их распоряжение, после чего эксперты уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.

На первом туре экспертам сообщается цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Успеху способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

n = s/х * 100%

Где s – среднее квадратическое отклонение оценок.

Где х – среднее значение оценки

х i – оценка каждого эксперта

n – число экспертов.

Медиана - значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждый эксперт распределяет оценки третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. Как показывает практика, желаемое согласие наступает к четвертому туру.

Рассмотрим применение «метода Дельфи» на примере прогноза величины валового сбора зерна в К* области в 2004 г.

Пусть в подготовке решения участвовало 14 экспертов. Координатором экспертизы был сделан доклад о состоянии и основных направлениях развития сельского хозяйства в рассматриваемом регионе, приведена статистика валового сбора зерна в 1913-2003 гг. (рис.). Опрос проводился в три тура.

Экспертами были приведены следующие аргументы за минимальный объем сбора зерна:

1) прогнозируемые синоптиками на 2004 г. неблагоприятные погодные условия - дожди во время уборки;

2) высокая степень износа сельскохозяйственной техники;

3) недостаточное финансирование производящих отраслей агропромышленного комплекса;

4) недостатки управления сельским хозяйством: низкая квалификация кадров управления, неэффективность организационных структур управления, отсутствие системы непрерывного прогнозирования и планирования на производящих организациях и т.д.

За максимальный объем валового сбора зерна экспертами были высказаны следующие аргументы:

1) увеличение объемов производства сельскохозяйственной продукции в фермерских хозяйствах области;

2) увеличение посевных площадей;

3) тенденции увеличения производства зерна в регионе за последние годы;

4) политика органов регионального управления, направленная на стабилизацию кризисных явлений в сельском хозяйстве области.

Первый тур. Для проведения экспертизы экспертам предоставили анкеты; в каждой содержался вопрос и место для ответа. Результаты обработки анкет на первом туре представлены ниже (табл.).

Среднее значение оценки:

Х = 1/14(1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 +

2200 + 2400 + 2500 + 2600 + 2600 + 2900) = 1864,3.

Результаты анкетирования (первый тур)

Статистические характеристики второго тура

`х = 1517,18 Q 0.25 = 1100 s = 511.16

Мe = 1350 Q 0.75 = 2000 n = 33.6%

Третий тур экспертной оценки аналогичен. Каждому эксперту предлагается пересмотреть свои предыдущие ответы и, при желании, исправить их. Все исправления сопровождаются объяснениями, почему увеличиваются или уменьшаются объемы валового сбора (табл.).

Статистические характеристики третьего тура экспертизы

`х = 1221,4 Q 0.25 = 1100 s = 160,9

Мe = 1200 Q 0.75 = 1350 n = 13,1%

При необходимости экспертиза может продолжаться далее.

Общие результаты экспертизы по турам

В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации v = 13,1%).

В результате применения «Дельфи» состоялся прогноз о том, что валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.

Таким образом, рассмотрев две группы экспертных оценок, можно сделать вывод. Индивидуальные экспертные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики, тогда как методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о параметрах и перспективах развития объекта, где в основе лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы.