Общая схема экспертных опросов включает следующие ос­новные этапы:

- подбор экспертов и формирование экспертных групп;

- формирование вопросов и составление анкет;

- работа с экспертами;

- формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

- анализ и обработка экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдель­ных этапов экспертной процедуры, необходимо сделать следую­щее замечание.

Проблема экспертных оценок имеет самостоятельное теоре­тическое и прикладное значение и далеко выходит за рамки проблем экономического риска. Для ее решения используются спе­циальные экономико-математические методы и методы систем­ного анализа.

Здесь не стоит задача раскрытия сущности и содержания ис­пользуемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому пред­ставленная ниже краткая характеристика содержания отдельных этапов носит ознакомительно-описательный характер.

Для более глубокого изучения проблемы можно порекомендо­вать [7], где, на наш взгляд, наиболее полно описывается как со­держание этапов, так и используемый для их реализации аппарат.

подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, реша­ются вопросы относительно структуры экспертной группы, ко­личества экспертов и их индивидуальных качеств, т.е. определя­ются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на ос­нове следующих соображений.

Численность группы не должна быть малой, т.к. в этом слу­чае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на группо­вые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, но зато появляется опасность возникновения но­вых. Так, при очень большом количестве экспертов оценка каж­дого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицирован­ных специалистов, что, в свою очередь, может привести к умень­шению достоверности групповых оценок. Одновременно с рос­том числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработкой результатов опроса.

Существующие методы [7] позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру — численность экспертов требуемой специализации и квалифи­кации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возмож­ные цели экспертов, противоречащие целям получения объек­тивных результатов.

Анализируя предшествующую деятельность экспертов, не­обходимо выяснить наличие причин, которые приводят к стрем­лению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя, либо для других лиц, направлении.

формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обяза­тельных к выполнению всеми. Эти правила должны обеспечи­вать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

- независимость формирования экспертами собственного мнения об оцениваемых событиях;

- удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны ис­ключать всякую смысловую неоднозначность и др.);

-  логическое соответствие вопросов структуре объекта оп­роса;

- приемлемые затраты времени на ответы по вопросам ан­кеты, удобное время получения вопросов и выдачи отве­тов;

- сохранение анонимности ответов для членов экспертной группы;

- предоставление экспертам требуемой информации. Для обеспечения выполнения этих условий должны быть раз­работаны правила проведения опроса и организации работы экспертной группы.

работа с экспертами. В зависимости от характера исследуемого объекта, от степе­ни его формализации и возможности привлечения необходимых экспертов, порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояс­нительным письмом, в котором описываются цель работы, струк­тура и порядок построения таблиц с примерами.

Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анке­тированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятель­ное заполнение анкет при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов.

На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.

ФОРМИРОВАНИЕ ПРАВИЛ ОПРЕДЕЛЕНИЯ СУММАРНЫХ ОЦЕНОК НА ОСНО­ВЕ ОЦЕНОК ОТДЕЛЬНЫХ ЭКСПЕРТОВ. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготов­ку и принятие решений.

Существует несколько способов использования группы экс­пертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединя­ются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления рис­кового события (р) и i-й эксперт указывает для этой вероятно­сти число р, то простейший способ получения обобщенной оцен­ки состоит в вычислении средней вероятности:

,

где m – число экспертов, участвующих в экспертизе.

В методе «Дельфи» в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (количество верных ответов к общему количеству), либо на основе других методов — «самооценка» экспертом своих знаний в области заданных вопросов, квалификация, должность, уче­ное звание и т.д.

,

где h_i – вес, приписываемый i-му эксперту.

Существуют различные приемы оценки компетентности эк­сперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного эксперт­ного опроса.

В общем случае значения веса, приписываемого i-му экспер­ту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0 < h_i £ 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, извес­тная нам экспертиза определения индекса БЕРИ для оценки странового риска использует шкалу от 0 до 100 баллов. Вместе с тем, принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследова­теля, производящего экспертный опрос. Принятая шкала изме­рения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.

АНАЛИЗ И ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспер­тов в виде, удобном для принятия решений (упорядочить объек­ты — варианты, показатели, факторы и т.п.), а также опреде­лить согласованность действий экспертов и достоверность экс­пертных оценок.

Так, например, выявленные в процессе качественного ана­лиза риски необходимо представить в порядке их важности (сте­пени возможного их влияния на уровень потерь), или варианты снижения риска — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффек­тивного применения. Наиболее распространенными из них яв­ляются: ранжирование, непосредственная оценка, последова­тельное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности эксперт­ных оценок.

Как отмечалось, существующие способы определения дос­товерности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Коэффициент конкордации определяется из выражения:

,

где s²_ф – фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами; s²_max – дисперсия суммарных (упорядоченных) оценок, в случае, когда мнения экспертов полностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 — согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкорда­ции был больше заданного (нормативного) значения w_h (W >W_H).

Можно принять w_h = 0,5. Считается, что при W > 0,5 дей­ствия экспертов в большей степени согласованы, чем не согла­сованы.

Определение коэффициента конкордации рассмотрим на сле­дующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов риска, которым может подвергать­ся проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

Результаты оценок этих рисков четырьмя экспертами представлены в табл. 4.1.

Таблица 4.1

Определение рангов важности рисков

Эксперты	Риски
	1	2	3	4	5
1	2	1	5	3	4
2	3	2	4	1	5
3	1	2	4	3	5
4	2	1	3	3	4
Суммарный ранг важности	8	6	16	11	19

При полностью согласованном мнении экспертов каждый из них первому виду риска дал два балла, второму — один, тре­тьему — четыре, четвертому — три, пятому — пять. В этом слу­чае суммарный ранг важности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых экспертами, составляет  и в рассматриваемом примере среднее значение составляет — 12.

Тогда:

s²_ф =  (8-12)²+ (6-12)² + (16-12)² + (11-12)² + (19-12)² = 118

s²_мах =  (8-12)² = (4-12)^{2 +} (16-12)² + (12-12)² + (20-12)²= 160

Таким образом, мнения экспертов можно считать в доста­точной степени согласованным.

В общем случае коэффициент конкордации определяется из выражения:

,

где а_ij – оценка, присваиваемая i-му объекту j-м экспертом; а_i – суммарная оценка, полученная i-м объектом; m – количество оцениваемых объектов; n – количество экспертов.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась ре­зультатом случайных вариаций их мнений.

Сущность методов упорядочения, а также оценки согласо­ванности мнений экспертов и степени их достоверности доста­точно полно изложены в [7; 12].

Если в соответствии с принятыми критериями мнения экс­пертов можно считать согласованными, то данные ими оценки принимаются и используются в процессе подготовки и реализа­ции управленческих решений.

Если полученные оценки нельзя считать достоверными, сле­дует повторить опрос заново. Если и это не дает желаемых ре­зультатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.

Здесь следует отметить важную роль организаторов экспер­тизы, в задачи которых входят: постановка проблемы, опреде­ление целей и задач экспертизы, ее границ и основных этапов; разработка процедур экспертизы, в наибольшей степени соот­ветствующей характеру решаемой проблемы; отбор экспертов, проверка их компетентности и формирование групп экспертов; проведение опроса и согласование оценок; формализация полу­ченной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной сте­пени зависит эффективность результатов, полученных посредством экспертных оценок, в том числе и достоверность этих оценок.­