Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.) и производят измерение их характеристик (вероятности свершения событий, коэффициентов значимости, целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке  заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом мето­ды опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип

означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель» с небольшими погрешностями);

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей», поэтому необходимо очень осторожно проводить обработку результатов  экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае  может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка. Мы основное внимание уделим вопросам экспертного оценивания для решения проблем первого класса.

Область применения метода экспертных оценок весь­ма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

· составление перечня возможных событий в различных областях за определенный промежуток времени;

· определение наиболее вероятных интервалов време­ни свершения совокупности событий;

· определение целей и задач управления с упорядоче­нием их по степени важности;

· определение альтернативных вариантов решения задачи с оценкой их предпочтения;

· альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

· принятие альтернативных вариантов решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; деловая игра; сценарий. Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы. Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов в работе.

Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения. Объектами могут быть предметы, явления, решения. В качестве показателей сравнения могут использоваться пространственно-временные, физические, физиологические, психические и другие свойства и характеристики объектов. Процедура сравнения включает определение отношений между объектами и способ их сравнения.

Введение конкретных показателей сравнения позволяет установить отношения между объектами, например: «больше», «меньше», «равны», «лучше», «хуже», «одинаковы», «предпочтительнее» и т.п. Способ сравнения определяет, например, сравнение всех объектов последовательно с одним объектом или сравнение всех объектов друг с другом в произвольной последовательности.

Для формального описания множества объектов и отношений между ними вводится понятие эмпирической системы с отношениями:

,   (12.1)

где О = (О₁, О₂, …, О_n ) – множество объектов (предметов, явлений, событий, решений и т.п.); R = R_i, R₂, …, R_m – множество отношений между объектами.

Запись O_iR_kO_j означает, что объект O_i находится в отношении R_k к объекту O_j. Такое отношение называется двуместным (бинарным), поскольку оно связывает два объекта. Если отношение существует между тремя объектами, оно называется трехместным и т.п.

Определим основные свойства отношений:

· отношение R рефлексивно, если   O_iRO_j истинно;

· отношение R антирефлексивно, если O_iRO_j – ложно;

· отношение R симметрично, если из O_iRO_j следует O_jRO_i;

· отношение R антисимметрично, если из   O_iRO_j и O_jRO_i следует O_i = O_j;

· отношение R несимметрично, если из истинности O_iRO_j следует, что O_jRO_i ложно;

· отношение R транзитивно, если из O_iRO_j и O_jRO_k следует  O_iRO_K, где O_i, O_j, О_k суть элементы множества О.

Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности, называется отношением эквивалентности O_i ¥ Oj, При экспертном оце­нивании, кроме отношения эквивалентности, используется отношение порядка. Это отношение может означать, например: «раньше чем», «больше чем», «предпочтительнее чем». Отношение порядка антирефлексивно и транзитивно. Отношение O_i предпочтительнее O_j обозначается:

O_i   O_j.