Существующие в настоящее время методы отбора экспертов далеки от совершенства и основаны, скорее, на соображениях здравого смысла, чем на строгих

научных рекомендациях. Подбор количественного и качественного состава экспертов производится на основе анализа сложности проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов. Сложность решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля, следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть при решении проблемы.

Достоверность оценок группы экспертов зависит от уровня знаний от­дельных экспертов и их количества. Если предположить, что эксперты являются достаточно точными измерителями, то с увеличением числа экспертов досто­верность экспертизы всей группы возрастает.

Затраты ресурсов на проведение экспертизы пропорциональны количе­ству экспертов. С увеличением числа экспертов увеличиваются временные и финансовые затраты, связанные с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экс­пертизы связано с увеличением затрат. Финансовые ресурсы ограничивают максимальное число экспертов в группе. Ограничение числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе.

Индивидуальные характеристики экспертов задаются с помощью коэф­фициента компетентности, который может быть определен как по априорным, так и по апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на ос­нове самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорных данных оценка коэффициента компетент­ности производится на основе обработки результатов экспертизы.

Метод самооценки состоит в том, что кандидату в эксперты дается анкета с перечнем вопросов, подлежащих решению экспертной комиссией, и предлага­ется оценить свои знания по этим вопросам в баллах. При этом вопросу, в кото­ром «данный специалист считает себя наиболее компетентным, предлагается присвоить высший балл (например, 10), а вопросу, в котором он меньше всего разбирается – единицу. Остальные вопросы оцениваются в соответствии со сте­пенью компетентности эксперта (по его самооценке).

По полученным данным об индивидуальной самооценке, можно рассчитать сред­нюю групповую самооценку по каждому вопросу и выявить, таким образом, не­обходимость в изменении состава комиссии. Практика показывает, что методы

самооценки недостаточно точны и могут быть использованы лишь на предвари­тельном этапе отбора экспертов.

Наиболее простым методом определения компетентности при взаимной оценке экспертов является методика оценки относительных коэффициентов компетентности по результатам высказываний специалистов о составе эксперт­ной группы. Сущность этой методики заключается в следующем. Ряду специа­листов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специа­листов для участия в экспертизе. Проведя несколько туров такого опроса, мож­но составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, значения переменных которой равны:

Причем каждый эксперт может включать или не включать себя в эксперт­ную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле:

   (12.9)

где К_s – коэффициент компетентности s-го эксперта; m- количество экспертов.

Коэффициенты компетентности нормированы так, что их сумма равна единице.

Сущность методики определения компетентности экспертов на основе апостериорных данных, т.е. по результатам оценки объектов, основывается на степени согласованности индивидуальных оценок экспертов с групповой. При этом компетентность эксперта считается тем выше, чем ближе его мнение (вы­сказывание) к средним оценкам.

Для описания экспертов с точки зрения оценки качества решения проблемы используются характеристики: креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, конструктивность мышления, коллективизм, самокритичность.

Креативность – это способность решать творческие задачи. В настоящее время кроме суждений, основанных на изучении деятельности эксперта, нет каких-либо

предложений по количественной оценке этой характеристики.

Характеристика – отношение к экспертизе важна для принятия решения о привлечении специа­листа в качестве эксперта. Негативное или пассивное отношение специалиста к решению конкретной пробле­мы, большая занятость и другие факторы существенно влияют на выполнение своих функций экспертами.

Конформизм – это подверженность влиянию автори­тетов. Это свойство проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм мо­жет проявляться при проведении экспертизы в виде от­крытых дискуссий. Мнение авторитетов, высказанное на открытой дискуссии, может подавлять мнение лиц, обла­дающих высокой степенью конформизма.

Аналитичность и широта мышления – важные харак­теристики эксперта, особенно при решении сложных про­блем. Специалист, имеющий глубокие знания, но обла­дающий «профессиональной слепотой», не может каче­ственно решать проблемы, требующие взгляда, выходя­щего за рамки сложившихся представлений.

Конструктивность мышления – это прагматический аспект мышления. Эксперт должен давать решения, об­ладающие свойством практичности. Учет реальных воз­можностей решения проблемы очень важен при прове­дении экспертного оценивания. Существуют квалифици­рованные специалисты со слабо выраженной прагмати­ческой направленностью.

Свойство коллективизма должно учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе экспертов во многих случаях существенно влияет на создание положительного психологиче­ского климата и, тем самым, на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на успешность решения задачи экспертного оценивания. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, часть характеристик эксперта, как правило, является положительной, а часть – отрицательной. Возникает проблема согласования характеристик между собой. Причем, чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать какую-то обобщенную характеристику эксперта, учитываю­щую его

важнейшие качества, с одной стороны, и до­пускающую непосредственное измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта. Именно эта характеристика определяет эксперта как «измерительный прибор». Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой информации может не быть.

Количественно  достоверность экспертизы оценивают по формуле:

      (i = 1, 2, …, m),   (12.10)

где N_n – число случаев, когда  i-й эксперт дал решение, приемлемость которого подтвердилась практикой; N – общее число случаев участия i-го эксперта в решении проблемы.

Можно также учесть вклад каждого эксперта в достоверность экспертизы всей группы. Эта относительная достоверность определяется по формуле:

     (I = 1, 2, …, m),   (12.11)

где m – число экспертов в группе. В знаменателе стоит средняя достоверность экспертизы группы экспертов.

Работа по подбору экспертов возлагается на группу управления. От качества выполнения этой работы существенно зависят результаты экспертизы, поэтому она должна поручаться квалифицированным специалистам. Процедура подбора группы экспертов включает три этапа: определение количества экспертов, составление списка экспертов, получение согласия экспертов на участие в работе.

Для определения количества экспертов члены группы управления выявляют области знаний, связанных с решаемой проблемой. На основе рассмотрения содержания проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяется минимальное, и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы (например, в процентах). После определения минимального и максимального числа экспертов по каждой области суммированием определяется минимальное и максимальное число экспертов. Число экспертов определяют соответственно нижнюю и верхнюю оценки достоверности экспертизы.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности.

Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.