Мерой согласованности мнений группы экспертов при ранжировании объектов является  дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из m экспертов:

||r_ij|| (j = 1, …, m; i = 1, …, n),

где r_ij – ранг, присваиваемый j-м экспертом i-му объекту.

Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами:

  (i = 1, 2, …, n).   (12.22)

Величины r_i рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется по формуле:

,   (12.23)

где  – оценка математического ожидания, равная:

.   (12.24)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (12.23) к максимальному значению этой оценки:

.   (12.25)

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку 0 £ D £ D.

Максимальное значение оценки дисперсии определяется по формуле:

.   (12.26)

Введем обозначение:

.   (12.27)

Используя выражение  (12.26), запишем оценку дисперсии (12.23) в виде:

.   (12.28)

Запишем окончательное выражение для коэффициента конкордации:

.   (12.29)

По формуле (12.29) определяется коэффициент конкордации для случая отсутствия связанных рангов. Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе форму­лы (12.25) становится меньше, чем при отсутствии свя­занных рангов.

Можно показать, что при наличии свя­занных рангов коэффициент конкордации вычисляется по формуле:

   (12.30)

где

   (12.31)

Здесь Т_j – показатель связанных рангов в j-й ранжировке, H_j  – число групп равных  рангов в j-й ранжировке, h_k  – число равных рангов в k- й группе связанных рангов при ранжировке j-м экспертом.

Если совпадающих рангов нет, то

H_j = 0;             h_k = 0,

и, следовательно,

Т_j = 0.

Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т.е. совершенно нет совпадения.

Таблица 12.3 Относительная шкала изменения коэффициента конкордации

Если степень согласованности экспертов, по мнению лица, принимающего решение, недостаточна, экспертиза может быть повторена. При этом в открытой либо закрытой дискуссии должны участвовать эксперты, имеющие крайние точки зрения.