6. ПРИМЕНЕНИЕ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ПРОГНОЗИРОВАНИИ

Методы экспертных оценок или иначе называемые методы неформализованных проблем применяются для оценки прогнозируемых явлений группой квалифицированных экспертов. Они применяются для обоснования решений, которые не могут быть выражены строгими аналитическими зависимостями и количественными показателями или построение необходимых зависимостей не целесообразно по затратам средств и времени. Методы экспертных оценок при прогнозировании находят широкое применение: - на стадии выбора очередности объектов анализа или проектирования, особенно, когда отсутствуют экономические оценки; - при рассмотрении проектных альтернатив и определении сроков и стоимости их реализации; - при оценке полученных в результате анализа вариантов решений рассматриваемой проблемы; - для прогнозирования сроков наступления того или иного события.

Методы экспертных оценок представляют раздел теории принятия решений и широко применяются не только разработчиками новой техники, но и разработчиками управления производством, плановиками, социологами, экономистами.

На методы экспертных оценок существует ГОСТ: ГОСТ 23554.0-79 -экспертные методы оценки пищевой промышленности, основные положения;

ГОСТ 23554.1-79 – организация и проведение экспертной оценки качества продукции.

Методы экспертных оценок делятся на статические и алгебраические. При использовании статических методов предполагается, что существует какое-то исходное решение, а мнение экспертов искажает его за счет случайных факторов. Эти случайные факторы исправляют методами математической статистики.

Алгебраические методы исходят из того, что существует несколько истинных мнений, а групповое мнение определяется как компромиссное (центральное, консенсус). При работе с этими методами вводится понятие близости каких-то мнений к центральному. Используя специальный математический аппарат, получают оценку достоверности данного мнения (например, метод “Дельфы”).

 

6.1. Организация экспертизы при прогнозировании методами экспертных оценок

При организации экспертизы рабочей группой или группой экспертов, рекомендуется последовательно выполнять следующие виды работ: - назначение организатора экспертизы, знакомого с методами ее проведения; - выбор цели; - разработка программы экспертизы в зависимости от цели; - подбор экспертов соответствующего количества и компетентности; - подготовка анкет.

Для оценки компетентности могут быть применены методы: эвристические, статистические, тестовые, документальные и комбинированные.

Число экспертов зависит от оцениваемого объекта. При сложности исследуемой проблемы, в случае их значительного числа, группа должна делиться на подгруппы. Число экспертов в подгруппе должно находиться в пределах 6-8 человек. Могут быть применены формы опроса: - анкетирование; - интервьюирование.

Перед работой с экспертами нужно проводить беседу, в которой, прежде всего, оговаривать термины.

Анкета состоит из пояснительной записки и карты опроса. При составлении анкеты рекомендуется учесть:

· Вопросы должны учитывать возможности экспертов.

· Не следует включать вопросы, на которые можно получить ответы другими методами (справочники, энциклопедии).

· Не следует объединять два и более вопросов в один.

· Подбор вопросов должен учитывать все альтернативы данной проблемы.

· Порядок расположения объектов должен подчиняться одному принципу – од частного к общему и наоборот.

· Порядок рассмотрения объектов должен быть случайным.

При оценке объекты должны быть классифицированы, а классы обозначены номерами. Различие обозначает только то, что объекты различаются (различны). При этом применяются различные шкалы: порядковые, интервальные и отношений.

При применении порядковой шкалы соответствующие числовые значения, присвоенные предметом, отражают количества свойства принадлежащего элементу. Равное отличие числовых значений не означает равных разностей в количестве свойств.

При применении интервальной шкалы исходят из положения, что существуют единицы измерения, при помощи которых предметы можно не только упорядочить, но и приписать им числа таким образом, чтобы равные разности у чисел отражали равные разности в качествах измеряемого свойства. Нулевая точка интервальной шкалы произвольна и не указывает на отсутствие свойств (температурная шкала Кельвина и др.).

При применении шкалы отношений исходят из положения, что числа, присвоенные предметом, обладают всеми свойствами объектов интервальной шкалы, но помимо этого, на шкале существует абсолютный нуль, который свидетельствует об отсутствии измеряемого свойства (например: шкала крепости алкогольных напитков).

6.2. Анализ будущего. Метод “Дельфи”

Многие из элементов, составляющие прогноз будущего развития, не могут быть выражены в численном виде. Однако возможно сгруппировать мнения специалистов таким образом, что их коллективные знания и суждения удастся сопоставить с какой-либо количественной мерой. В качестве одного из способов такой группировки индивидуальных суждений для получения обоснованного согласованного мнения можно указать разрабатываемый метод “Дельфи”. Уникальные характеристики и потенциальные достоинства этого метода заключаются в предоставляемой специалистам возможности рассматривать возражения и предложения других членов группы в атмосфере, свободных от влияния личных качеств участников (аналогично мозговому штурму).

С помощью метода “Дельфи” делается попытка эффективно использовать так называемое “информационное интуитивное суждение”. Важной чертой этого метода является ясное понимание того, что те или иные черты предвидимого будущего, на основании которых должны приниматься решения в современном обществе, в значительной степени основываются на личных предположениях отдельных людей, а не на точной и строгой теории. Даже когда имеется математическая модель (например – модель развития экономики), исходные предположения, область применения модели, интерпретация выходных данных – все это в значительной степени зависит от интуиции соответствующего специалиста (применение математической модели само является одной из групп методов прогнозирования).

Согласно данного метода следует руководствоваться тремя основными правилами:

· Нужно тщательно отобрать специалистов – экспертов.

· Должны быть созданы условия, при которых эксперты могут работать более продуктивно.

· Если несколько специалистов прогнозируют какое-либо событие, особая осторожность должна быть проявлена при формулировке их единой позиции.

Очень много зависит от компетентности специалистов. Правильный их выбор представляет сложную проблему. Трудности возникают как при определении квалификации, так и относительно вклада специалистов в ту или иную область науки и практики.

Второе правило, гласящее, что должны быть созданы условия для плодотворной деятельности специалистов – экспертов, означает необходимость установления максимально эффективной системы контактов между ними. Предварительная разработка соответствующей модели, даже весьма приближенной, служит целям информации специалиста относительно поставленной проблемы и дает возможность получить его ответ без риска неправильной его интерпретации. Продуктивность работы специалиста резко возрастает, если он имеет свободный допуск к относящейся к делу информации. Кроме того, можно значительно повысить продуктивность работы специалиста, а также получить допуск к его “интуитивным знаниям”, которые не были еще нигде зафиксированы (опубликованы), если поставить его в такое положение, когда он сможет эффективно взаимодействовать с другими экспертами в той же области или в областях, касающихся других аспектов той же проблемы.

Традиционным, и во многих отношениях более простым методом согласования позиций специалистов является проведение общей дискуссии с целью выработки общего мнения. Однако этот метод имеет недостатки и требует своего дальнейшего совершенствования. В частности, результатом дискуссии будет, по-видимому, компромисс между различными мнениями, достижение которого зачастую обуславливается чрезмерным влиянием ряда психологических факторов, например показной убедительности одного из участников экспертизы, обладающего, предположим, авторитетом или просто громким голосом, нежеланием отказаться от ранее публично высказанных мнений, убедительностью мнения, выраженного большинством участников. Метод “Дельфи” помогает преодолеть эти трудности (подобно мозговому штурму). В своей простейшей форме применение этого метода полностью устраняет такое непосредственное общение специалистов друг с другом, какое обычно имеет место при традиционной совместной работе в комиссии. Такое общение заменяется тщательно разработанной программой последовательных индивидуальных опросов, проводимых, как правило, с помощью анкет. Эти опросы перемежаются (по принципу обратной связи) постоянным информированием экспертов о результатах предыдущего опроса.

Положенные в основу этого метода принципы проиллюстрируем на конкретном примере. Проводился опрос относительно автоматизации. Каждому участнику экспертизы предлагалось назвать год появления машины, способной выдерживать (понимать) стандартные тесты на проверку умственных способностей и набрать не менее заданного количества очков. В анкете участников игры сообщалось о результатах первого опроса: распределение ответов – медиана и размах – интервалы между крайними квартилями (0,25 – 0,75) . Квартили – это значения аргументов нормированной интегральной кривой распределения, соответствующие значению функции 0,25, 0,5, 0,75. Квартили указывают величину разброса мнений экспертов. Участников экспертизы просили пересмотреть, и, при желании, исправить свои предыдущие ответы. Если какой-либо из новых ответов не попадал в диапазон между крайними квартилями, то его автора просили представить объяснение причин отклонений его ответов от мнений большинства группы.

Возложенная на самих экспертов обязанность обосновать такие оценки вынуждала тех из них, у кого не было твердого убеждения, помещать свои ответы вблизи медианы. В то же время специалисты, которые могли обосновать правильность свих «крамольных» ответов, продолжали отстаивать свои первоначальные взгляды.

На следующем этапе работы ответы (теперь уже относящиеся к меньшему интервалу времени) снова обрабатывались, и о результатах сообщалось участникам экспертизы. Помимо этого, им направлялась краткая сводка объяснений, предоставленных в защиту сильно отличающихся между собой ответов. Затем их просили пересмотреть свои ответы на вопросы анкеты второго тура опроса, учитывая, при этом, представленные объяснения причин отклонений ответов остальных участников экспертизы, дать им свою оценку. Те из участников, ответы которых и после этого не вошли в интервал между крайними квартилями, должны были сообщить, почему их не убедили аргументы их оппонентов.

На четвертом и последнем этапе работы все эти замечания вновь направлялись участникам экспертизы, и им предоставлялась последняя возможность пересмотреть свои оценки.

Существуют усовершенствования метода “Дельфи” в направлении учета весомости мнений экспертов. Для оценки весомости мнения эксперта могут применяться шкалы оценки ценности участника. Пример, шкалы оценки весомости участника экспертизы приведен в таблице 6.1

Таблица 6.1

Шкала оценки весомости участников экспертизы.

Метод “Дельфи” может быть с успехом применен для числовых оценок прогнозируемой величины или степени важности оцениваемой характеристики, когда отсутствуют другие источники получения этой информации.

Данные по анкетам заносятся на шкалу и определяют медиану значений. При этом под медианой понимают числовое значение, которое делит упорядоченное множество данных так, что одна половина значений оказывается больше медианы, а другая - меньше.

Если в результате опроса эксперты присвоили оцениваемому фактору значения N₁, N₂, N₃, N₄, N₅, N₆, N₇, то после отбрасывания двух крайних, из оставшихся пяти N₂ и N₃ < N₄, а N₅ и N₆ больше, таким образом, медианой является оценка N₄. Экспертам посылаются письма, в которых сообщается, что его оценка (например, N₁) выходит из общего числа разброса (точная оценка выходящих за предел значений дается на основе анализа квартилей), или что разность его оценки и медианы значений составляет такую-то величину. Его просят обосновать свою первоначальную точку зрения или изменить ее, но только обоснованно. Затем на основании их ответов строится новая шкала и определяется новый ориентир, после чего процедуру повторяют иногда до четырех раз.

 

6.3. Метод парных сравнений

Экспертиза методом парных сравнений осуществляется следующим образом. Эксперту предъявляются все возможные сочетания парных объектов, находящиеся упорядоченно (упорядочение является самостоятельной задачей экспертных оценок и предлагается каждой паре указать предпочтительный объект), в соответствии с заданным критерием.

Парные (или попарные) сравнения при небольшом числе объектов – наиболее точный и надежный метод выявления предпочтений. Считается, что качественные сравнения двух объектов сделать гораздо легче, чем выразить свои предпочтения в бальной или ранговой шкале. Этот метод не навязывает эксперту определенных условий, в отличие от других. При парном сравнении упорядочивание сводится к элементарному акту выбора, поэтому вряд ли для небольшого числа объектов можно предположить более простой и надежный метод. При кратности сравнений К=3 необходимо выполнить 3 парные сравнения: (А с В, А с С, В с С). Вместе с тем, при увеличении числа объектов, число требующихся сравнений растет почти пропорционально квадрату числа объекта, поэтому уже при 11 – 12 объекте требуется 55 - 105 сравнений и применение метода становится нецелесообразным.

 

6.4. Метод рангов

Метод рангов применяется для упорядочения объектов по степени их значимости (важности). Наиболее значимому варианту присваивают 1-й ранг, наиболее значимому из остальных — 2-й, и так далее. Если объекты одинаковы, им присваивается одинаковый ранг и ранги называются связанными. Результат ранжирования называется ранжировкой. Объектами ранжирования могут являться: ситуации, факторы, технические решения и т.п.

Рассмотрим случай, когда необходимо ранжировать m объектов (j==l, 2, 3, . . m) с привлечением n экспертов (i=l, 2, 3, ... n) с использованием рассматриваемого метода. Так, ранг, который присвоен j-му объекту i-им экспертом, обозначается — r_ji. Ранжирование производится по сумме рангов коллективной оценки. Фактор получит общий ранг, первый, если будет иметь наименьшую сумму рангов индивидуальных оценок.

Данные экспертирования сведены в табл.6.2.

Для определения согласованности мнений экспертов применяется следующая процедура:

· Вычисляется средний оценочный балл по формуле

= 0,5 n (m+1) (6.1)

· Находится характеристика согласованности мнений экспертов

(6.2)

· Находится оценочная величина критерия χ² (хи-квадрат)

(6.3)

· Определяется табличное значение оценочной величины критерия χ² в зависимости от степени свободы, f=m—1, и уровня значимости а (для уровня значимости a=0,05 значения критерия χ² в зависимости от числа степеней свободы f могут быть определены по данным табл. 6.3).

Рассмотрим пример: Результаты ранжирования четырех объектов пятью экспертами приведены в табл. 6.4.

Объект F₁ при ранжировании получил оценку r₁ — . Аналогичным образом, F2 — ранг r₂ — 4, Fз — ранг r_з—1, F₄ — ранг r₄ — 2.

Для оценки согласованности экспертов определяется

=0,5 n(m+l)=0,5´5(4+1)=12,5,

== 69, и по данным таблицы

=

Табличное значение критерия χ² при f= m-1=4-1=3, — = 7,815.

Таблица 6.2

Таблица рангов

Таблица 6.3

Таблица значений критерия χ² для уровня значимости a=0,05.

Таблица 6.4.

Пример результата ранжирования

В рассматриваемом примере критерий χ² > что соответствует гипотезе хорошей согласованности мнений экспертов, а проведенную ими ранжировку можно принять за истинную.

 

В начало

Оглавление

На главную