Согласно одному из принципов TQM – принципу непрерывного улучшения – повысить качество продукции можно, постоянно анализируя проблемы, обнаруживая и устраняя причины, вызывающие дефекты в изделиях и нарушения процессов. Проблемы, постоянно возникающие на промышленных предприятиях (появление брака, неполадки в оборудовании, задержка поставок исходного сырья и материалов и т.д.) сложны не только по своей природе, но очень часто в силу большого количества факторов, одновременно влияющих на конечный результат. Иногда  влияние каждого из них однозначно и не зависит от других факторов.  В этом случае, выявив их с помощью мозгового штурма и причинно-следственной диаграммы, можно после стратификации решать отдельные составляющие проблемы в порядке, определенном по диаграмме Парето. Если и причина и следствие имеют количественные оценки, текущее состояние процесса можно оценить, построив по данным, собранным на контрольных листках, гистограмму. Закономерность влияния отдельного фактора можно выявить по диаграмме рассеивания, а кинетику процесса проследить по контрольной карте.

Однако, чаще влияние нескольких факторов взаимообусловлено, имеет комплексный характер и не всегда поддается регрессионному анализу. Особенно неприятно, если не все влияющие факторы имеют количественные характеристики. Как же в этих условиях «поставить  процессу правильный диагноз», т.е. установить основные причины его ненормального течения? К этому специалисты подходят по-разному. Одни полагаются на прошлый опыт, другие – на интуицию, третьи проводят специальные исследования и используют статистический анализ опытных данных.

 Однако, опыт – хоть и полезная, но ненадежная вещь. Он быстро устаревает, особенно в наш век бурного прогресса. А в принципиально новых процессах, где как раз и возникает больше всего проблем, его может вообще не быть. Интуиция эксперта достойна уважения, в ней проявляются неординарные способности человека, позволяющие быстро принять решение. Как правило, эксперт обладает и хорошими профессиональными знаниями. Такое сочетание встречается нечасто и делает его очень ценным субъектом для решения производственных проблем.  Сложность в одном:  как определить, кто обладает таким даром и знаниями? Такие критерии оценки содержатся в методике экспертного анализа - одного из наиболее универсальных инженерных методов УК.

 Исходя из определения качества как совокупности характеристик свойств объекта, предназначенных для удовлетворения требований, следует признать, что оценить его количественно можно только измерив эти характеристики, например, сравнив каждую из них с некоей мерой.  Измерение – получение опытным путем информации о количественной характеристике того или иного свойства. Поэтому в познавательной деятельности человека, в том числе и в производственной сфере, измерения играют очень важную роль. Одно из основных положений теории познания сформулировал Г. Галилей: "Измерять все, что измеримо, и стремиться к тому, чтобы стало измеримым то, что им еще не является".

Одним из инструментов, с помощью которых это положение воплощается в жизнь, даже для характеристик, не имеющих количественного выражения, является экспертный метод. Он требует специальных методик сбора и обработки информации, часто с применением методов математической статистики и ЭВМ. В государственном  и хозяйственном управлении метод используется в форме коллегиальности, в общественно-политической жизни – в форме собраний и съездов, в искусстве – в форме жюри, в юриспруденции – в форме судов, в медицине – в форме консилиумов. Разновидностью экспертного метода являются  органолептические измерения.  Но суть у всех этих форм одна.

• заключается в ранжировании объектов или параметров объекта с присвоением каждому из них определенного ранга.
• способствует реализации положения теории познания о необходимости измерения всего, что еще не измерено.
• применяется  там, где измерение с помощью технических средств невозможно, сложно или экономически не оправдано.
• реализуется путем анкетирования, интервьюирования или голосования.

Как известно, ранжирование заключается в  расстановке объектов в возрастающем или убывающем порядке для получения измерительной информации по шкале порядка.  В связи с этим здесь придется вспомнить некоторые понятия квалиметрии.

На шкале порядка можно поставить т.н. опорные (реперные) точки и таким образом получить реперную шкалу. Например,  оценки «отл.», «хор.», «уд.», «неуд.». Цифры, поставленные им в соответствие называются баллами – 5, 4, 3, 2. При этом значения этих цифр, принятые для обозначения возрастания значимости параметра могут быть как возрастающими, так и убывающими (классы в школе, место в спортивных соревнованиях, разряд рабочего). В баллах измеряют многие показатели качества: силу морского волнения, землетрясения, размер зерна в сплавах, твердость минералов, чувствительность фотопленок. Недостаток реперных шкал – невозможность проведения аддитивных и мультипликативных операций над баллами из-за неопределенности интервалов между реперами. Если такую шкалу разбить на равные, известные интервалы, получим шкалу интервалов. Классической шкалой этого типа является шкала времени. По ней уже можно судить , на сколько один объект отличается от другого.

В квалиметрии экспертный метод применяют для сравнительной оценки качества объектов с использованием набора отдельных показателей качества этих объектов (единичных или  комплексных).

При использовании экспертного метода должны соблюдаться следующие условия:

- метод используется только в тех случаях, когда нет других, более объективных методов;

- необходимо исключить все факторы, влияющие на независимость и искренность мнений экспертов;

- вопросы для экспертов должны быть однозначными;

- эксперты должны быть компетентны в рассматриваемом вопросе;

- ответы экспертов должны быть однозначны и должны поддаваться математической обработке;

- количество ранжируемых факторов – не более 20 (оптимально – 10);

- количество экспертов должно быть оптимальным.

К экспертам предъявляются следующие требования:

-         креативность – способность к творчеству;

-         эвристичность – способность видеть неочевидное;

-         предикаторность – способность к предвидению;

-         независимость – непредубежденность, неподверженность «общему мнению»;

-         разносторонность – умение смотреть с разных точек зрения;

-         интуитивность – способность к неосознанным, но правильным решениям.

Численность группы экспертов должна превышать число оцениваемых факторов (показателей качества), но быть меньше общего возможного числа специалистов в рассматриваемой области. Практически она ограничена здравым смыслом, трудоемкостью измерений и конкретностью задачи (трудно найти много профессионалов в узкой области). В роли экспертов могут выступать как отдельные индивидуумы, так и коллективы.

Эффективность метода зависит от качества экспертов и согласованности их мнений. Не вдаваясь в детали методики оценки качества экспертов, отметим только показатели качества их работы. Основными из них являются тестирование, самооценка, взаимооценка, оценка надежности.

Тестирование – решение тестов с задачами, аналогичными предстоящей.

Самооценка – ответы в заданное время на специальную анкету, по которой они проверяют свои  профессиональные знания.

Взаимооценка – экспертная оценка по определенным показателям качества, когда в роли объекта выступает по очереди каждый из экспертов группы, а в роли экспертов – остальные члены этой же группы.

Надежность – определяют как отношение успешно проведенных экспертиз к их общему количеству для каждого эксперта.

Объективную и определенную оценку при групповой экспертизе можно получить только в том случае, если  мнения экспертов достаточно  согласованны.

Согласованность мнений в группе экспертов оценивают коэффициентом  конкордации  W.

Величина W может меняться от 0 до 1.

При построении ранжированного ряда (шкалы порядка) используют способ попарного сопоставления: параметры сначала сравнивают между собой попарно, выражая результат в форме «больше – меньше», «лучше – хуже». В дальнейшем ранжированный ряд подвергается математической обработке, позволяющей оценить «весомость» каждого параметра по его рангу.

В случае получения приемлемых результатов ранжирования (при согласованности мнений экспертов с заданной доверительной вероятностью) можно построить диаграмму рангов – столбчатый график с координатами «ранжируемые факторы – сумма рангов». Чем меньше сумма рангов данного фактора, тем выше его место на диаграмме. Поэтому шкала оси ординат (суммы рангов) имеет обратный порядок. Обычно значимыми признают факторы (показатели качества), сумма рангов которых не превышает половины интервала, нанесенного на ось ординат. Типовая диаграмма рангов приведена на рисунке 11.1.

Рисунок 11.1 – Типовая диаграмма рангов

Экспертной оценке могут быть подвергнуты любые объекты, для которых можно сформулировать ряд параметров – показателей качества (чаще всего – единичных). Этим же методом получают сравнительную оценку важности, значимости отдельных показателей качества одного объекта или оценивают степень влияния ряда факторов (причин) на определенный показатель качества продукции или параметр режима процесса. Методику экспертного анализа покажем на конкретном примере.

Пример. Экспертной оценке с метрологической точки зрения можно подвергнуть, например, качество технологической документации (карт эскизов, маршрутных или операционных карт техпроцессов, технологических инструкций, ведомостей оснастки, спецификаций технологических документов, методик измерений при контроле и испытаниях и т.п.). Выбранные единичные показатели качества документов ранжируют, например, по степени соответствия документа по этому показателю требованиям НД или НТД (ГОСТ, ОСТ, ТУ, СТП и пр.).

Метрологическую экспертизу технологической документации можно, например, провести по следующим показателям качества:

1.     Оптимальная номенклатура измеряемых параметров.

2.     Показатели точности измерений, обеспечивающие соблюдение оптимальных режимов техпроцесса.

3.     Правильность выбора средств и методик выполнения измерений.

4.     Возможность преимущественного применения универсальных, автоматизированных средств измерения для обеспечения требуемой точности и производительности контроля.

5.     Обеспечение применяемыми средствами измерения минимальной трудоемкости или себестоимости контроля при его заданной точности.

6.     Использование стандартных или  аттестованных методик измерений.

7.     Соответствие производительности средств измерения  и технологического оборудования.

8.     Целесообразность обработки результатов измерений с помощью вычислительной техники.

9.     Правильность обозначений и размерностей измеряемых величин.

10. Степень обеспечения безопасности труда при измерениях.

Методика оценки качества объекта  экспертным методом заключается в следующем.

1.     Сведите показатели качества (анализируемые параметры) в таблицу 11.1 с присвоением обозначения каждому из них:

Таблица 11.1- Показатели качества

2. Предложите каждому эксперту, работающему в группе, расположить в специальном бланке – анкете рангов (таблица 11.2) показатели в ранжированный ряд, присваивая каждому ранг в порядке увеличения их значимости (от меньшего к большему), например:

Таблица 11.2 – Анкета рангов

3. Составьте сводную таблицу 11.3 ранжированных рядов всех экспертов:

         Таблица 11.3 – Сводная анкета рангов

        n – количество экспертов

m –  количество показателей и максимальный ранг i-того показателя (равен их количеству,
i = 1…m)

Сумма рангов, присвоенная каждому показателю всеми экспертами, определяет его значимость -  «ранговую весомость».

4. Составьте и заполните левую часть обобщенной таблицы ранжирования (таблица 11.4), внеся в нее значения рангов для всех показателей.

Таблица 11.4 – Обобщенная таблица ранжирования

5. Проведите формальную проверку правильности расстановки рангов каждым экспертом: должно  выполняться равенство .

6. Подсчитайте среднее арифметическое сумм рангов G_i  как G_ср = åG_i / m.

7. Вычислите для каждого показателя его отклонение D_I от среднего G_ср, результаты занесите в таблицу 11.4.

8. Вычислите сумму квадратов отклонений D_I как S = åD_i² и занесите ее в таблицу 11.4.

9. Постройте по сумме рангов G_i  каждого показателя обобщенный ранжированный ряд, отражающий общее мнение всей группы экспертов.

10. Рассчитайте «весовую значимость» каждого показателя:

g_i = G_i / åG_i ;  проверка:  åg_i = 1.
11. Определите показатели групп связанных рангов (при их наличии)  ,

где t – количество связанных рангов в j-том ранжировании,

k – индекс группы связанных рангов в j-том ранжировании;

12. Вычислите суммарный показатель связанных рангов в j-том ранжировании как

где p – число групп связанных рангов в j-том ранжировании.

13. Определите согласованность мнений членов экспертной группы по общему для группы экспертов показателю качества ее работы  – коэффициенту конкордации:

14. Произведите оценку значимости коэффициента конкордации по критерию  X²  при заданных уровне значимости a и числе степеней свободы V. Для этого:

- вычислите величину X² как

;

-           сравните ее с табличным значением X²_табл для заданных a и V (приложение Д).

Если X² > X²_табл , W  - значим.

15. При удовлетворительной согласованности мнений экспертной группы  (W >0,75) составьте заключение о результатах экспертизы.

Если степень согласованности данной группы экспертов окажется неудовлетворительной, необходимо составить новую группу с более тщательным подбором ее членов и повторить экспертный анализ. В новую группу могут входить члены предыдущей.

Опыт использования экспертного анализа показывает, что с его помощью удается успешно решать весьма сложные, разноплановые  производственные      (и не только) проблемы. Основная трудность его применения заключается в правильном комплектовании группы экспертов. Весьма эффективным в этом отношении является привлечение сторонних специалистов в рассматриваемой области.