Этот подход мы рассматриваем отдельно потому, что по своим свойствам он достаточно универсален. Кроме оценки (восстановления) распределений, он позволяет попутно решать задачу таксономии, оптимизированного управления последовательной процедурой измерения признаков, даже если они статистически зависимы, облегчает оценку информативности признаков и решение некоторых задач анализа экспериментальных данных.
В основе метода лежит предположение о том, что неизвестное (восстанавливаемое) распределение значений признаков каждого образа хорошо аппроксимируется смесью базовых распределений достаточно простого и заранее известного вида
где 
– множество (вектор) параметров 
-го базового распределения, 
– весовые коэффициенты, удовлетворяющие условию 
. Чтобы не загромождать формулу, в ней опущен индекс номера образа, который
описывается данным распределением значений признаков.
Представление неизвестного распределения в виде ряда используется, например,
в методе потенциальных функций. Однако там 
являются элементами полной ортогональной системы функций. С одной стороны,
это хорошо, потому что вычисление 
первых значений 
гарантирует минимум среднеквадратического отклонения восстановленного
распределения от истинного. Но с другой стороны, 
не являются распределениями, могут быть знакопеременными, что при
, как правило, приводит к неприемлемому эффекту, когда для некоторых
значений 
восстановленное распределение 
является отрицательным. Попытки избежать этого эффекта далеко
не всегда являются успешными. Этого недостатка лишён рассматриваемый подход,
когда искомое распределение представлено смесью базовых. При этом 
называют распределениями компонент смеси, а 
и
– её параметрами. У этого подхода при очевидных достоинствах имеются
недостатки. В частности, решение задачи оценки параметров смеси является, вообще
говоря, многоэкстремальным, и нет гарантий, что найденное решение находится
в глобальном экстремуме, если исключить неприемлемый на практике полный перебор
вариантов разбиения смеси на компоненты.
Такие понятия, как “смесь”, “компонента” обычно используются при решении задач
таксономии, но это не является помехой для описания в виде смеси достаточно
общего вида распределения значений признаков того или иного образа. Аппроксимационный
метод является как бы промежуточным между параметрическим и непараметрическим
оцениванием распределений. Действительно, по выборке приходится оценивать значения
параметров
и
, и в то же время вид закона распределения заранее неизвестен, на него
наложены лишь самые общие ограничения. Например, если компонента – нормальный
закон, то плотность вероятности
не должна обращаться в нуль при всех
и быть достаточно гладкой. Если компонента – биномиальный закон,
то
может быть практически любым дискретным распределением.
Вместе с тем параметры смеси определить классическими методами параметрического
оценивания (например, методом моментов или максимума функции правдоподобия)
не представляется возможным за редкими исключениями (частными случаями). В связи
с этим целесообразно обратиться к методам, используемым при решении задач таксономии.
В качестве компонент удобно использовать биномиальные законы для дискретных признаков и нормальные плотности вероятностей для непрерывных признаков, так как свойства и теория этих распределений хорошо изучены. К тому же они, как показывают практические приложения, в качестве компонент достаточно адекватно описывают весьма широкий класс распределений.
Нормальный закон, как известно, характеризуется вектором средних значений признаков
и матрицей ковариаций. Особое место в ряде задач занимают нормальные законы
с диагональными ковариационными матрицами (в компонентах признаки статистически
независимы). При этом удаётся оптимизировать последовательную процедуру измерения
признаков, даже если в восстановленном распределении
признаки зависимы. Рассмотрение этого вопроса выходит за рамки курса.
Интересующиеся могут обратиться к рекомендованной литературе [2].
Для облегчения понимания аппроксимационного метода будем рассматривать упрощённый вариант, а именно: одномерные распределения.
Итак,
|
где |
|
– вектор параметров базового распределения (компоненты),
– весовой коэффициент 
-й компоненты,
– математическое ожидание
-й нормальной компоненты,
– среднеквадратическое отклонение
-й нормальной компоненты,
– параметр
-й биномиальной компоненты,
– число градаций дискретного признака,
– число сочетаний из 
по 
.
При достаточно большом
вместо биномиального закона можно использовать нормальный.
Теперь предстоит оценить значения параметров. Если рассматривать смесь нормальных законов, то следует отметить, что метод максимума правдоподобия неприменим, когда все параметры смеси неизвестны. В таком случае можно воспользоваться разумно организованными итерационными процедурами. Рассмотрим одну из них.
Для начала зафиксируем
, то есть будем считать его заданным. Каждому объекту 
выборки поставим в соответствие апостериорную вероятность 
принадлежности его
-й компоненте смеси:
Легко видеть, что для всех 
выполняются условия 
и 
. Если известны
для всех 
, то можно определить 
методом максимума правдоподобия 
.
Функцию правдоподобия
-й компоненты смеси определим следующим образом 
, и оценки максимального правдоподобия
можно получить из уравнения 
Таким образом, зная
и
, можно определить
, и наоборот, зная
, можно определить
и 
, то есть параметры смеси. Но ни то, ни другое неизвестно. В связи с
этим воспользуемся следующей процедурой последовательных приближений:
где 
, 
– произвольно заданные начальные значения параметров смеси, верхний
индекс – номер итерации в последовательной процедуре вычислений.
Известно, что эта процедура является сходящейся и при 
пределом служат оценки неизвестных параметров 
смеси, дающие максимум функции правдоподобия
,
причём 
и 
стремится к нулю при 
.
Для одномерного нормального закона
.
Решая уравнение 
и 
, получим для 
-го шага 
, 
После завершения последовательной процедуры вычисляются
. Соответствующие вычислительные формулы для многомерных нормальных распределений
можно найти в работе [2].
Получаемые в результате рассмотренной последовательной процедуры значения параметров являются оценками максимального правдоподобия как относительно каждой компоненты, так и относительно смеси в целом.
Если 
имеет несколько максимумов, то итерационный процесс в зависимости от
заданных начальных значений
сходится к одному из них, не обязательно глобальному. Преодолеть этот
недостаток, присущий практически всем методам оценок параметров многомерных
распределений (по крайней мере, смесей) достаточно сложно. В частности, можно
повторить последовательную процедуру несколько раз при различных
и выбрать наилучшее из решений. Выбор различных
осуществляют либо случайным образом, либо с помощью различного рода
направленных процедур. Скорость сходимости 
к максимуму тем выше, чем сильнее разнесены компоненты в признаковом
пространстве и чем ближе выбранные
к значениям
, соответствующим максимуму функции правдоподобия.
Мы рассмотрели метод оценки параметров смеси при фиксированном числе компонент
. Но в аппроксимационном методе и
следует определить, оптимизируя какой-либо критерий. Предлагается следующий
подход. Оцениваются последовательно параметры 
при 
. Из полученного ряда 
выбирается в некотором смысле лучшее значение 
.
Воспользуемся мерой неопределённости К. Шеннона 
для поиска
:
где
– энтропия распределения 
,
– знак математического ожидания,
– плотность вероятности значений непрерывных признаков.
При последовательном увеличении значений
имеют место две тенденции:
· уменьшение
энтропии за счёт разделения выборки на части с уменьшающимся разбросом значений
наблюдаемых величин 
внутри подвыборок (компонент смеси);
· увеличение
энтропии за счёт уменьшения объёма подвыборок и связанным с этим увеличением
статистик, характеризующих разброс значений
.
Наличие этих двух тенденций обуславливает существование
по критерию наименьшего значения дифференциальной энтропии (рис. 23).
Чтобы использовать на практике этот критерий, необходимо в явном виде выразить
оценку компонент смеси через объём подвыборки, формирующей эту компоненту. Такие
соотношения получены для нормальных и биномиальных распределений. Для простоты
рассмотрим одномерное нормальное распределение. Воспользуемся его байесовской
оценкой
где
– область определения 
,
– область определения 
,
– выборочные оценки
и
.
В соответствии с формулой Байеса
Рис. 23. Иллюстрация тенденций, формирующих 
Если априорное распределение 
неизвестно, то целесообразно использовать равномерное распределение
по всей области 
Опустив все выкладки, которые приведены в работе [2], сообщим лишь, что получается
распределение, не являющееся гауссовым, но асимптотически сходящееся к нему
(при 
). Среднее значение 
равно среднему значению, определённому по выборке, а дисперсия равна
выборочной дисперсии 
, умноженной на коэффициент 
Можно показать, что 
хорошо аппроксимируется нормальным законом с математическим ожиданием,
равным 
– выборочному среднему, и дисперсией, равной выборочной дисперсии
, умноженной на 
. Как видно из формулы,
стремится к единице при
, возрастает с уменьшением 
и накладывает ограничения на объём выборки 
(рис. 24).
Рис. 24. Зависимость поправочного коэффициента b
от объёма выборки N
Таким образом, нам удалось в явной форме выразить зависимость параметров компонент
смеси от объёма подвыборок, что, в свою очередь, позволяет реализовать процедуру
поиска
.
Объём подвыборки для q-й компоненты смеси определяется по формуле
.
Итак, рассмотрен вариант оценки параметров смеси. Он не является статистически строго обоснованным, но все вычислительные процедуры опираются на критерии, принятые в математической статистике. Многочисленные практические приложения аппроксимационного метода в различных предметных областях показали его эффективность и не противоречат ни одному из допущений, изложенных в данном разделе.
Более подробное и углублённое изложение аппроксимационного метода желающие могут найти в рекомендованной литературе [2], [4].
– для непрерывных признаков,
– для дискретных признаков,