|
1. Формулы, необходимыедля решения задач
Общее число неповторяющихся сообщений,
которое может быть составлено из алфавита мощности m путем комбинирования
по n символов в сообщении,
Энтропия символа исходного алфавита, составленного
из равновероятных и взаимонезависимых символов,
Так как информация есть неопределенность,
снимаемая при получении сообщения, то количество информации может быть
пpедставлено как произведение общего числа сообщений k на среднюю энтропию
Н, приходящуюся на одно сообщение:
Для неравновероятных алфавитов энтропия на символ алфавита
а количество информации в сообщении,
составленном из k неравновероятных символов,
При решении задач, в которых энтропия
вычисляется как сумма произведений вероятностей на их логарифм,
вероятности всегда должны представлять группу полных событий, независимо
от тога, являются ли они безусловными р(аi), условными р(аi/bi) или
вероятностями совместных событий р(аi/bi).
Для упрощения вычислений при решении задач ниже приведены таблица
значений величин –p Log2p и таблица двоичных логарифмов целых чисел.
|