Теория кодирования    

1.      Формулы, необходимыедля решения задач

 

 

 

 

Общее число неповторяющихся сообщений, которое может быть составлено из алфавита мощности m путем комбинирования по n символов в сообщении,

Энтропия символа исходного алфавита, составленного из равновероятных и взаимонезависимых символов,

Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть пpедставлено как произведение общего числа сообщений k на среднюю энтропию Н, приходящуюся на одно сообщение:

Для неравновероятных алфавитов энтропия на символ алфавита

а количество информации в сообщении, составленном из k неравновероятных символов,

При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, вероятности всегда должны представлять группу полных событий, независимо от тога, являются ли они безусловными р(аi), условными р(аi/bi) или вероятностями совместных событий р(аi/bi).
Для упрощения вычислений при решении задач ниже приведены таблица значений величин –p Log2p и таблица двоичных логарифмов целых чисел.