Задача 4. Чему равно количество информации при получении 16 сообщений равномерного четырехзначного троичного кода?
Решение. Мощность кодового алфавита т=3. В коде они комбинируются по 4, т. е. n=4. Число сообщений такого кода N=тn=Зв4. Энтропия на одно сообщение Н = Iog2 N = 4 Iog2 3. Количество информации в 16 сообщениях I=16?4?log23=101,44 бита.
Задача 5. Определить энтропию экрана мобильного телефона, если его разрешение 320х240, а каждый пиксель может отображать один из 4096 цветов.
Решение: предположим, что цвета пикселей равновероятны и взаимонезависимы, тогда энтропия одного пикселя Hп=log24096=12 бит. Всего пикселей 320?240=76800, а энтропия всего экрана Нэ=76800*12=921 600 бит.
Задача 6. Опытный индивидуальный предприниматель знает, что 25% всех его документов составляют налоговые декларации. Для неопытного предпринимателя появление любого типа документа – равновероятно. Определите, какое количество информации получит опытный и неопытный предприниматели при получении налоговой декларации?
Решение: для неопытного предпринимателя появление налоговой декларации или любого документа – равновероятно, следовательно Iнеопыт=-0.5 log20.5 - 0.5 log20.5=1 бит. Опытный предприниматель заранее может предвидеть вероятность появления налоговой декларации, поэтому Iопыт=-0.25 log20.25 - 0.75 log20.75=0,5+0,3113=0,8113 бит.
Задача 7. Чему равна энтропия системы, состоящей из k взаимонезависимых подсистем, если:
1) каждая подсистема состоит из n элементов, каждый из которых с равной вероятностью может находиться в т состояниях;
2) подсистема S1 состоит из n1 элементов, подсистема S2 состоит из n2 элементов и т.д., подсистема Sk состоит из nk элементов, каждый из которых может с равной вероятностью находиться в т состояниях;
3) каждая подсистема состоит из разного количества элементов, которые с разной вероятностью могут находиться в одном из состояний? Под энтропией системы понимается неопределенность того, что система будет находиться в о дном из n возможных состояний.
Решение: 1) Находим энтропию одной подсистемы

Общая энтропия системы равна сумме энтропии отдельных подсистем

2) Определяем энтропию отдельных подсистем

Общая энтропия системы

3) Определяем энтропию на один элемент подсистемы

Определяем энтропию отдельных подсистем

Общая энтропия системы

Задача 8. Определить объем и количество информации в тексте «Широка страна моя родная», если для его передачи каждый символ заменяют 8 битами.
Решение: Число принятых символов, включая пробел, . Следовательно, объем передаваемой информации 24*8=192 бита. Количество информации: а) для равновероятного алфавита

б) для неравновероятного алфавита (в этом и подобных случаях энтропия первичного алфавита не высчитывается каждый раз, а берется энтропия русского алфавита)

Задача 9. Известно, что количество натуральных блондинов и рыжих год от года уменьшается. Так в 1980 году вероятность встретить рыжего человека на улице составляла 16%, натурального блондина 16%, русоволосого 36%, а брюнета 32%. А в 2010 году рыжие встречаются с вероятностью 4%, натуральные блондины с вероятностью 8%, русоволосые – 64%, а брюнеты ¬– 24%. В каком году было тяжелее верно угадать цвет волос случайного человека на улице?
Решение: из теории известно, что чем больше энтропия некоторой группы событий, то тем тяжелее верно угадывать наступление следующего события. Вычислим энтропию для двух указанных случаев.

Так как H1980>H2010, то угадать вероятность цвета волос случайного человека на улице было сложнее в 1980 году.