Пример 3.9.Найти источника информации, ансамбль состояний которого описывается нормально распределенной случайной величиной U с дисперсией при верности воспроизведения .
Будем считать, что заданная верность воспроизведения обусловлена действием аддитивной статистически не связанной с сигналом помехой Ξ, причем Μ [Ξ] =0 и Μ[Ξ ] = ε . Передаваемый сигнал u рассматриваем как сумму воспроизводящего сигнала z и помехи u=z+ .
Так как в данном случае в выражении (3.64) полностью определяется помехой
то
где h(Ξ) — дифференциальная энтропия помехи; ρ(ξ) — плотность распределения помехи Ξ.
Ранее [см. (3.41)] нами установлено, что при ограничении на дисперсию случайной величины максимальной дифференциальной энтропией обладает нормальное распределение. Поэтому в соответствии с (3.42) получаем
откуда
Так как σ определяет среднюю мощность Р сигнала, а ε — среднюю мощность ρ помехи Ξ, то выражение (3.65) характеризует зависимость эпсилон - энтропии от величины , называемой отношением сигнал/помеха.
При заданном отношении сигнал/помеха значение H (U) для нормально распределенной случайной величины является максимально возможным.
Для произвольно распределенной случайной величины U при том же критерии верности и малых ε [когда H (U) велико] справедливо приближенное равенство
Контрольные вопросы
1. В чем сущность требования аддитивности к мере неопределенности выбора?
2. Назовите основной недостаток меры неопределенности, предложенной Хартли.
3. В каких единицах измеряется неопределенность выбора?
4. Какие требования предъявляются к мере неопределенности выбора из дискретного ансамбля?
5. Охарактеризуйте сущность понятия энтропии.
6. Изложите основные свойства энтропии дискретного ансамбля.
7. Запишите выражение для условной энтропии и поясните ее смысл.
8. Как определить энтропию нескольких взаимозависимых ансамблей?
9. Какова особенность определения энтропии непрерывного источника информации?
10. Дайте определение дифференциальной энтропии и сформулируйте ее основные свойства.
11. Какие распределения обладают максимальной дифференциальной энтропией:
а) при ограничении на диапазон изменения случайной величины?
б) при ограничении на дисперсию случайной величины?
12. Как связаны между собой понятия количества информации и энтропии?
13. Чем различаются понятия частного и среднего количества информации?
14. Сформулируйте основные свойства количества информации.
15. Запишите выражения для определения количества информации при неполной достоверности передачи:
а) от дискретного источника;
б) от непрерывного источника.
16. В чем сущность эпсилон - энтропии случайной величины?
17. Охарактеризуйте среднеквадратический критерий верности воспроизведения.
18. Покажите, что при среднеквадратическом критерии верности воспроизведения эпсилон - энтропия максимальна для нормально распределенной случайной величины с ограниченной дисперсией.
