Количественная оценка информации
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
| Пример 3.2. Сравнить неопределенность, приходящуюся на букву источника информации u (алфавита русского языка), характеризуемого ансамблем, представленным в табл. 3.1, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Таблица 3.1 При одинаковых вероятностях появления всех 32 букв алфавита неопределенность, приходящаяся на одну букву, составляет Энтропию источника, характеризуемого заданным ансамблем (табл. 3.1), находим, используя формулу (3.6): Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4.42 дв. ед. § 3.2 СВОЙСТВА ЭНТРОПИИ Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются. 1. Энтропия является вещественной и неотрицательной величиной, так как для любого i(1 ) рi изменяется в интервале от 0 до 1, log pi отрицателен и, следовательно, — pi log pi положительна. 2. Энтропия — величина ограниченная. Для слагаемых - pi log pi в диапазоне 0<рi 1 ограниченность очевидна. Остается определить предел, к которому стремится слагаемое — pi log pi, при рi—>0, поскольку — log pi при этом неограниченно возрастает: Обозначив = 1/рi и воспользовавшись правилом Лопиталя, получим 3. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это положение соответствует случаю, когда состояние источника полностью определено. 4. Энтропия максимальна, когда все состояния источника равновероятны, что легко доказывается методом неопределенных множителей Лагранжа [23]: 5. Энтропия источника и с двумя состояниями u1 и u2 изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей: График зависимости H(U) в функции ρ приведен на рис. 3.1. При ρ « (1- р)частная неопределенность, приходящаяся на состояние u1, велика, однако такие состояния источника весьма редки. Состояния u2 реализуются часто, но неопределенность, приходящаяся на такое состояние, очень мала. Поэтому энтропия, характеризующая среднюю неопределенность на одно состояние ансамбля, также мала. Аналогичная ситуация наблюдается при р » (1—р)· Отметим, что энтропия непрерывно зависит от вероятностей отдельных состояний, что непосредственно вытекает из непрерывности функции - p log p. 6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропии исходных источников. Не теряя общности, ограничимся рассмотрением объединения, включающего два источника информации u и . Под объединением двух источников u и понимают обобщенный источник информации (u,), характеризующийся вероятностями p(uii) всех возможных комбинаций состояний ui, источника u и i, источника . Аналогично трактуется и объединение ансамблей. В соответствии с определением энтропия объединения здесь p(uii) — вероятности совместной реализации состояний В случае статистической независимости источников информации u и υ запишем тогда Учитывая, что получим Соответственно для энтропии объединения нескольких независимых источников u, , z имеем В дальнейшем для придания общности получаемым результатам о неопределенности выбора будем говорить в основном применительно к математическим моделям источников информации в виде ансамблей. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее определении используют только вероятности состояний, полностью игнорируя их содержательную сторону. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства, приводящего к полному выздоровлению больных в 90 % случаев и улучшению самочувствия в остальных 10 % случаев, она получится такой же, как и у лекарства, вызывающего в 90 % случаев смерть, а в 10 % — ухудшение состояния больных. 8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя. Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции ровно настолько, насколько уменьшается энтропия. жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|