Количественная оценка информации
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
| Пример 3.1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 27 внешне неотличимых монет найти одну фальшивую, более легкую.
Общая неопределенность ансамбля U в соответствии с (3.3) составляет Одно взвешивание способно прояснить неопределенность ансамбля U', насчитывающего три возможных исхода (левая чаша весов легче, правая чаша весов легче, весы находятся в равновесии) Эта неопределенность Так как для определения фальшивой монеты достаточно произвести три взвешивания. Алгоритм определения фальшивой монеты следующий. При первом взвешивании на каждую чашку весов кладется по девять монет Фальшивая монета будет либо среди тех девяти монет, которые оказались легче, либо среди тех, которые не взвешивались, если имело место равновесие Аналогично, после второго взвешивания число монет, среди которых находится фальшивая, сократится до трех Последнее, третье, взвешивание дает возможность точно указать фальшивую монету Предложенная мера, как мы убедились, позволяет решать определенные практические задачи. Однако она не получила широкого применения, поскольку была рассчитана на слишком грубую модель источника информации, приписывающую всем его возможным состояниям одинаковую вероятность. Таким образом, степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора. Это позволяет сформулировать следующее требование к искомой мере неопределенности Н(р1 ... рi ... рN): она должна быть непрерывной функцией вероятностей состояний источника р1 ... pi ... рN с соблюдением условия I = 1. Наибольшее ее значение должно достигаться ι= 1 при равенстве вероятностей всех состояний. Кроме того, так как мера неопределенности связывается нами только с фактом выбора, а не с множеством конкретных значений наблюдаемых явлений, то Н(р1 … ρN) должна быть функцией от функции распределения случайной величины и не должна зависеть от ее конкретных значений. Иначе говоря, Η(ρ1...ρN) должна являться функционалом распределения вероятностей. Еще одно условие состоит в том, что мера неопределенности не должна зависеть от пути выбора состояния в ансамбле. Выбор может быть как непосредственным, так и многоступенчатым. В последнем случае неопределенность выбора состояния складывается из неопределенности выбора группы состояний и неопределенностей выбора состояния в каждой группе, рассчитанных с учетом вероятности выбора данной группы: где q1, q2 и q3, q4 — вероятности состояний, образующих соответственно группы Ν—1 и Ν, причем ρN-1 = q1 + q2 и pN-1 = q3 + q4. Мера неопределенности выбора дискретным источником состояния из ансамбля U, удовлетворяющая указанным условиям, была предложена американским ученым К. Шенноном [36]. Ее называют энтропией дискретного источника информации или энтропией конечного ансамбля: где С — произвольное положительное число. К. Шенноном высказано утверждение, а советским ученым Л. Я- Хинчиным математически строго доказано, что это единственный функционал, удовлетворяющий сформулированным условиям. Если снова ориентироваться на измерение неопределенности в двоичных единицах, то основание логарифма следует принять равным двум. Примем также С= 1. Из (3.5) Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (3.5) совпадает с энтропией физической системы, определенной ранее Больцманом. Согласно второму закону термодинамики энтропия H замкнутого пространства определяется выражением где Mn — число молекул в данном пространстве; mi — число молекул, обладающих скоростью I + . Так как mi/Мп есть вероятность того, что молекула имеет скорость i + Δ, то (3.7) можем записать в виде Совпадение имеет глубокий физический смысл, так как в обоих случаях величина H характеризует степень разнообразия состояний системы. Рассмотрим взаимосвязь меры К. Шеннона с мерой Хартли. Если в источнике может быть реализовано N равновероятных состояний, то вероятность каждого из них равна рi = (1/N)(1 i N) и неопределенность, по Хартли, приходящаяся на каждое состояние, выражается числом Будем теперь считать вероятности событий различными, а неопределенность, приходящуюся на одно конкретное состояние источника, характеризовать по аналогии величиной Эта частная неопределенность представляет собой случайную величину, зависящую от того, какое состояние источника в действительности реализуется. Усреднив по всему ансамблю U состояний источника, найдем неопределенность, приходящуюся в среднем на одно состояние: Следовательно, мера К. Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она позволяет учесть статистические свойства источника информации. жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|