Количественная оценка информации
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
| Пример 3.4. Определить энтропии Н(U), H(V), Η(U), H(UV), если задана матрица вероятностей состояний системы, объединяющей источники u и :
Вычисляем безусловные вероятности состояний каждой системы как суммы совместных вероятностей по строкам и столбцам заданной матрицы: Определяем условные вероятности Пример 3.5. Известны энтропии двух зависимых источников: H(U) = 5 дв. ед., H(V) = 10 дв. ед. Определить, в каких пределах будет изменяться условная энтропия Ηυ(V) при изменении HV(U) в максимально возможных пределах. При решении удобно использовать графическое отображение связи между этропиями. Из рис. 3.3. видим, что максимального значения Hu(V) достигает при отс утствии взаимосвязи и будет равно H(V), т.е. 10 дв. ед. По мере увеличения взаимосвязи Нu(V) будет уменьшаться до значения H(V) — H(U) = 5 дв. ед. При этом HV(U) = 0. § 3.4. ЭНТРОПИЯ НЕПРЕРЫВНОГО ИСТОЧНИКА ИНФОРМАЦИИ (ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ) В предыдущих параграфах была рассмотрена мера неопределенности выбора для дискретного источника информации. На практике мы в основном встречаемся с источниками информации, множество возможных состояний которых составляет континуум. Такие источники называют непрерывными источниками информации. Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передается и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телефонной связи и телевидения. Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику. Во-первых, значения, реализуемые источником, математически отображаются непрерывной случайной величиной. Во-вторых, вероятности значений этой случайной величины не могут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю. Е стественно, однако, связывать неопределенность выбора значения непрерывной случайной величины с плотностью распределения вероятностей этих значений. Учитывая, что для совокупности значений, относящихся к любому сколь угодно малому интервалу непрерывной случайной величины, вероятность конечна, попытаемся найти формулу для энтропии непрерывного источника информации, используя операции квантования и последующего предельного перехода при уменьшении кванта до нуля. С этой целью разобьем диапазон изменения непрерывной случайной величины U, характеризующейся плотностью распределения вероятностей р(u), на конечное число n малых интервалов шириной Δu (рис. 3.4). При реализации любого значения u, принадлежащего интервалу ( ), будем считать, что реализовалось значение дискретной случайной величины U. Поскольку Δu мало, вероятность реализации значения u из интервала : Тогда энтропия дискретной случайной величины Ữ может быть записана в виде: или Так как то По мере уменьшения Δu все больше приближается к вероятности , равной нулю, а свойства дискретной величины Ữ — к свойствам непрерывной случайной величины U. Переходя к пределу при Δu→0, получаем следующее выражение для энтропии H(U) непрерывного источника: или Эта величина при Δu→0 стремится к бесконечности, что полностью соответствует интуитивному представлению о том, что неопределенность выбора из бесконечно большого числа возможных состояний (значений) бесконечно велика. Первый член в правой части соотношения (3.31) имеет конечное значение, которое зависит только от закона распределения непрерывной случайной величины U и не зависит от шага квантования Δu. Он имеет точно такую же структуру, как энтропия дискретного источника. Второй член того же соотношения, наоборот, зависит лишь от шага квантования случайной величины U. Именно в нем кроется причина того, что величина H(U) обращается в бесконечность. К использованию и трактовке соотношения (3.31) для получения конечной характеристики информационных свойств непрерывного источника известны два подхода. Один подход состоит в том, что в качестве меры неопределенности непрерывного источника принимают первый член соотношения (3.31): Поскольку для определения этой величины используется только функция плотности вероятности, т. е. дифференциальный закон распределения, она получила название относительной дифференциальной энтропии или просто дифференциальной энтропии непрерывного источника информации (непрерывного распределения случайной величины U). Ее можно трактовать как среднюю неопределенность выбора случайной величины U с произвольным законом распределения по сравнению со средней неопределенностью выбора случайной величины U', изменяющейся в диапазоне, равном единице, и имеющей равномерное распределение. Действительно, запишем соотношение (3.31) для случайной величины U', равномерно распределенной в интервале δ: При δ=1 откуда при Δu=Δu' Аналогично, используя операции квантования и предельного перехода, найдем выражение для условной энтропии непрерывного источника информации: Отметим, что второй член в первой части выражения (3.33) идентичен соответствующему члену в соотношении (3.31). Обозначим первый член правой части выражения (3.33) через h (U): Эта величина конечна и называется относительной дифференциальной условной энтропией или просто дифференциальной условной энтропией непрерывного источника. Она характеризует неопределенность выбора непрерывной случайной величины U при условии, что известны результаты реализации значений другой статистически связанной с ней непрерывной случайной величины V, и по сравнению со средней неопределенностью выбора случайной величины U', изменяющейся в диапазоне, равном единице, и имеющей равномерное распределение вероятностей. При втором подходе к использованию соотношения (3.31) для количественного определения информационных свойств непрерывного источника информации предлагается принять во внимание практическую невозможность обеспечения бесконечно высокой точности различения определенных значений непрерывной величины U. Поэтому все бесконечное число значений U в пределах заданной точности измерений следует рассматривать как одно значение. Из средней неопределенности выбора источником u некоторого значения в этом случае необходимо вычесть среднюю неопределенность того же источника, полученную при условии, что мы знаем результаты определения U с некоторой определенной точностью ε. Тогда информационные свойства непрерывного источника будут оцениваться разностью безусловной и условной энтропий, определяемых соотношениями (3.31) и (3.33) соответственно. Такая разность, как будет показано в § 3.5, является мерой снятой неопределенности, называемой количеством информации. Таким образом, при втором подходе безусловная и условная энтропии непрерывного источника рассматриваются лишь как некоторые вспомогательные величины, с помощью которых можно определить количество информации. Соотношение между понятиями энтропии и количества информации для непрерывного источника информации подобно соотношению между потенциалом, определенным с привлечением понятия бесконечности, и напряжением, определенным как разность потенциалов. Поскольку вторые члены в правых частях соотношений (3.31) и (3.33) одинаковы, разность безусловной и условной энтропий непрерывного источника информации равна разности дифференциальных безусловной и условной энтропий того же источника, причем относительность их уже несущественна, так как разность не зависит от стандарта, с которым они сравнивались. § 3.5. СВОЙСТВА ДИФФЕРЕНЦИАЛЬНОЙ ЭНТРОПИИ 1. Дифференциальная энтропия в отличие от энтропии дискретного источника является относительной мерой неопределенности. Ее значение зависит от масштаба случайной величины U, а следовательно, и от выбора единицы ее измерения. Изменим масштаб случайной величины U, например, в k раз, оставив неизменным масштаб равномерно распределенной в единичном интервале случайной величины U', принятой за эталон. Если то . Тогда Если одновременно изменить масштаб величины U', то относительная неопределенность также изменится, так как значение эталона будет уже иным. Из относительности дифференциальной энтропии следует, что энтропия может принимать положительные, отрицательные и нулевые значения. 2. Дифференциальная энтропия не зависит от конкретных значений случайной величины U и, в частности, от изменения всех ее значений на постоянное. Действительно, масштаб U при этом не меняется и справедливо равенство 3. Какие же непрерывные распределения обладают максимальной дифференциальной энтропией? а. Если единственным ограничением для случайной величины U является область ее возможных значений [α, β], то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области. При доказательстве решается задача определения плотности распределения р(u), обеспечивающей максимальное значение функционала при ограничении Используя, например, метод неопределенных множителей Лагранжа, получим Нетрудно убедиться в том, что найденная функция р(u) обеспечивает максимум функционала h(U), причем б. Если ограничения на область значений непрерывной случайной величины U отсутствуют, но известно, что дисперсия ее ограничена, то максимальной дифференциальной энтропией обладает нормальное распределение величины U. При доказательстве решается задача определения функции р(u), обеспечивающей максимальное значение функционала при ограничениях где σ — среднеквадратическое отклонение от математического ожидания Ū =0 (σ — заданное ограничение). Искомую плотность распределения р(u) находят, например, методом неопределенных множителей Лагранжа. Она оказывается гауссовской: Вычислив функционал (3.40) для этого распределения, получим значение максимальной дифференциальной энтропии . В двоичных единицах неопределенности Поскольку в информационных системах сигнал, описываемый случайной величиной U, часто представляет собой электрическое напряжение (или ток), дисперсия U пропорциональна средней мощности сигнала. Тогда в соответствии с (3.41) можно утверждать, что при заданной мощности наибольшей средней неопределенностью выбора будет обладать источник, генерирующий сигналы, амплитуды которых распределены по нормальному закону. 4. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников: где Справедливость соотношения (3.43) легко проверить подстановкой выражения (3.32), заданного для h(V), и выражения (3.34) —для . Так как то причем равенство имеет место только в случае отсутствия статистической связи между U и V. жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|