Количественная оценка информации
Передача информации от дискретного источника
жүктеу/скачать 410,5 Kb.
|
ÑнÑÑÐ¾Ð¿Ð¸Ñ 2
Шығын,Өнім бағасы, икемділік, Qкр-10есеп (1), Алкандар 1, Основы реферат, СРС1, 2. Тема 2, 1. Тема 1, Тмоги, 2 лекÑиÑ, 2 лекÑиÑ, Методические указания к семинарским занятиям и срсп для студенто, Неделя 5. СРО, 1. М дениет т сінігіні алыптасу тарихы м дениетті м нін ж не, 01 Naurzbayeva final, Саяси партиялар, Болат Дана 21-РТК-1, Кесте - ғалымдар
| Передача информации от дискретного источника. Выясним, насколько будет изменяться неопределенность относительно состояния источника сообщения при получении адресатом элемента сообщения с выхода канала связи. Алфавиты передаваемых и принимаемых элементов сообщения считаем идентичными.
Вследствие воздействия помех полученный элемент сообщения в общем случае отличается от переданного. Подчеркнем это различие. Обозначив принимаемые элементы сообщения другими буквами: . Априорная неопределенность (неопределенность до получения элемента сообщения) относительно состояния источника не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого опыта он знает вероятности их появления. Считая, что состояния источника реализуются независимо, априорная частная неопределенность появления элемента сообщения где — априорная вероятность появления элемента сообщения . Предполагаются также известными некоторые сведения относительно помехи в канале связи. Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей того, что вместо элемента сообщения , будет принят элемент сообщения . При получении конкретного элемента сообщения , адресату становится известным значение условной вероятности , называемой апостериорной (послеопытной) вероятностью реализации источником элемента сообщения . Это позволяет найти апостериорную частную неопределенность, остающуюся у адресата относительно выдачи источников элемента сообщения после получения конкретного элемента сообщения : Поскольку получение информации мы связываем с уменьшением неопределенности, естественно определить частное количество информации , получаемое при приеме элемента сообщения относительно некоторого реализованного источником элемента сообщения как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения (априорной и апостериорной): Анализ формулы (3.47) позволяет сделать следующие заключения: 1) частное количество информации растет с уменьшением априорной и увеличением апостериорной вероятностей реализации элемента сообщения источником, что находится в полном соответствии с нашими интуитивными представлениями; 2) частное количество информации об элементе сообщения может быть не только положительным, но и отрицательным, а также нулем, что зависит от соотношения априорной и апостериорной вероятностей. Если вероятность того, что источником был реализован элемент сообщения увеличилась после приема элемента сообщения , т. е. > , то полученное частное количество информации положительно. Если эта вероятность не изменилась, т. е. = , то имевшая место неопределенность тоже не изменилась и частное количество информации равно нулю. Наконец, случай < соответствует увеличению неопределенности относительно реализации после получения элемента сообщения , и, следовательно, частное количество информации отрицательно; 3) в случае отсутствия помехи апостериорная вероятность = 1. При этом частное количество информации численно совпадает с частной априорной неопределенностью реализации данного элемента сообщения : Это максимальное частное количество информации, которое можно получить об элементе сообщения ; 4) частное количество информации относительно реализации источником элемента сообщения , содержащееся в принятом элементе сообщения , равно частному количеству информации относительно , содержащемуся в элементе сообщения : Хотя имеют место случаи, где важно оценить частное количество информации , для задач анализа и оптимизации функционирования информационных систем более рациональны усредненные характеристики, отражающие статистические свойства источника информации и канала связи. Найдем среднее количество информации, содержащееся в любом принятом элементе сообщения относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, имеющаяся у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Ее называют априорной энтропией источника. Средняя неопределенность относительно любого состояния источника, остающаяся у адресата после получения конкретного элемента сообщения , характеризуется частной условной энтропией : Это случайная величина, зависящая от того, какой конкретно элемент сообщения принят. Средняя неопределенность по всему ансамблю принимаемых элементов сообщений равна условной энтропии источника : или Эту условную энтропию называют апостериорной энтропией источника информации. Таким образом, при наличии помех среднее количество информации, содержащееся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропии источника: Представив априорную и апостериорную энтропии соответственно выражениями (3.6) и (3.50) и проведя несложные преобразования, получим формулу для количества информации непосредственно через вероятности: Если частный характер количества информации специально не оговаривается, мы всегда имеем дело с количеством информации, приходящимся в среднем на один элемент сообщения. Поэтому указание об усреднении опускается. жүктеу/скачать 410,5 Kb. Достарыңызбен бөлісу:
|