" Предмет и основные понятия информатики"
жүктеу/скачать 64,8 Kb.
|
barvenov 5 (1)
- Бұл бет үшін навигация:
- Кол- во двоичных разрядов ( i ) Кол-во состояний, которое можно
Например:Десятичное 13=1·23+1·22+0·21+1·20=1101 в двоичной системе. Десятичное 65=4·161+1·160=41 в шестнадцатеричной системе. Шестнадцатеричное 15AF=1·163+5·162+A·161+F·160=4096+1280+160+15=5551 в десятичной системе. Рассмотрим множество, состоящее из чисел в двоичной системе счисления длиной i двоичных разрядов. При этом каждый из разрядов может принимать значения только 0 и 1:
Рассмотрим процесс выбора чисел из рассмотренного множества. До выбора вероятность выбрать любое число одинакова. Существует объективная неопределенность в вопросе о том, какое число будет выбрано. Эта неопределенность тем больше, чем больше N — количество чисел, а чисел тем больше — чем больше разрядность i этих чисел. Примем, что выбор одного числа дает нам следующее количество информации: i = Log2(N). Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе. Это выражение и представляет собой формулу Хартли для количества информации. При увеличении длины числа в два раза количество информации в нем также должно возрасти в два раза, несмотря на то, что количество чисел во множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), т.е. если N2=(N1)2, то I2 = 2 * I1, F(N1*N1)= F(N1) + F(N1). Это невозможно, если количество информации выражается линейной функцией от количества элементов во множестве. Но известна функция, обладающая именно таким свойством: это Log: Log2(N2) = Log2(N1)2= 2 * Log2(N1). Это второе требование называется требованием аддитивности. Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к такому представлению меры информации на основе эвристических соображений, подобных только что изложенным. Но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий. Минимальное количество информации получается при выборе одного из двух равновероятных вариантов. Это количество информации принято за единицу измерения и называется бит (от англ. binary digit — двоичная цифра, то есть два возможных значения). жүктеу/скачать 64,8 Kb. Достарыңызбен бөлісу:
|