Есептеу техникасы және программалық қамсыздандыру мамандығы үшiн



бет4/20
Дата28.01.2018
өлшемі2,55 Mb.
#35381
1   2   3   4   5   6   7   8   9   ...   20

(3) теңдеу хабарламадағы ақпараттың орташа санын өрнектейді.
Энтропия хабарламаның анықталамаған мөлшері ретінде
Хабарламаны алу нәтижесінде ақпаратты алудың міндетті шарты қандай хабарлама берілетіндігі анықталмаған болып табылады.

Бұл жағдайда хабарламаны беру нәтижесіндегі, ақпарат саны неғұрлым көп болса соғұрлым анықталмағандық та көп болады.

Ақпаратты алу механизімін қарастырайық:

БЕРГЕНГЕ ДЕЙІНГІ АНЫҚТАЛМАҒАНДЫҚ

БЕРГЕННЕН КЕЙІНГІ АҚПАРАТ

Сонымен, Шеннон бойынша анықталмағандық–ол энтропия. Н міндеті.



H(xi) = log 1/p(xi). (4)

. (5)

Энтропия және ақпарат теңдеуі ұқсайды, бірақ мәні әр-түрлі. Энтропия-априорлық сипаттама (бергенге дейін), ақпарат-апостериорлық сипаттама (бергеннен кейін).

Берілгендерді беруді жоғалтусыз қарастырсақ, онда мынаны аламыз

ЭНТРОПИЯ АҚПАРАТ

БЕРГЕНГЕ ДЕЙІН h(x) 0

БЕРГЕННЕН КЕЙІН 0 I(X)=H(X)

Ақпаратты кодттау сапасы энтропиямен анықталады:

h(x)maxкодттаудың ең жақсы әдісі;

h(x)min – кодттаудың ең нашар әдісі.

Ақпарат екі әдәспен кодтталады:



h1(x) = 5 бит/символ; h2(x) = 2 бит/символ.

Кодттаудың бірінші әдәсә жақсы.

Оптималды кодттау әр элементтің ұлғаюына бағытталуы тиіс.

Энтропияның негізгі қасиеттері

Қандай жағдайларда энтропия ең үлкен және ең кіші шаманы қабылдайтынын қарасиырайық.

Екілік хабарламаны беру Х пайда болу ықтималдылығы p (x1) және p (x2) екі элементтен тұрады делік x1, x2.

p (x1) =1, p (x2) =0 болған кездегі жағдайды қарастырацһйық.



Мұнда =1/p(x2) белгіленуі енгізілген, ал анықталмағандық Лапиталия ережесімен ашылды. Энтропия минималды және 0 тең, егер, элементтердің біреуі 1 тең ықтималдылығы пайда болатын болса.



p (x1) = p (x2) = 0,5 жағдайды қарастырайық.

Энтропия максималды және 1 тең.



Екілік символ үшін Hmax = 1бит/дв.символ.



Алынған нәтиже n-элементтерінен шығатын x1, x2,..., xn-1, xn Х хабарламасында талдап қорытындыланылады.

hmin(X) =0 кезінде p(xi) = 1, p(xj) = 0, i  j.

p(x1)= p(x2)= .... =p(xn-1)= p(xn) кезінде.

Ізінше, оптималды кодттау үшін элементтердің пайда болу ықтималдылығын теңестіру қажет.
6 тақырып


Каталог: ebook -> umkd
umkd -> Мамандығына арналған Сұлтанмахмұттану ПӘнінің ОҚУ-Әдістемелік кешені
umkd -> Қазақстан Республикасының
umkd -> Қазақстан Республикасының
umkd -> Студенттерге арналған оқу әдістемелік кешені
umkd -> ПӘннің ОҚУ Әдістемелік кешені 5В011700 «Қазақ тілі мен әдебиеті» мамандығына арналған «Ұлы отан соғысы және соғыстан кейінгі жылдардағы қазақ әдебиетінің тарихы (1941-1960)» пәнінен ОҚытушыға арналған пән бағдарламасы
umkd -> «Балалар әдебиеті» пәніне арналған оқу-әдістемелік материалдар 2013 жылғы №3 басылым 5 в 050117 «Қазақ тілі мен әдебиеті»
umkd -> ПӘннің ОҚУ-Әдістемелік кешенінің
umkd -> 5 в 011700- Қазақ тілі мен әдебиеті
umkd -> 5 в 011700- Қазақ тілі мен әдебиеті
umkd -> «Филология: қазақ тілі» мамандығына арналған


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   ...   20




©www.engime.org 2024
әкімшілігінің қараңыз

    Басты бет