Есептеу техникасы және программалық қамсыздандыру мамандығы үшiн


Элементтер арасында статикалық байланыс болған кездегі дискретті хабарлама энтропиясы



бет5/20
Дата28.01.2018
өлшемі2,55 Mb.
#35381
1   2   3   4   5   6   7   8   9   ...   20

Элементтер арасында статикалық байланыс болған кездегі дискретті хабарлама энтропиясы

Егер xi элементінің пайда боу ықтималдылығы, алдында болған элементке xi-1 тәуелді болса элементтер арасында статикалық байланыс орны болады.

Статикалық байланыс қос көрші элементтерді (сонмен қатар бір байланысты Марков) қамтуы мүмкін, көрші элементтер үштігі (Марковтың екі байланысты сымы),..., n+1-көрші элементтерден (n – Марковтың байланысқан сымы, n ).

Барлық нақты хабарлама n- Марковтың байланысқан сымы болып табылады.

Х хабарламасын x1, x2, ...., xn элементтерінен қарастырайық, , Марковтың бір байланысты сымынан тұратын қос көрші элементтері статикалық байланыста тұр делік.

p(xi/xj)- xi элементінің пайда болу ықтималдылығы деп белгілейік, xj (j=i-1) алдында болған элемент. x1 =1 немесе 0, x2 = 0 немесе 1болсын, онда келесі жағдайлар болуы мүмкін

p(0/0) p(0/1)

p(1/0) p(1/1) .



Энтропия H*(xi) = log 1/( p(xi/xj)). xi орташалап p(xi/xj) және xj есепке ала отырып p( xj) Марков сымының бірбайланысты орташа шама энтропиясын аламыз:

. (*)

Рассмотрим выражение (*) өрнегін екі шекті жағдай үшін қарастырамыз.



xi жіне xj бір-біріне тәуелді емес, яғни p(xi/xj) = p(xi) және

xi жәнеи xj элементтері арасында толық функционалдық тәуелділік бар, яғни p(xi/xj) = 0 немесе 1 және онда H*(X) = 0.

Сол бейнеде 0  H*(X)  H(X). (**)

Ізінше элементтер арасында статикалық байланыстың болуы хабарлама энтропиясын кемітеді, неғұрлым көп дәрежеде болса соғұрлым көрші элементтер статикалық байланыспен қамтылған.

Орыс тілінде хабарлама беруді мысал ретінде қарастырайық. Егер ё және е , ь және ъ арасындағы айырмашылықты байқамасақ және арасында ашық жер болуы қажет болса 32 символ болу керек. Максималды энтропия қандай? Символдар арасындағы тәуелділікті және тең ықтималдылық шартының энтропиясы орташа

Hmax = lb 32 = 5 бит/символ.

Орыс тілінде символдардың пайда болуы тең ықтималды емес. Егер символдар арасындағы айырмашылықты ескерсек, онда

H1 = 4,39 бит/символ.

Екі символдар арасындағы статикалық байланыс энтропиясының азаятынын ескерсек

H2 = 3,52 бит/символ (Марковтың бір байланысты сымы),

Үш символдар арасында – шамаға дейін

H3 = 3,05 бит/символ (Марковтың екі байланысты сымы),

......................

сегіз символдар арасында –шамаға дейін

H8 = 2 бит/символ (Марковтың жеті байланысты сымы) және ары қарай өзгеріссіз қалады.

Қорытынды:

Хабарламаны тиімді кодттау үшін бір есепке энтропияны өсіру қажет:

Символдардың пайда болу ықтималдылығын теңестіру.

Элементтер арасындағы статикалық байланысты жою.

Артық хабарлама

Егер хабарламада элементтер тең ықтималды және бір-біріне тәуелді болмаса, онда ондай хабарламалар оптималды бейнеде кодтталған. Мұндай хабарламаны беру үшін nopt элементін беру қажет болады. Егер хабарлама оптималды кодтталған болмаса, онда оны беру үшін nnopt символы қажет. Мұндай жағдайда артықтық туындайды, сандық сипаттамасы артықтық коэффициенті болып табылады:

kи = (Hmax(X) - H(X))/ Hmax(X), мұндағы

Hmax(X) – оптималды кодттау кезіндегі энтропия;

H (X) – оптималды емес ккодттау кезіндегі энтропия.

Сондықтан, 0  kи  1. Орыс тілі үшін kи = (5 - 2)/5 =0,6.



Каталог: ebook -> umkd
umkd -> Мамандығына арналған Сұлтанмахмұттану ПӘнінің ОҚУ-Әдістемелік кешені
umkd -> Қазақстан Республикасының
umkd -> Қазақстан Республикасының
umkd -> Студенттерге арналған оқу әдістемелік кешені
umkd -> ПӘннің ОҚУ Әдістемелік кешені 5В011700 «Қазақ тілі мен әдебиеті» мамандығына арналған «Ұлы отан соғысы және соғыстан кейінгі жылдардағы қазақ әдебиетінің тарихы (1941-1960)» пәнінен ОҚытушыға арналған пән бағдарламасы
umkd -> «Балалар әдебиеті» пәніне арналған оқу-әдістемелік материалдар 2013 жылғы №3 басылым 5 в 050117 «Қазақ тілі мен әдебиеті»
umkd -> ПӘннің ОҚУ-Әдістемелік кешенінің
umkd -> 5 в 011700- Қазақ тілі мен әдебиеті
umkd -> 5 в 011700- Қазақ тілі мен әдебиеті
umkd -> «Филология: қазақ тілі» мамандығына арналған


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   ...   20




©www.engime.org 2024
әкімшілігінің қараңыз

    Басты бет