Математика \ Теория информации

Определение энтропии двухбуквенного сочетания и условной энтропии заданного текстового сообщения, страница 11

Вычислив частные условные энтропии H(Y/xi) = ∑ η(P(yj/xi)), находим полную условную энтропию H(Y/X) = ∑ Pi*H(Y/xi). H(Y/X) = 2,32788 бит/символ.

Перейдем к вычислению условной энтропии Н(Y/X) заданного текстового сообщения. Для этого вычислим условную вероятность P(yj/xi) = Pij/Pi:

P(yj/xi)	_	о	е	а	и	н	т	с	р	в	л	к	м	д	п	у
_	0	0,07414	0,0247	0,03894	0,12715	0,15398	0,1375	0,23932	0,13933	0,34725	0,109	0,21747	0,1609	0,20093	0,66795	0,11475
о	0,11705	0,00446	0,03317	0	0,01313	0,11805	0,12019	0,16952	0,10481	0,27045	0,14533	0,09626	0,23014	0,34112	0,06757	0,00273
е	0,12519	0,00502	0,01623	0,00531	0,00328	0,16082	0,11058	0,10399	0,1233	0,02003	0,20588	0,10873	0,222	0,16589	0,03089	0
а	0,0855	0	0,03246	0	0,00328	0,08811	0,10769	0,10114	0,07768	0,04007	0,10381	0,13191	0,04888	0,11682	0,08494	0,00546
и	0,11196	0,02285	0,06563	0,01947	0,04512	0,07613	0,08846	0,07692	0,07275	0,0818	0,05709	0,09447	0,13238	0,00701	0,00579	0,00546
н	0,00967	0,14103	0,08045	0,14779	0,19278	0,08212	0,05096	0,02422	0	0	0	0,01604	0	0,03505	0	0,06831
т	0,06463	0,09365	0,11362	0,09735	0,05824	0,04192	0	0,0698	0,13317	0,06845	0	0,03209	0,00204	0,00701	0	0,07104
с	0,01781	0,03122	0,02893	0,01239	0,03035	0,01283	0,19135	0,01994	0,0111	0,03506	0,10208	0,07487	0,01222	0,00467	0,06371	0,02186
р	0,00407	0,09142	0,08963	0,18053	0,10008	0,01112	0,00577	0,00285	0,00123	0,01002	0	0,01783	0,01833	0,00467	0,00193	0,23224
в	0,05242	0,07023	0,03599	0,09558	0,01477	0,02224	0,00385	0,03704	0,01356	0,00334	0,04671	0,01604	0,00407	0,00935	0,00965	0,04645
л	0,00204	0,0301	0,10092	0,0177	0,11157	0,0154	0,00096	0,00142	0	0	0,01557	0,00357	0	0	0	0,07377
к	0,03308	0,08751	0,01059	0,08053	0,04512	0,00599	0,03846	0,02849	0,03206	0,00668	0,05363	0,00178	0	0	0	0,0765
м	0,06667	0,03958	0,06351	0,0469	0,02461	0,01796	0	0	0	0	0,00346	0,00891	0,00407	0	0,01737	0,06831
д	0,00509	0,03344	0,04375	0,05841	0,06809	0,02737	0	0,03561	0,01233	0,01002	0,03114	0,03743	0	0	0	0,06284
п	0,00051	0,10312	0,04093	0,0469	0,01805	0,00086	0,00096	0,00142	0,20838	0	0,01903	0	0	0	0,03668	0,02459
у	0,02341	0	0,01764	0,00177	0	0,00513	0,01058	0,02991	0,0111	0	0,02941	0,041	0,02444	0,0514	0,01351	0
я	0,06972	0	0,00917	0	0,00164	0,00257	0,02115	0,00427	0,00247	0,01669	0	0,00178	0,02648	0,00467	0	0
ы	0,01985	0	0,03317	0	0	0,00086	0,01058	0,01852	0,00123	0,02504	0,00173	0	0,07739	0	0	0
з	0,01272	0,02062	0,00141	0,05221	0,00902	0,01796	0	0	0,00617	0,04841	0,0173	0,01248	0,02444	0,00935	0	0,01639
ь	0,03969	0	0,00212	0	0	0,04448	0,01058	0,00997	0	0	0	0,0107	0,00407	0	0	0
б	0,00051	0,0301	0,01129	0,00708	0,00164	0,01967	0	0	0,02713	0	0,0173	0,02317	0,00204	0	0	0,04098
г	0,00407	0,05407	0,00282	0,00885	0,01066	0,01625	0	0	0,01233	0	0,01038	0,00178	0,00204	0,0257	0	0,01093
ч	0	0,00167	0,04799	0,05133	0,03035	0,0231	0,025	0	0	0	0	0,02852	0,00204	0	0	0,00273
й	0,07684	0	0	0	0	0,00171	0,01154	0,02279	0	0	0	0,00178	0	0,00234	0	0
х	0,03257	0,0223	0,00494	0,00177	0,00492	0,00342	0	0	0	0,01002	0	0	0	0	0	0
ж	0	0	0,03387	0,00619	0,00902	0,02224	0	0	0	0	0	0,00357	0	0,01402	0	0,02459
ю	0,02239	0	0	0,00088	0	0	0,02981	0,00285	0,0037	0	0,00173	0,00178	0	0	0	0
ш	0	0,00334	0,00847	0,00796	0,01477	0,00342	0,00673	0	0	0	0,00346	0,0107	0	0	0	0,01093
ц	0,00153	0	0,00847	0,00177	0,03117	0	0	0	0	0,00668	0	0	0	0	0	0
щ	0	0	0,03387	0,00973	0,02297	0,00257	0	0	0,00247	0	0	0	0	0	0	0,01366
э	0	0	0	0	0	0,00171	0,01731	0	0	0	0,02422	0,00535	0,00204	0	0	0
ф	0,00102	0,04013	0,00423	0,00265	0,0082	0	0	0	0,0037	0	0,00173	0	0	0	0	0,00546

1 2 3 4 5 6 7 8 9 10 11 12 13 14

Скачать файл