ЭНТРОПИ́Я

ЭНТРОПИ́Я в тео­рии ин­фор­ма­ции, ме­ра не­оп­ре­де­лён­но­сти к.-л. опы­та (ис­пы­та­ния), ко­то­рый в за­ви­си­мо­сти от слу­чая мо­жет за­кан­чи­вать­ся разл. ис­хо­да­ми. При этом пред­по­ла­га­ют, что име­ют­ся оп­ре­де­лён­ные ве­ро­ят­но­сти по­яв­ле­ния то­го или ино­го ис­хо­да. Пусть $x_1$, $x_2$, $...$, $x_n$ – разл. ис­хо­ды опы­та, $p_1$, $p_2$, $...$, $p_n$ – соответ­ст­вую­щие ве­ро­ят­но­сти $p_j\leqslant 0$, $\sum_{j=1}^2 p_j=1.$ То­гда Э. $H$ оп­ре­де­ля­ет­ся выра­же­ни­ем $$H=H(p_1,p_2,...,p_n)=\sum_{j=1}^n p_j\log_2(1/p_j)$$ (счи­та­ет­ся, что $0\log 0=0$).

Свой­ст­ва Э.: Э. рав­на ну­лю в том слу­чае, ко­гда од­но чис­ло из $p_j$ рав­но еди­ни­це, а ос­таль­ные рав­ны ну­лю, т. е. ко­гда ис­ход опы­та дос­то­ве­рен; Э. дос­ти­га­ет макс. зна­че­ния при дан­ном $n$, ко­гда все ис­хо­ды рав­но­ве­ро­ят­ны; Э. объ­е­ди­не­ния двух не­за­ви­си­мых опы­тов рав­на сум­ме их Э. Функ­ция $H$ от $p_j$ яв­ля­ет­ся един­ст­вен­ной, удов­ле­тво­ряю­щей этим и ещё не­сколь­ким, столь же ес­те­ст­вен­ным тре­бо­ва­ни­ям. Од­на­ко цен­ность по­ня­тия Э. оп­ре­де­ля­ет­ся не этим об­стоя­тель­ст­вом, а тем, что она иг­ра­ет важ­ную роль в ин­фор­ма­ции тео­рии

.

Для тео­рии ин­фор­ма­ции осо­бый ин­те­рес пред­став­ля­ет слу­чай, ко­гда $x_j$ суть со­об­ще­ния не­ко­то­ро­го ис­точ­ни­ка ин­фор­ма­ции

, пе­ре­да­вае­мы­ми по ка­на­лу свя­зи

 >>

. Со­об­ще­ния при этом рас­смат­ри­ва­ют как вре­менны́е по­сле­до­ва­тель­но­сти эле­мен­тов (букв), вы­би­рае­мых с не­ко­то­ры­ми ве­ро­ят­но­стя­ми из ка­кой-то оп­ре­де­лён­ной со­во­куп­но­сти (ал­фа­ви­та). Вы­во­ды тео­рии ин­фор­ма­ции ка­са­ют­ся со­об­ще­ний, яв­ляю­щих­ся «дос­та­точ­но длин­ны­ми» (в прин­ци­пе не­ог­ра­ни­чен­но длин­ны­ми) по­сле­до­ва­тель­но­стя­ми букв, что со­от­вет­ст­ву­ет пред­по­ло­же­нию о весь­ма дли­тель­ной ра­бо­те ис­точ­ни­ков со­об­ще­ний и ка­на­лов свя­зи. По­это­му Э. ис­точ­ни­ка на сим­вол (или ско­рость пе­ре­да­чи со­об­ще­ний, из­ме­ряе­мая в дво­ич­ных еди­ни­цах на сим­вол) оп­ре­де­ля­ет­ся не­ко­торым пре­дель­ным пе­ре­хо­дом. С этой це­лью, на­ря­ду с со­об­ще­ния­ми, пред­став­лен­ны­ми в ви­де не­ог­ра­ни­чен­ных по­сле­до­ва­тель­но­стей $a_1$,$a_2$,$...$,$a_N$,$...$ букв неко­то­ро­го s-бу­к­вен­но­го ал­фа­ви­та, рас­смат­ри­ва­ют «уре­зан­ные» со­об­ще­ния дли­ны $N$, т. е. це­поч­ки $a_1$,$a_2$,$...$,$a_N$. Вы­би­рая в оп­ре­де­ле­нии Э. в ка­че­ст­ве $x_j$ эти N-член­ные це­поч­ки и в ка­че­ст­ве $p_j$ – со­от­вет­ст­вую­щие ве­ро­ят­но­сти, по­лу­ча­ют не­ко­то­рую ве­ли­чи­ну $H_N$. От­но­ше­ние $H_N/N$ да­ёт Э. на бу­к­ву для $N$-член­ных це­по­чек. В тео­рии ин­фор­ма­ции ус­та­нав­ли­ва­ет­ся, что при очень ши­ро­ком до­пу­ще­нии ус­той­чи­во­сти ве­ро­ят­но­ст­ных за­ко­но­мер­но­стей во вре­ме­ни (ста­цио­нар­ность ис­точ­ни­ка) ве­ли­чи­на $H_N/N$, убы­вая, стре­мит­ся к пре­де­лу $H_∞=\lim_{N→∞}H_N/N$, на­зы­вае­мо­му Э. со­об­ще­ния на сим­вол. Ес­ли все сим­во­лы име­ют не­ко­то­рую дли­тель­ность и $τ$ – их сред­няя дли­тель­ность, то от­но­ше­ние $H_∞/τ$ да­ёт Э. ис­точ­ни­ка на еди­ни­цу вре­ме­ни. Эти две ве­ли­чи­ны $H_∞$ и $H_∞/τ$ яв­ля­ют­ся ос­нов­ны­ми ин­фор­ма­ци­он­ны­ми ха­рак­те­ри­сти­ка­ми ис­точ­ни­ка со­об­ще­ний. Так, $H_∞$ по­зво­ля­ет оце­нить мак­си­маль­но воз­мож­ную сте­пень «сжа­тия» со­об­ще­ния при ис­поль­зо­ва­нии то­го же ал­фа­ви­та (см. Из­бы­точ­ность со­об­ще­ний

 >>

, Ко­ди­ро­ва­ние

 >>

). Со­от­но­ше­ние ме­ж­ду ско­ро­стью соз­да­ния со­об­ще­ний $H_∞/τ$ и ём­ко­стью к.-л. ка­на­ла с тем же вход­ным ал­фа­ви­том, что ис­поль­зо­ван при за­пи­си со­об­ще­ний, оп­ре­де­ля­ет воз­мож­ность «поч­ти без­оши­боч­ной» пе­ре­да­чи этих со­об­ще­ний по ка­на­лу (см. Шен­но­на тео­ре­ма

 >>

).

Э. ис­пы­та­ния с бес­ко­неч­ным чис­лом ис­хо­дов мож­но по­пы­тать­ся оп­ре­де­лить с по­мо­щью пре­дель­но­го пе­ре­хо­да. Но этот путь при­во­дит, как пра­ви­ло, к бес­ко­неч­но­му зна­че­нию Э. По­это­му за­да­ют­ся оп­ре­де­лён­ным уров­нем точ­но­сти ε и оп­ре­де­ля­ют т. н. ε-эн­тро­пию как опи­сы­вае­мо­го с точ­но­стью до ε ис­хо­да опы­та.