ШЕ́ННОНА ТЕОРЕ́МА

ШЕ́ННОНА ТЕОРЕ́МА, од­на из ос­нов­ных тео­рем ин­фор­ма­ции тео­рии, от­но­ся­щая­ся к пе­ре­да­че ин­фор­ма­ции по ка­на­лам свя­зи при на­ли­чии по­мех, при­во­дя­щих к ис­ка­же­ни­ям в про­цес­се пе­ре­да­чи. Пусть над­ле­жит пе­ре­дать по­сле­до­ва­тель­ность сим­во­лов, по­яв­ляю­щих­ся с оп­ре­де­лён­ны­ми ве­ро­ят­но­стя­ми, при­чём име­ет­ся не­ко­то­рая ве­ро­ят­ность то­го, что пе­ре­да­вае­мый сиг­нал в про­цес­се пе­ре­да­чи бу­дет ис­ка­жён, т. е. бу­дет вос­при­нят как ка­кой-то др. сим­вол. Про­стей­ший спо­соб, по­зво­ляю­щий на­дёж­но вос­ста­но­вить пе­ре­да­вае­мую по­сле­до­ва­тель­ность из по­лу­чае­мой, со­сто­ит в том, что­бы ка­ж­дый пе­ре­да­вае­мый сим­вол по­вто­рять боль­шое чис­ло N раз. Од­на­ко это при­ве­дёт к умень­ше­нию ско­ро­сти пе­ре­да­чи в N раз, т. е. сде­ла­ет её близ­кой к ну­лю. Ш. т. ут­вер­жда­ет, что мож­но ука­зать та­кое за­ви­ся­щее толь­ко от упо­мя­ну­тых ве­ро­ят­но­стей по­ло­жи­тель­ное чис­ло v, на­зы­вае­мое кри­тич. ско­ро­стью, для ко­то­ро­го при сколь угод­но ма­лом ε>0 су­ще­ст­ву­ют спо­со­бы пе­ре­да­чи ин­фор­ма­ции со ско­ро­стью v´<v, сколь угод­но близ­кой к v, даю­щие воз­мож­ность вос­ста­нав­ли­вать ис­ход­ную по­сле­до­ва­тель­ность с ве­ро­ят­но­стью ошиб­ки, мень­шей ε . В то же вре­мя при ско­ро­сти пе­ре­да­чи v´, боль­шей v, это уже не­воз­мож­но. Эти спо­со­бы пе­ре­да­чи ис­поль­зу­ют над­ле­жа­щие «по­ме­хо­устой­чи­вые» ко­ды. Кри­тич. ско­рость v оп­ре­де­ля­ет­ся из со­от­но­ше­ния Hv=c, где H – эн­тро­пия ис­точ­ни­ка на сим­вол, c – ём­кость ка­на­ла в дво­ич­ных еди­ни­цах в се­кун­ду. Тео­ре­ма ус­та­нов­ле­на К. Шен­но­ном (1957–61).