ИЗБЫ́ТОЧНОСТЬ СООБЩЕ́НИЙ

ИЗБЫ́ТОЧНОСТЬ СООБЩЕ́НИЙ, по­ня­тие тео­рии ин­фор­ма­ции, чис­лен­но оце­ни­ваю­щее воз­мож­ность со­кра­ще­ния за­пи­си со­об­ще­ний. На­ли­чие из­бы­точ­но­сти в за­пи­си со­об­ще­ний к.-л. ис­точ­ни­ка ин­фор­ма­ции про­яв­ля­ет­ся в воз­мож­но­сти за­пи­сать их в сред­нем бо­лее крат­ко, ис­поль­зуя те же са­мые зна­ки (т. е. ис­поль­зуя код с тем же ал­фа­ви­том, см. Ко­ди­ро­ва­ние). Напр., ес­ли рас­смат­ри­вае­мые со­об­ще­ния пред­став­ля­ют со­бой по­сле­до­ва­тель­но­сти зна­ков $0$ и $1$, в ко­то­рых еди­ни­ца встре­ча­ет­ся в сред­нем один раз на де­сять зна­ков, то, при­ме­няя ко­ди­ро­ва­ние по пра­ви­лу $00 → 0, 01 → 10, 10 → 110, 11 → 111$, мож­но в сред­нем со­кра­тить за­пись поч­ти вдвое. Макс. до­ля лиш­них зна­ков оп­ре­де­ля­ет­ся по ста­ти­стич. свой­ст­вам ис­точ­ни­ка со­об­ще­ний и на­зы­ва­ет­ся его из­бы­точ­но­стью. Для И. с. $R$ спра­вед­ли­ва фор­му­ла $R = 1 – H/\text{log}_2m$, где $m$ – чис­ло букв ал­фа­ви­та, $H$ – эн­тро­пия ис­точ­ни­ка на бу­к­ву со­об­ще­ния. В при­ве­дён­ном при­ме­ре И. с. рав­на 0,53. Ми­ни­маль­ной И. с., рав­ной ну­лю, об­ла­да­ет толь­ко по­сле­до­ва­тель­ность, в ко­то­рой зна­ки не­за­ви­си­мы и с ве­ро­ят­но­стью $1/m$ мо­гут сов­па­дать с лю­бой из букв ал­фа­ви­та.

На прак­ти­ке ва­жен во­прос об оцен­ке И. с. кон­крет­ных ви­дов со­об­ще­ний (та­ких, как письм. и уст­ная речь, те­ле­ви­зи­он­ные изо­бра­же­ния). Ве­ли­чи­на И. с. в них ока­зы­ва­ет­ся обыч­но зна­чи­тель­ной. Так, напр., И. с. англ. письм. ре­чи не ме­нее 0,6.