Энтропия в теории информации

Введение

Информационная энтропия является мерой хаотичности информации, то есть, это неопределенность возникновения какого-нибудь символа первичного алфавита. Если отсутствуют информационные потери, то энтропия численно равняется количеству информации на один символ пересылаемого сообщения.

Если взять, к примеру, очередность символов, которая составляет какое-нибудь предложение на русском языке, то каждый символ может появляться с различной частотой, то есть, уровень неопределенности появления некоторых символов больше, чем у других. Если же принять во внимание, что определенные комбинации символов могут встречаться совсем редко, то уровень неопределенности становиться еще меньше. В таком случае имеется ввиду энтропия n-ого порядка.

Концепции информации и энтропии обладают глубокими связями друг с другом, но, невзирая на это, создание теорий в статистической механике и теории информации заняло много лет, чтобы позволило достичь их соответствия друг другу.

Энтропия в теории информации

Если взять независимые случайные события x с n возможными состояниями (от единицы до n), то информационная энтропия может быть рассчитана по следующей формуле:

Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ

Данная величина также именуется средней энтропией сообщения. Величина, которая определяется следующим выражением:

Рисунок 2. Выражение. Автор24 — интернет-биржа студенческих работ

именуется частной энтропией, которая может характеризовать только i-e состояние. То есть, энтропия события x представляет собой сумму с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы. Основание два использовано лишь для удобства работы с информацией, которая представлена в двоичном формате. Данное определение для дискретных случайных событий может быть расширено для функции распределения вероятностей.

Шеннон сформировал данное определение энтропии, исходя из следующих предположений:

1. Мера обязана являться непрерывной, то есть, изменение величины вероятности на относительно малую величину должно в такой же малой степени влиять на итоговое изменение энтропии.
2. Если все варианты, то есть, символы в рассматриваемом примере, являются равновероятными, то возрастание числа вариантов (символов) обязано в любом случае увеличить полную энтропию.
3. Обязана присутствовать возможность выбора (в нашем случае символов) за два шага, в которых энтропия итогового результата должна являться суммарным значением энтропий промежуточных результатов.

Шеннон доказал, что всякое определение энтропии, которое удовлетворяет данным предположениям, может быть представлено следующим образом:

Рисунок 3. Выражение. Автор24 — интернет-биржа студенческих работ

Здесь K является константой, которая в действительности требуется лишь для определения единиц измерения.

Шеннон доказал, что измерение энтропии:

$H = − p_1 log_2 p_1 − … − p_n log_2 p_n$,

которое применяется к источнику информации, способно определить набор требований к минимальной пропускной способности канала, необходимой, для того чтобы обеспечить надежную передачу информации в форме закодированных двоичных чисел.

Для того чтобы вывести формулу Шеннона, следует найти математическое ожидания «количества информации», которое содержится в цифре из информационного источника. Мера энтропии Шеннона способна отразить неуверенность реализации случайной переменной. Это означает, что энтропия выступает как разница между информацией, присутствующей в сообщении, и той частью информации, которая является точно известной (или хорошо предсказуемой) в сообщении.

Примером этого может служить избыточность языка, так как, существуют очевидные статистические закономерности в появлении символов, пар последовательных символов, троек и так далее. В общем варианте b-арная энтропия (где b равняется 2, 3,...) источника:

S = (S,P),

имеющего исходный алфавит $S = {a_1, …, a_n}$ и дискретное распределение вероятности:

$P = {p_1, …, p_n}$,

где $p_i$ представляет собой вероятность $a_i (p_i = p(a_i))$, должна определяться следующей формулой:

Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ

Следует отметить, что определение энтропии Шеннона обладает очень тесными связями с понятием термодинамической энтропии. Ученые Больцман и Гиббс провели много исследований, связанных со статистической термодинамикой, которая помогла внедрить понятие энтропии в информационную теорию. Известны различные связи между термодинамической и информационной энтропией. К примеру, Максвелл тоже противопоставлял термодинамическую энтропию информации, то есть, получение какого-нибудь количества информации равняется потерянной энтропии.

Когда очередность символов алфавита является зависимой (к примеру, во французском языке за буквой «q» практически всегда идет буква «u», а после слова «передовик» в советских газетах, как правило, стояло слово «производства» или «труда»), то количество информации, которую содержит последовательность данных символов (а значит и энтропия), очевидно меньше. Для того чтобы можно было учитывать такие факты, существует понятие условной энтропии.

Условной энтропией первого порядка (по аналогии с Марковской моделью первого порядка) является энтропия для алфавита, в которой известны вероятности появления одной буквы вслед за другой, то есть, вероятности двухбуквенных сочетаний:

Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ

Здесь i является состоянием, зависящим от предшествующего символа, а pi (j) является вероятностью j, при условии, что i являлся предыдущим символом.

При помощи частной и общей условной энтропии могут быть полностью описаны информационные потери при трансляции данных через канал, имеющий помехи. Для этого следует использовать так называемые канальные матрицы. Поскольку, для того чтобы описать потери со стороны источника, то есть, когда известен посылаемый сигнал, следует рассматривать условную вероятность p(bj|ai) получения приемником символа bj при условии, что отправляли символ ai.