Содержательный подход к оценке количества информации

В зависимости от задачи, которую перед собой ставит человек, можно использовать разные способы представления информации. Для того чтобы послушать музыку, нет необходимости переводить её в нотную запись. А вот чтобы научиться её играть, лучше воспользоваться нотами, чем подбирать мелодию на слух. Формализованные языки используются для кодирования информации. Определенный набор символов алфавита образует слово, а число этих символов – это его длина. При изменении длины слова будет меняться и информация, заключенная в нем. Чтобы разобраться в изменениях информации, необходима ее оценка, т.е. измерение количества.

Подходы к оценке количества информации

Как понять, какое количество информации получил человек в том или ином сообщении?

Разные люди, получившие одинаковые сообщения, по-разному оценивают количество информации, содержащейся в них. Это происходит потому, что знания людей в вопросах, о которых идет речь в сообщениях, до их получения были различными. Таким образом те, у кого знания в рассматриваемом вопросе были не значительны, сочтут, что получили много полезной информации, те же, кто знал больше, могут отметить, что информации не получили вовсе. Отсюда напрашивается вывод, что количество информации в сообщении зависит от того, насколько новым содержание этого сообщения будет для получателя.

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. При этом нельзя объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя (бытовой подход), не ставится вопрос об измерении ее количества. Задача измерения информации не так проста, как кажется на первый взгляд. Различные подходы к измерению информации обусловлены различными подходами к её определению и кодированию:

1. Субъективное восприятие сообщения (содержало ли оно новую для вас информацию или нет, насколько эта информация была полезной) делает невозможным его количественную оценку при обыденном подходе к понятию "информация".
2. Подход к информации как мере уменьшения неопределённости знания позволяет применять вероятностный подход к её измерению.
3. Подход, основанный на подсчёте числа символов в сообщении (количества данных), называется алфавитным.

Содержательный подход к оценке количества информации

Рассмотрим более подробно первый подход к измерению количества информации, его называют содержательным.

Для человека информация — это его знания об окружающей его действительности. Получение человеком новой информации приводит к расширению этих знаний. Если некое сообщение приводит к уменьшению неопределенности знания в каком-либо вопросе, то можно с уверенностью сказать, что это сообщение содержит информацию.

Таким образом, можно утверждать, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, программа телепередач на завтра — информативное сообщение, а сообщение о вчерашних телепрограммах неинформативно, т.к. нам это уже известно.

Нетрудно понять, что информативность одних и тех же сообщений может быть различной для разных людей. Например, азы грамматики информативны для первоклассника, который только начинает учиться писать, и совсем неинформативны для старшеклассников.

Однако для того, чтобы сообщение было информативным, оно должно быть, как минимум, понятным. А значит быть логически связанным с предыдущими знаниями человека в этом вопросе. Так, например, программа низкого уровня, написанная на машинном языке, вероятнее всего не пополнит знаний старшеклассника, так как будет ему не понятна, поскольку он, в свою очередь, изучает на информатике один из языков программирования высокого уровня, как более простой, а ему предлагают знания из области специальных.

Получение всяких знаний должно идти поэтапно: от простого к сложному. Только в этом случае каждое новое сообщение будет понятным, а значит информативным.

Единица измерения количества информации

Очевидно, если различать только $2$ ситуации: когда нет информации, или есть информация, то для измерения ее количества этого будет не достаточно. Необходимо определиться с единицей измерения, и тогда возможной станет оценка количества информации, в каком сообщении – ее больше, в каком — меньше.

Один бит информации – это сообщение, уменьшающее неопределенность знаний в два раза.

Например, после сдачи зачета или экзамена студент страдает от неопределенности, поскольку ему не известна оценка, которую он получил. После объявления преподавателем результатов он получает $1$ из $2$ информационных сообщений: «зачет» или «незачет», а после экзамена $1$ из $4$ информационных сообщений: $«2»$, $«3»$, $«4»$ или $«5»$.

Первое информационное сообщение приводит к уменьшению неопределенности знания в $2$ раза, так как получено $1$ из $2$ возможных информационных сообщений. Второе сообщение об оценке за экзамен приводит к уменьшению неопределенности знания в $4$ раза, так как получено $1$ из $4$ возможных информационных сообщений.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Рассмотрим еще один пример.