Введение
Термин «информация» может рассматриваться при разных ограничениях, которые накладываются на его свойства, то есть при разных рассматриваемых уровнях. Основными считаются следующие уровни:
- Уровень синтаксиса.
- Уровень семантики.
- Уровень прагматики.
Для каждого уровня имеются свои способы оценки количества информации. Синтаксический уровень предполагает для оценки количества информации использование вероятностных методик, принимающих во внимание лишь вероятностные информационные свойства и не принимает во внимание иные свойства, такие как, смысловое наполнение, актуальность, полезность и тому подобное. Выработанные в двадцатом веке математические и, в том числе, вероятностные методики дали возможность разработать подход, оценивающий информационное количество как меру сокращения неопределённости знания. Данный подход, именуемый также вероятностным, провозглашает следующий принцип. Когда некоторое сообщение ведёт к сокращению неопределённости знаний, то значит в данном сообщении содержится информация. Причём сообщение может содержать информацию о некоторых событиях, которые могли бы быть реализованы с разной степенью вероятности.
Определение количества информации, содержащейся в сообщении.
Формула, позволяющая определить количество информации для событий с разными вероятностями и поступающих от дискретных информационных источников, была выведена американским учёным К. Шенноном в середине прошлого века. В соответствии с этой формулой количество информации определяется таким образом:
$I = – ∑^N_{i=1}P_ilog2P_i$ (1)
Здесь:
- $I$ это количество информации.
- $N$ это количество вероятных событий, то есть сообщений.
- $P_i$ это вероятность отдельного события, то есть сообщения.
Найденное по данной формуле количество информации может быть только положительным. Но так как вероятность отдельного события всегда меньше, чем единица, то, следовательно, выражение log2 будет отрицательным, а чтобы получить положительное значение количества информации в приведённой выше формуле перед знаком суммы поставлен минус.
Когда вероятность проявления каких-либо событий одна и та же и они способны образовать полноценную группу событий, то есть:
$∑^N_{i=1}P_i = 1$
То приведённая выше формула (1) может быть преобразована в формулу Р.Хартли:
$I = log2 N$ (2)
В обеих формулах, то есть (1) и (2), соотношение между информационным количеством и соответственно вероятностью или же количеством каждого события отображается при помощи логарифма. Использование логарифмов в этих формулах объясняется так. Чтобы упростить рассуждения, будем использовать формулу (2). Начнём поочерёдно назначать аргументу N значения, которые выбираются, к примеру, из числового набора: 1, 2, 4, 8, 16, 32, 64 и так далее. Для определения события, которое всё-таки произошло из набора N событий, имеющих равную вероятность, для всех чисел ряда следует поочерёдно выполнять операции выбора из пары допустимых событий. К примеру, для N = 1 количество операций равняется нулю, то есть вероятность события равняется единице.
Для N=2, количество операций равняется единице, для N = 4 количество операций равняется двум, для N = 8, количество операций равняется трём и так далее. В результате получается следующий числовой ряд 0, 1, 2, 3, 4, 5, 6 и так далее, который может считаться имеющим соответствие со значениями функции I в формуле (2). Очерёдность числовых значений, принимаемых аргументом N, является рядом, известным в математике в виде числового ряда, образующего геометрическую прогрессию, а очерёдность значений, принимаемых функцией I, образует числовой ряд, являющийся арифметической прогрессией. Это означает, что логарифм в выражениях (1) и (2) определяет соотношение между рядами, образующими геометрическую и арифметическую прогрессии, которые отлично известны в математике.
Чтобы выполнить количественную оценку какой-либо физической величины, следует сначала найти нужную единицу измерения, носящей в теории измерений наименование «мера». Как правило, информацию до обработки, трансляции и хранения подвергают кодированию. Процедура кодирования выполняется при помощи специального алфавита, то есть системы знаков. Информатика, которая изучает процессы формирования, переработки, трансляции и сохранения информации при помощи компьютерной (вычислительной) техники, главным образом, использует двоичную систему кодирования, при которой применяется система знаков, имеющая всего два символа, а именно, нуль и единица. Именно поэтому в приведённых выше формулах основанием логарифма является двойка.
Если исходить из вероятностного подхода к вычислению информационного количества, то данную пару символов бинарной системы счисления можно представить как пару разных вероятных события. По этой причине в качестве единицы количества информации считается такое информационное количество, которое содержится в сообщении, уменьшающим неопределённость познания в два раза. Данная единица измерения информации именуется битом, который расшифровывается как binary digit, то есть двоичная цифра. Следовательно, мерой оценки информационного количества на уровне синтаксиса, если выполняется двоичное кодирование, является один бит.
А в качестве следующей величины единицы измерения информации принят байт, который представляет собой очерёдность знаков, состоящую из восьми бит. В информатике также широко используются кратные байту единицы измерения количества информации, однако в отличие от метрической системы мер, где в качестве множителей кратных единиц применяют коэффициент 10n, где п = 3, 6, 9 и т. д., в кратных единицах измерения количества информации используется коэффициент 2n. Выбор этот объясняется тем, что компьютер в основном оперирует числами не в десятичной, а в двоичной системе счисления.
