Различные подходы к измерению информации

Лекция 2 Изучив материал, студент должен знать:  различные подходы к измерению информации  принципы построения позиционных и непозиционных систем счисления, представление чисел в позиционных системах счисления. Изучив материал, студент должен уметь:  вычислять количество информации необходимое для хранения информации;  переводить числа из одной системы счисления в другую, выполнять основные арифметические операции в различных системах счисления. 1.3 Различные подходы к измерению информации В информационных технологиях используются различные подходы к измерению информации: Содержательный подход. Сообщение – это информативный поток, который в процессе передачи информации поступает к приемнику. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Информация дает знания человеку, а это значит, что сообщение должно быть информативно. Если сообщение не информативно, то количество информации с точки зрения человека = 0. Алфавитный подход. Не связывает количество информации с содержанием сообщения. Алфавитный подход – это объективный подход к измерению информации. Он удобен при использовании технических средств работы с информацией, т.к. не зависит от содержания сообщения. Количество информации зависит от объема текста и мощности алфавита Вероятностный подход. Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации. Для измерения информации вводятся два параметра: количество информации I и объем данных Vд. Меры информации бывают следующие: 1 Синтаксическая мера информации – оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных. Предположим, что до получения информации пользователь имеет предварительные сведения о системе α, и хочет получить сообщение β. Мера неосведомленности пользователя выражена функцией Н(α), а дополнительная информация, которую он приобрел Iβ(α). Тогда количество информации Iβ(α) определится по формуле: Iβ(α)= Н(α) - Нβ(α), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. А Нβ(α) – конечная неопределенность. Если конечная неопределенность обратится в ноль, то количество информации: Iβ(α)= Н(α) Энтропия системы Н(α) – это мера недостающей информации. Энтропия системы Н(), имеющая N возможных состояний, согласно формуле Шеннона, равна: N H (α ) = − ∑ Pi log Pi i =1 где Pi – вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi = 1 , ее энтропия определяется соотношением N N H (α ) = − ∑ i =1 1 1 log N N 2 Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. N=mn N – число всевозможных отображаемых состояний; m – основание системы счисления; n – число разрядов в сообщении. Пример. По каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет: I = log N= n log m – формула Хартли Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации будет равно объему данных I = Vд, полученных по каналу связи. Для неравновероятных состояний системы всегда I< Vд = n. При использовании двоичного логарифма единицей информации будет бит. Бит – (Binary digit) - это количество информации, которое содержится в одном двоичном разряде. В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутри машинного представления данных и команд. Используются следующие единицы измерения информации: 1 байт = 8 бит (именно восемь бит требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера); 1 Килобайт = 1024 байт (210 байт); 3 1 Мегабайт = 1024 Килобайт (220 байт); 1 Гигабайт = 1024 Мегабайт (230 байт); Коэффициент (степень) (лаконичность) информативности сообщения определяется отношением количества информации к объему данных, т.е. Y = I , причем 0