Основные понятия ТИПС: сложная система, информационная система, информация, процесс, сообщение, сигнал.

Лекция 1 Основные понятия ТИПС: сложная система, информационная система, информация, процесс, сообщение, сигнал. Основные понятия. Понятия «информация» (от лат. informatio — разъяснение, изложение) и «сообщение» в настоящее время неразрывно связаны между собой. Эти понятия сложны, близки по смыслу, и дать их точные определения через более простые достаточно трудно. Под информацией подразумевается совокупность сведений о каких-либо событиях, явлениях или предметах, предназначенных для передачи, приема обработки, преобразования, хранения или непосредственного использования. Особенность информации состоит в том, что обычно возникает она в одном месте, а используется в другом. Передача информации — это процесс переноса сведений из одной точки пространства в другую. Отметим, что информацию, представленную в алфавитно-цифровой форме, в теории электросвязи принято называть данными. Информация, подлежащая передаче и выраженная в определенной форме, называется сообщением. Сообщение может быть представлено в форме текста телеграммы, некоторых сведений, передаваемых по телефону или телеграфу, телевизионного изображения, данных на выходе компыотера и т.д. Ценность любых сведений, содержащихся в переданном получателю сообщении, характеризует количество заключенной в нем информации. Данная величина может определяться степенью изменения поведения получателя под воздействием принятого сообщения. В теории связи количественная оценка информации основывается на концепции выбора наиболее важного сообщения из всей совокупности возможных сообщений. При этом чем менее вероятен выбор данного сообщения, т.е., чем более оно неожи­данно для получателя, тем большее количество информации в нем содер­жится. Совершенно очевидно обратное: достоверное (заранее известное) сообщение нет смысла передавать, поскольку оно не является неожиданным и, следовательно, не содержит никакой информации. Поэтому любые реаль­ные сообщения следует рассматривать как случайные события (случайные процессы). Как же оценить количество передаваемой информации и определить ценность того или иного ее источника? Ответ на данный вопрос дает фунда­ментальная теорема теории информации, доказанная Р. Хартли и обобщен­ная К. Шенноном. Математически строгий вывод выражения для количества информации, передаваемой по каналу связи, очень сложен и выходит за рам­ки данного учебника. Ниже приводится эвристический вывод, позволяющий достаточно легко получить правильное выражение для определения количе­ства информации. В общем случае передаваемое по каналам связи сообщение можно представить в виде набора некоторых смысловых элементов или символов (например, букв какого-либо алфавита). Если общее количество (объем) смысловых символов равно т, а одно сообщение составлено из п элементов, то число возможных сообщений N = тn. Так, например, с помощью двух­разрядного десятичного числа (n= 2, т = 10) можно записать N = 102 = 100 различных чисел от 0 до 99. В частности, при средней длине русского слов» п = 5 букв и алфавите в т = 32 буквы можно составить 33,5 млн. различных слов. Однако использование числа N в качестве меры информации неудобно, так как в данном случае не выполняется условие пропорциональности между длиной слова (длительностью сигнала) и количеством содержащейся в нем информации. Между тем удвоение времени передачи сообщений должно приводить к удвоению количества передаваемой информации. Далее естественно потребовать, чтобы количественная мера удовлетворяла условию аддитивности, т.е. кол. Инф. Содержащейся в двух сообщениях, должно быть равно сумме количеств информации, содержащихся в каждом из сообщений. Поясним основные идеи, положенные в основу введения количественной меры информации. Сообщение представленное в виде совокупности некоторых символов (например, букв) заранее его получателю неизвестно, либо неизвестно точно (полной неопределенностью). Получатель не знает, какой именно символ и какая комбинация их будут, например, переданы системой связи. Вполне естественно, что чем больше число различных символов(алфавит символов) используется для передачи (описания) сообщений, тем большее количество информации содержится в каждом символе. Например, оценка по пятибалльной системе гораздо полнее характеризует качество ответа студента, чем по двухбалльной. Р. Хартли предложил в качестве меры количества информации исполь­зовать логарифм числа возможных сообщений по некоторому основанию а. Так как количество сведений (при их длине п) пропорционально числу смы­словых символов т, то количество информации . (1.1) Согласно этому соотношению, количество информации в передаваемом сообщении пропорционально его длительности (числу символов). Выбор основания логарифма а в формуле (1.1) влияет только на размерность, т.е. на единицу измерения количества информации. Наиболее удобной оказалось основание логарифма а = 2. В этом случае за единицу количества информа­ции в системах передачи дискретных и цифровых сообщений был принят один бит (от сокращенного англ. binary digit — двоичная цифра) — двоичный разряд — символ, принимающий значение 0 или 1. Так, символы 101 есть 3-битовое число. Данная мера представления является универсальной и позволяет сравнить различные сообщения и количественно определить цен­ность различных источников информации, оценить величину ее потерь при передаче, приеме, обработке, хранении, использовании и т. д. Отметим, что в цифровой технике (компьютерах и прочее) в качестве единицы представ­ления данных используется байт (от англ. byte — слог) — слово (набор) из восьми двоичных разрядов (битов). Легко посчитать, что байтом можно пе­редать одно из 28 = 256 различных сообщений. Количество информации, содержащееся в одном элементе сигнала, на­зывают удельной информативностью или энтропией сигнала: По существу энтропия есть мера неопределенности или мера недос­тающей информации исследуемого процесса (сообщения). В частности, эн­тропия русского алфавита (от = 32) равна Н = 5 бит/символ. С количеством информации неразрывно связана скорость ее передачи. Численно скорость передачи информации определяется ее количеством, переданным за секунду. Предельные возможности скорости передачи информа­ции оцениваются пропускной способностью (часто используется термин ем­кость) канала связи. Пропускная способность канала численно равна макси­мальному количеству информации, которое можно передать по каналу за 1 с. Сообщение (а следовательно, и информация) может быть передано на какое-либо расстояние с помощью определенного материального носителя. Например, при передаче сообщения по почте материальным носителем слу­жит бумага. В радиотехнике в качестве носителей сообщений используются различные сигналы. Сигнал (от лат. signum — знак) — физический процесс (или явление), несущий информацию о состоянии какого-либо объекта на­блюдения. По своей физической природе сигналы могут быть электрически­ми, световыми, звуковыми и др. В радиотехнике в основном используются электрические сигналы. Как правило, электрические сигналы, непосредственно отражающие сообщения, маломощны и низкочастотны. Например, для воспроизведения речи на приемном конце необходимо передавать электрические сигналы с частотами 0,2... 4 кГц. Из курса физики известно, что электрические колеба­ния с такими низкими частотами не могут эффективно излучаться в свобод­ное пространство. Передавать непосредственно эти сигналы можно только по проводным или кабельным линиям (телефонная, телеграфная связь и т. д.). Для передачи информации с помощью свободного пространства ис­пользуются специальные электрические сигналы (переносчики сообщений), которыми являются хорошо излучающиеся и распространяющиеся в сво­бодном пространстве мощные высокочастотные гармонические электромаг­нитные колебания (несущие колебания). Сами несущие колебания не содержат никакой информации (можно сказать, что передают с нулевой скоро­стью), а только ее переносят. Передаваемая информация закладывается в один или ряд параметров несущего колебания. Как известно, длина волны электромагнитного колебания связана с ее циклической частотой и скоростью распространения света следующей фор­мулой (1. 2): (1. 2) где с = 3io8m/c — скорость света, f— частота, Гц. В современной радиотехнике используются электромагнитные колеба­ния, расположенные в диапазоне частот (радиодиапазоне) от 10 до 1013 Гц. Электромагнитные колебания с такими частотами принято называть радио­волнами (часто просто волнами). Общепринятая международная классификация диапазонов радиоволн и соответствующих им диапазонов радиочастот приведена в табл. 1.1. Для обеспечения устойчивой и надежной радиосвязи очень важна длина волны несущего колебания. На выбор того или другого диапазона радиоволн для конкретной системы передачи информации влияет ряд факторов, свя­занных с особенностью излучения и распространения электромагнитных волн, характером имеющихся в заданном диапазоне помех, параметрами сообщения, характеристиками и габаритными размерами передающих и приемных антенн. Рассмотрим вопрос о количественном измерении инфор­мации, доставляемой сигналом. Как уже говорилось, реаль­ный (случайный) сигнал можно заменить его упрощенной дискретной моделью, согласно которой существенными (информативными) считаются лишь те его значения, которые соответствуют ближайшим узлам решетки (сетки), полу­ченной в результате дискретизации сигнала по времени и уровню (рис. 1.19). Если сигнал имеет конечную длитель­ность Т, то число его дискретных отсчетов во времени можно приближенно оценить с помощью теоремы Котельниковa , здесь Fmax - максимальная частота в спектре сигнала х (t). Число уровней сигнала x{t) определяют соотношением (1.63), где шаг квантования Ах определяется требуемой точностью обработки информации. Полагая, что количество информации, которое можно перенести сигналом, будет тем больше, чем больше число возможных сообщений (комбинаций сигнала), дадим оценку числу таких сообщений в рассматриваемом случае. Так как в каждый дискретный момент времени сигнал может принимать одно из т значений, то с помощью двух соседних отсчетов сигнала можно передать уже т2 различных сообщений, за три отсчета — т3 сообщений и т. д. В общем случае число различных комбинаций сигнала за время Т= nt составляет N = тn. Полученное таким образом число N дает комбинаторную оценку информации, содержа­щейся в произвольном дискретном сообщении (слове) из п элементов (букв), каждая из которых принимает одно из т возможных значений, составляющих вместе некоторый алфавит. (Так, с помощью двухразрядного десятичного числа можно записать 100 различных чисел от 0 до 99. При средней длине слова в русском языке п = 5 и алфа­вите с т = 32 буквами можно составить 33,5 миллиона различных слов.) Вместе с тем использование N в качестве меры информации неудобно, так как в данном случае не выполняется условие аддитивности, т. е. пропорциональности между длиной слова (длительностью сигнала) и количеством содержащейся в ней информации. Между тем удвоение времени передачи должно приводить к удвоению количества передаваемой информации. Р. Хартли предложил в качестве меры количества информации использовать логарифм числа возможных сообщений: Согласно Хартли, количество информации в сигнале пропорционально длительности сигнала (числу отсчетов n). Выбор основания логарифма а влияет лишь на размерность, т. е. на единицу измерения количества информации. Наи­более часто принимается а = 2, при этом значение I изме­ряется в битах *. 1 бит — это количество информации, соот­ветствующее одному из двух равновозможных сообщений (да — нет, включить — выключить, исправно — неисправно). В вычислительной технике 1 бит обозначает 1 двоичный разряд — символ, принимающий значение 0 или 1. В каче­стве единицы представления данных в ЭВМ используется байт — слово (набор) из восьми двоичных разрядов (битов). Легко видеть, что байтом можно передать одно из 28 = 256 различных сообщений. Пользуясь формулой (1.65), не учитывают, что различные значения дискретного сигнала могут приниматься им с различными вероятностями. Пусть рi (i = 1, 2,..., т) — апри­орные вероятности появления i-го значения (уровня) сиг­нала . Рис. К определению количества информации в сигнале. Пусть n1 отсчетов сигнала принимают значение отсчетов — значение и т. д. Вероятность подобного события Если общее число отсчетов сигнала п = , достаточно велико, то можно положить Эта формула показывает, что вероятность события есть количество благоприятных исходов к общему числу событий. Тогда . При достаточно большом n можно считать возникающие при этом возможные сочетания равновероятными, т. е. р = 1/N, откуда получим число возможных сочетаний Логарифмируя, находим количество информации в сиг­нале для этого случая: Формула (1.66), впервые предложенная К. Шенноном, дает статистическую оценку количества информации, содер­жащейся в п дискретных отсчетах случайного сигнала (дискретного сообщения). Количество информации, приходящееся на один отсчет (элемент) сигнала, называют удельной информатив­ностью или энтропией сигнала: 1. Количество информации в сообщении равно нулю, если это сообщение известно заранее. Если рассматрива­емый сигнал принимает какое-либо значение хk с вероят­ностью, равной единице (рk = 1), то для i  k имеем рi = О и в соответствии с (1.66) получаем I=0. Для того чтобы сигнал содержал информацию, он должен быть принципи­ально случайным. 2. Количество информации в сигнале максимально, если все его значения равновероятны, т. е. pi = 1/т (i = 1, 2,..., т). Если вероятности всех значений сигнала одинаковы, то предсказать поведение сигнала практически невозможно. Неопределенность ситуации велика, поэтому каждый сле­дующий отсчет, снимая неопределенность, несет большую информацию. Если же какое-то из значений сигнала существенно преобладает, можно с большим успехом пред­сказать дальнейшее поведение сигнала. Вероятность ошибки такого предсказания мала. Если все значения сигнала равновероятны, то формулы (1.65) и (1.66) совпадают: подставляя pi = 1/т в (1.66) находим Это означает, что формула Хартли дает верхнюю оценку для количества информации, содержащейся в сигнале с не­равномерным распределением значений. 3. Количество информации, получаемой при измерении непрерывного сигнала x(t), можно найти по формуле где f(x) — плотность вероятности случайного (стационар­ного) процесса х (t); п — число измерений (отсчетов); х — погрешность измерения.