Мера количества информации в дискретном сигнале (по Р. Хартли)

 

В теории информации в ее современном виде не требуется определения понятия информации как таковой; необходимым и достаточным для построения теории является понятие количества информации.

В соответствии с определением предмета теории ин­формации в ее современном состоянии вводимая мера информации должна быть полезной для анализа и синте­за систем передачи и хранения информации. Поэтому ис­комая мера, очевидно, должна быть «нечувствительной» к смыслу, ценности, степени правдивости информации. Например, задачей системы связи является точная и свое­временная передача сообщений независимо от того, со­держат ли последние для получателя ценность, смысл и правдивость или же нет.

Введение количественной меры инфор­мации является весьма трудной задачей. Действительно, информация может быть чрезвычайно разнообразной: мы можем получить изве­щение о приезде знакомых или родственников, можем услышать по радио или прочесть в газе­тах о тех или иных событиях; узнать о новом открытии или изобре­тении и т.п. Различная информация будет вызывать у нас раз­личные эмоции и будет представлять различную ценность. Иногда краткое, содержащее лишь несколько слов, извещение может иметь для нас неизмеримо большее значение, чем текст, состоящий из мно­гих слов и страниц. Из двух книг равного объема мы можем извлечь совершенно различную информацию. Очевидно, что количествен­ная мера информации не должна противоречить нашим интуитивным представлениям, должна охватывать то общее, что присуще всему многообразию различной информации, и, главное, эта мера должна быть полезной для теории и практики построения различных систем передачи и преобразования информации.

Таким об­разом, сообщение о том, что произойдет событие, которое дол­жно произойти почти наверняка, содержит в себе очень мало информации. Напротив, сообщение о том, что произойдет со­бытие, которое почти наверняка произойти не должно, содер­жит много информации. Сообщение о некотором событии со­держит тем больше информации, чем больше изменяется ве­роятность этого события после приема сообщения о нем, по сравнению с вероятностью того же события до того, как было принято соответствующее сообщение. В общем случае мерой количества информации в сообщениях должна слу­жить величина, измеряющая изменение вероятности события под действием сообщения.

Количество информации должно определяться через нечто общее, объективно присущее всему многообразию различной информации, оставаясь при этом созвучным нашим интуитивным представлениям, связанным с фак­том получения информации. Этим общим, характеризу­ющим факт получения произвольной информации, явля­ется, во-первых, наличие опыта. Всякая информация добывается нами в результате опыта и только опыта. Опы­том может служить прослушивание радиопередачи, ви­зуальное наблюдение события, измерение некоторого параметра процесса тем или иным прибором и т. п. Во-вто­рых, до опыта должна существовать некоторая неопреде­ленность в том или ином исходе опыта. В самом деле, если бы получателю до опыта было известно, какое сооб­щение он получит, то, получив его, он не приобрёл бы ни­какого количества информации. До опыта всегда имеется большая или меньшая неопределенность в интересующей нас ситуации. После опыта (после получения информации) ситу­ация становится более определенной и на поставленный вопрос мы можем ответить либо однозначно, либо число возможных ответов уменьшится и, следовательно, умень­шится существовавшая ранее неопределенность. Количе­ство уменьшенной неопределенности после опыта, оче­видно, можно отождествить с количеством полученной информации в результате такого опыта.

Теперь ясно, что для установления формулы для вы­числения количества информации необходимо уметь вы­числять неопределенность некоторой ситуации до и пос­ле опыта. Разность между этими количествами неопреде­ленности и даст нам искомое количество информации, полученное от такого опыта.

Первая попытка определения количественной меры информации была предпринята американским инженером Р.В. Хартли в 1928 г., однако данное им опре­деление оказалось недостаточно универсальным.

Основные соотношения, определяющие количественную меру информации, и основные теоремы теории информации были сформули­рованы К. Шэнноном и опубликованы в 1949 г.

Предположим сначала, что после опыта не­определенности нет. К примеру, при бросаниях монеты возможны два исхода опыта: выпадет орел или выпадет решка. После опыта неопределенности исхода нет—вы­пал, к примеру, орел. В данном случае, как ясно из ска­занного выше, неопределенность до опыта будет числен­но равна количеству полученной информации.

В этой ситуации к количеству информации (или, что то же самое, к количеству неопределенности до опыта) можно предъявить три интуитивных требования.

1. Количество получаемой информации больше, в том опыте, у которого большее число возможных исходов.

Обозначая количество информации буквой I, а число возможных исходов п,первый постулат запишем в виде , если .

2. Опыт с единственным исходом необходимо несет количество информации, равное нулю.

Символически это выглядит так: I(п = 1) = 0.

3. Количество информации от двух независимых опы­тов должно равняться сумме количеств информации от каждого из них. Это естественное требование аддитивности вводимой меры количества информации.

Например, количество информации, содержащееся в двух различных по содержанию (независимых) книгах, равно сумме количеств информации, содержащихся в отдельных книгах. Однако если одна книга содержит часть другой, то количество информации от двух таких книг не будет равно сумме количеств информации от книг в отдельности, а будет несколько меньше.

В аналитической записи условие 3 примет вид

,

так как опыт, объединяющий два опыта с исходами соответственно и , имеет исходов.

Итак, вводимая мера информации должна монотонно возрастать с увеличением длительности сигнала, которую естественно измерять числом символов в дискретном сигнале и временем передачи в непрерывном случае. Очевидно также, что количество информации зависит от числа употребляемых элементов сигнала. Например, при пятибалльной системе оценок полученная оценка более полно характеризует состояние знаний обучающегося, чем оценка по двухбалльной системе. Другими словами, количество информации на один элемент сигнала тем больше, чем больше число возможных элементов; этим свойством должна обладать и вводимая мера информации.

Имеются и другие факторы, влияющие на содержание информации в сигнале. Поскольку всякий сигнал должен рассматриваться как случайный процесс (см. гл.3), статистические характеристики такого процесса тоже должны влиять на содержание информации в сигнале.

Задача, как видим, сводится к отысканию некоторого числа, монотонно возрастающего с увеличением длительности и увеличением числа возможных элементов сигнала, и подходящим образом изменяющегося при изменении статистических характеристик сигнала.

Можно высказать предположение, что таким числом, или основой для построения такого числа, может служить число N различимых реализаций, образующих процесс, или (как иногда принято говорить) число различных сигналов.

Проверим это предположение обратившись к рассмотрению самого простого случая. Простейший случай определяется следующими условиями.

1. Сигнал однозначно определяется состоянием источника. Отсутствуют помехи, шумы и неоднозначные преобразования.

2. Сигнал дискретен как по времени, так и по информативным параметрам. Такой сигнал является последовательностью сменяющих друг друга различных состояний источника; в технике дискретной связи эти состояния рассматриваются как символы.

3. Множество различимых состояний (т.е. множество символов, или алфавит) не только дискретно, но и конечно. Смена состояний (появление новых символов) происходит таким образом, что

4. все состояния (символы) являются равновероятными,

5. вероятностные связи между различными символами отсутствуют, т.е. символы являются статистически независимыми.

Этот простейший случай впервые рассмотрен Р. Хартли в 1928г.

Пусть сигнал представлен в виде случайной функции вре­мени X (t),имеющей длительность не более Т секи ма­ксимальное значение Х_т.

Если считать спектр сигнала ограниченным часто­той F Гц,то можно определить число интервалов кван­тования сигнала по времени, которое будет равно (см. гл. 2) n =2 FT.

Осуществляя квантование сигнала по уровню, можно указать число уровней квантования m. Таким образом, область возможных значений сигналов может быть пред­ставлена в виде прямоугольной сетки, стороны которой равны Т и Х_т, причем сигнал определяется только в точках пересечения вертикальных и горизон­тальных линий сетки.

Предположим вначале, что число т уровней кванто­вания равно трем (0; 1; 2). Если рассмотреть сигнал, имеющий только один момент отсчета (n =1), то возможные значения сигнала будут просто равны этим уровням. Следовательно, количество различных значений сигнала в этом случае равно трем.

Если рассмотреть сигнал, имеющий два момента отсчета (n = 2), то возможные значения сигнала будут являться комбинациями этих уровней, а именно:

00 01 02 10 11 12 20 21 22,

где первая цифра характеризует значение уровня в пер­вый момент отсчета, а вторая цифра — во второй мо­мент отсчета. Следовательно, всего будет девять различ­ных значений сигнала. Продолжая рассмотрение подоб­ным образом, легко установить общую зависимость для числа N возможных значений сигнала, которая будет иметь вид

Таким образом, квантованная по времени и по уровню и ограниченная значениями Т и Х_т случайная функция времени будет иметь N реализаций. Какое-либо устрой­ство, вырабатывающее рассмотренную случайную функ­цию, может при этом выдать любую из реализаций. Оче­видно, естественно считать, что чем больше N, тем более разнообразную информацию может выдать подоб­ное устройство. Однако какой будет эта информация?

Предположим, известно, что источник информации имеет один уровень квантования (m =1). Тогда любой сигнал в интервале от 0 до Г будет состоять из последо­вательности символов только одного вида, например h ₁и мы будем заранее знать, что передается по каналу связи, когда он включен. Иными словами, прием сиг­нала не доставляет никакой дополнительной информа­ции о том, что передается.

Пусть теперь имеется два уровня квантования (m = 2). Так как эти уровни могут передаваться в любой очередности, то мы не знаем заранее, какая их комби­нация передается в данный момент, и лишь после прие­ма получаем ответ на этот вопрос, т. е. получаем допол­нительную информацию о сигнале. Чем меньше данных о передаваемом сигнале нам известно заранее (априори), тем больше дополнительной информации мы получим о нем после приема. Так как число уровней квантова­ния m и длительность сигнала Т (выраженная в коли­честве интервалов п) нам известны, то априорное зна­ние сигнала будет тем меньше, чем больше возможных комбинаций он имеет. Так, например, если длитель­ность Т фиксирована и определяется n = 2, то при n = 2 будут следующие возможные комбинации сигнала:

00 01 10 11,

и рамки наших предположений о сигнале ограничи­ваются четырьмя возможными случаями. Если при п=2 число уровней квантования равно трем, то будут уже следующие возможные комбинации сигнала:

00 01 02 10 11 12 20 21 22,

и наши предположения о том, какой сигнал будет пере­дан, станут менее достоверными.

Как видно, число возможных комбинаций сигнала также увеличивается, если число уровней квантования т фиксировано, но увеличивается длительность сигнала (т. е. число п).

Таким образом, количество информации, которое можно перенести сигналом, будет тем больше, чем больше N — число возможных комбинаций сигнала. От­сюда следует, что количество информации, содержа­щейся в сигнале, можно определить количеством воз­можных сформированных сообщений по отношению к данному, принятому за единицу измерения.

Из приведенных выше рассуждений также следует, что количество информации будет неизменным, если N фиксировано. Наши рассуждения первоначально наво­дят на мысль о том, что в качестве меры количества ин­формации можно было бы использовать число возмож­ных комбинаций сигнала N. Вот что по этому поводу сказано у Р. Хартли [35], впервые предложившего коли­чественную меру информации: «Посмотрим, насколько хорошо оно (т. е. число N) удовлетворяет требованиям, предъявляемым к подобной мере. При выбранной нами мере количество переданной информации экспонен­циально растет с числом выборов (п) и вклад каждого выбора в общий итог переданной информации прогрессивно возрастает. Несомненно, что такое возрастание зачастую имеет место в связи, рассматриваемой с пси­хологической точки зрения. Так, например, слово «да» или «нет», приходя в конце затянувшейся дискуссии, мо­жет иметь исключительно большое значение. Однако та­кие случаи являются скорее исключением, чем прави­лом. Но мы должны установить меру, не зависящую от психологических факторов. Рассматривая физическую систему, мы не обнаруживаем такого экспоненциального нарастания качеств, необходимых для передачи резуль­татов последовательных выборов.

Телеграф передает десятое слово известия не с боль­шим трудом, чем предшествующее. Телефон, успешно передающий речь, продолжает и впредь это делать до тех пор, пока свойства системы остаются неизменными. Для того чтобы мера информации имела практическую инженерную ценность, она должна быть такой, чтобы информация была пропорциональна числу выборов».

Итак, число возможных комбинаций сигнала N не­пригодно для измерения количества информации. Так как необходимо, чтобы количество информации было пропорционально длительности сигнала (числу n), то запишем следующую зависимость:

I = Kn (5.19)(5.15)

где I — количество информации, K — постоянная, зави­сящая от числа значений сигнала m. Чтобы найти зависимость K (m), рассмотрим передачу одного и того же количества информации I с помощью двух различных алфавитов, содержащих соответственно т ₁ и т ₂ символов.

Поскольку при фиксированном N количество инфор­мации I остается неизменным, справедливы соотношения

откуда получаем

Из этого соотношения следует, что коэффициент K про­порционален логарифму m:

K = log_a m.

Следовательно, мера количества информации, опре­делится формулой

I = n log_a m,

или

(5.20)

где а — основание логарифма.

Естественно принять за единицу измерения количе­ство информации, содержащееся в наиболее простом, элементарном сообщении, которое может выдать источ­ник. Легко заметить, что таким элементарным сообще­нием будут два возможных значения уровней при одном отсчете сигнала, что соответствует случаю m = 2, п= 1. При приеме одного из этих двух уровней доставляется информация в один двоичный знак, или одну двоичную единицу.

Основание логарифма в формуле (5.20) легко опре­деляется из этого частного случая 1 = log_a 2 и будет а = 2.

Таким образом, количество информации в двоичных единицах определяется формулой

I = log₂ N двоичных единиц, (5.21)

или

I = n log₂m двоичных единиц. (5.21')

 

Сформулируем, следуя Хартли, окончательное определение:

в качестве меры количества информации принимается логарифм числа возможных последовательностей символов.

Проведенное рассмотрение является упрощенным и опирается в значительно большей степени на физиче­ские представления, чем на строгие формулировки и выводы.

Полученный результат не учитывает ряда важных аспектов передачи информации, и в первую очередь ста­тистических свойств сигналов. Однако даже такой про­стейший случай хорошо иллюстрирует методическую сторону оценки количества информации, и в этом его ценность. Более детальное изучение вопроса является предметом последующего рассмотрения.

 

⇐ Предыдущая12345Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: