Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объѐм данных (V _Д) понимается в техническом смысле этого слова как информационный объѐм сообщения или как объѐм памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объѐм сообщения измеряется в битах и равен количеству двоичных цифр (―0‖ и ―1‖), которыми закодировано сообщение.

В компьютерной практике слово ―бит‖ используется также как единица измерения объѐма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (―включено‖ и ―выключено‖) и в неѐ может быть записана одна двоичная цифра (0 или 1). Понятно, что бит – слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 28 различных чисел. Для измерения ещѐ бОльших объѐмов информации используются такие величины:

 

1 Килобайт = 2¹⁰ байт =1024 байт

 

1 Мегабайт =2¹⁰ Килобайт =1024 Килобайт

 

1 Гигабайт =2¹⁰ Мегабайт =1024 Мегабайт

1 Терабайт =2¹⁰ Гигабайт =1024 Гигабайт

Количество информации I на синтаксическом уровне определяетсячерез понятие энтропии системы.

 

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

 

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I_β(α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала H_β(α).

 

Тогда количество информации I_β(α) в системе, полученной в сообщении β, определится как:

 

I_β(α)=H(α) – H_β(α),

 

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_β(α)=H(α). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающейинформации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

	N	i
H (a)= -	å i
	P log P
	i =1

 

 

,

 

где Pi – вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности

равны     P_i      =1/ N,      ее      энтропия     определяется     соотношением

N	1
H (a)= -å		log
	N
i =1

 

 

1 N

 

 

.

 

 

Пример 1.1 Часто информация кодируется числовыми кодами в тойили иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = m ⁿ,

где N –число всевозможных отображаемых состояний;

 

m –основание системы счисления(разнообразие символов,применяемых в алфавите);

n –число разрядов(символов)в сообщении.

 

Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет:

 

I=log N=n log m –формула Хартли.

 

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I

= V _Д,полученных по каналу связи.

 

Предыдущая12345678910111213141516Следующая

Поделиться:

Воспользуйтесь поиском по сайту: