Главная | Обратная связь | Поможем написать вашу работу!
МегаЛекции

Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объѐм данных (V Д) понимается в техническом смысле этого слова как информационный объѐм сообщения или как объѐм памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объѐм сообщения измеряется в битах и равен количеству двоичных цифр (―0‖ и ―1‖), которыми закодировано сообщение.

В компьютерной практике слово ―бит‖ используется также как единица измерения объѐма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (―включено‖ и ―выключено‖) и в неѐ может быть записана одна двоичная цифра (0 или 1). Понятно, что бит – слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 28 различных чисел. Для измерения ещѐ бОльших объѐмов информации используются такие величины:

 

1 Килобайт = 210 байт =1024 байт

 

1 Мегабайт =210 Килобайт =1024 Килобайт

 

1 Гигабайт =210 Мегабайт =1024 Мегабайт

1 Терабайт =210 Гигабайт =1024 Гигабайт

Количество информации I на синтаксическом уровне определяетсячерез понятие энтропии системы.

 

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

 

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала Hβ(α).

 

Тогда количество информации Iβ(α) в системе, полученной в сообщении β, определится как:

 

Iβ(α)=H(α) – Hβ(α),

 

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность Hβ(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Iβ(α)=H(α). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающейинформации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:


  N

i

 

H (a)= -

å i  

P log P

 
  i =1    

 

 

,

 


где Pi – вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности

равны     Pi      =1/ N,      ее      энтропия     определяется     соотношением


N

1

   

H (a)= -å

log

 

N

 

i =1

   
     


 

 

1 N


 

 

.

 


 

Пример 1.1 Часто информация кодируется числовыми кодами в тойили иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = m n,

где N –число всевозможных отображаемых состояний;

 

m –основание системы счисления(разнообразие символов,применяемых в алфавите);

n –число разрядов(символов)в сообщении.

 

Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет:

 

I=log N=n log m –формула Хартли.

 

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I

= V Д,полученных по каналу связи.

 

Поделиться:





Воспользуйтесь поиском по сайту:



©2015 - 2024 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...