 |
Алфавитный подход к определению количества информации
|
|
|
|
Позволяет измерить информации, заключенную в тексте на некотором языке (естественном или формальном)
Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. Измеряемая информация рассматривается с точки зрения кибернетического подхода.
Алфавит - множество символов, используемых при записи текста.
Мощностью (размером) алфавита - полное количество символов в алфавите.
Обозн: N.
Обычно под алфавитом понимают только буквы, но так как в тексте могут встречаться знаки препинания, цифры, скобки, пробел, то их тоже включают в алфавит
Поэтому мощность алфавита русских букв:
 |
Отсюда, мощность нашего алфавита N=54.
Какая может быть минимальная мощность алфавита? (2, например алфавитом из двух символов Ф и П можно записать любые слова русского языка, например слон: ФФППФПФ)
При алфавитном подходе считается, что каждый символ имеет «информационный вес», который зависит от мощности алфавита.
Обозн: i
Информационный вес символа двоичного алфавита принят за единицу информации и называется 1 бит
Сколько бит информации содержит текст, записанный с помощью символов двоичного алфавита:
10101101111? (11 бит)
С увеличением мощности алфавита увеличивается информационный вес символов этого алфавита.
| 2i =N |
- формула связи веса (i) каждого символа алфавита и мощности (N) этого алфавита
Ограничений на максимальный размер алфавита теоретически не существует. Однако, есть алфавит, которым можно назвать достаточным. Это алфавит мощностью = 256 символов
(В алфавите такого размера можно поместить практически все необходимые символы: строчные и прописные латинские и русские буквы, цифры, знаки арифметических операций, (), знаки препинаний, пробел). Компьютерные редакторы работают с алфавитом в 256 символов.
|
|
|
Т.к 256=28, сколько весит 1-н символ такого алфавита? (8 бит) Это настолько характерная величина, что ей дали свое название -1 байт.
1 байт =8 бит
Информационный объем всего текста равен сумме информационных весов всех символов, составляющих текст.
Задание:
Пусть некоторая книжка, созданная с помощью компьютерного текстового редактора, содержит 150 страниц. На каждой странице 40 строк, в каждой строке 60 символов (включая пробелы)
Вычислите Информационный объем всей книги?
2400 *150=360000 байт
Уже на этом примере видно, что байт маленькая единица.
А если нужно измерить информационный объем библиотеки? В байтах это громадное число.
Для таких целей используются более крупные единицы:
Единицы измерения количества информации:
| 1 байт=8 бит | 1 Килобит= | 1024 бит | |
| 1 Килобайт= | 1 Кб= | 210 байт= | 1024 байт |
| 1 Мегабайт= | 1 Мб= | 210 Кб= | 1024 Кб |
| 1 Гигабайт= | 1 Гб= | 210 Мб= | 1024 Мб |
| 1 Терабайт= | 1 Тб= | 210 Гб= | 1024 Гб |
| 1 Петабайт= | 1 Пб= | 210 Тб= | 1024 Тб |
Информационный объем вышеупомянутой книги (в разных единицах):
360 000 байт.
360000 / 1024 = 351,5625 Кбайт.
351,5625 / 1024 = 0,34332275 Мбайт.
Задачи
№1 Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита? (3 бита)
№2 Сообщение, записанное буквами из 64-х символьного алфавита содержит 20 символов. Какой объем информации оно несет?
6 бит * 20 =120 бит
Содержательный подход (Количество И как мера уменьшения неопределенности знания).
Измеряемая И. рассматривается в субъективном подходе
(Процесс познания окружающей мира приводит к накоплению информации в форме знаний, фактов, теорий)
Получение новой И приводит к расширению знаний или, как иногда говорят к уменьшению неопределенности знания
Количество информации можно рассматривать как меру уменьшения неопределенности знания, при получении информационных сообщений
|
|
|
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность означает, что ни одно сообщение не имеет преимуществ перед другими.)
| N=2i |
- Формула, связывающая количество возможных равновероятных информационных сообщений N с количеством информации i, которое несет полученное сообщение.
1 бит – такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в 2 раза.
При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел и решка). Оба эти варианта равновероятны.
Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.
|
|
|
