 |
Алфавитный подход к измерению количества информации
|
|
|
|
Представьте себе, что вы много раз бросаете монету и записываете результат очередного броска как 1 (если монета упала гербом) или 0 (если она упала «решкой»). В результате получится некоторое сообщение — цепочка нулей и единиц, например 0101001101001110. Вы наверняка поняли, что здесь используется двоичное кодирование — это сообщение написано на языке, алфавит которого состоит из двух знаков (символов): 0 и 1. Как вы знаете из § 3, каждая двоичная цифра несёт 1 бит информации, поэтому полная информация в сообщении 0101001101001110 равна 16 битов.
Теперь представим себе, что нужно закодировать программу для робота, который умеет выполнять команды «вперёд», «назад», «влево» и «вправо». Для этого можно использовать алфавит, состоящий из 4 символов: ↑ ↓ → ←. Сколько информации содержится в сообщении ↑ ← ↑ ↑ → ↓ ↓ ↓ ↓ → ←?
Каждый полученный символ может быть любым из 4 символов алфавита, а для кодирования одного из 4 вариантов требуется уже два бита. Поэтому полное сообщение из 11 символов содержит 22 бита информации.
Алфавитный подход к измерению количества информации состоит в следующем:
1) определяем мощность алфавита N (количество символов в алфавите);
2) по таблице степеней числа 2 определяем количество битов информации i, приходящихся на каждый символ сообщения, — информационную ёмкость (объём) символа:
3) умножаем i на число символов в сообщении L, это и есть полное количество информации: I = L • i.
Обратим внимание на две важные особенности алфавитного подхода.
При использовании алфавитного подхода не учитывается, что некоторые символы могут встречаться в сообщении чаще других. Считается, что каждый символ несёт одинаковое количество информации.
|
|
|
Алфавитный подход не учитывает также частоты появления сочетаний символов (например, после гласных букв никогда не встречается мягкий знак).
Кроме того, никак не учитывается смысл сообщения, оно представляет собой просто набор знаков, которые приёмник, возможно, даже не понимает.
При использовании алфавитного подхода смысл сообщения не учитывается. Количество информации определяется только длиной сообщения и мощностью алфавита.
Во многих задачах такой подход очень удобен. Например, для устройств, передающих информацию по сети, её содержание не имеет никакого значения, важен только объём. Почтальону всё равно, что написано в письмах, важно только их количество, которое влияет на вес сумки. Для компьютера все данные — это последовательности нулей и единиц, смысла данных он не понимает.
Для вычисления информационного объёма текста чаще всего применяют именно алфавитный подход. Например, пусть требуется оценить количество информации в 10 страницах текста (на каждой странице 32 строки по 64 символа) при использовании алфавита из 256 символов. Задача решается так:
1) определяем информационную ёмкость одного символа: так как 256 = 28, один символ несёт i = 8 битов, или 1 байт информации;
2) считаем количество символов на одной странице, в данном случае удобно использовать степени числа 2 (32 = 25, 64 = 26): 25 • 26 = 211 символов на странице;
3) находим общее количество символов на 10 страницах: N = 10 • 211 символов;
4) определяем информационный объём всего текста: I — N • i = 10 • 211 • 1 байтов = 10 • 211 байтов = 10 • 211 • (1/210 Кбайт) = 20 Кбайт.
Вопросы и задания
1. В чём состоит алфавитный подход к измерению количества информации?
2. Приведите примеры ситуаций, когда смысл информации значения не имеет, а важен только её объём.
3. Учитывается ли при алфавитном подходе частота встречаемости символов в тексте?
4. Выберите все утверждения, справедливые для алфавитного подхода:
|
|
|
а) количество информации зависит от длины сообщения;
б) количество информации зависит от мощности алфавита;
в) чем больше мощность алфавита, тем больше количество информации;
г) важен смысл сообщения;
д) сообщение должно быть понятно для приёмника;
е) разные символы могут нести разное количество информации.
5. Технический документ перевели с одного языка на другой (считаем, что это было сделано максимально близко к тексту). Изменился ли смысл документа? Изменился ли его объём? Обоснуйте ответ.
6. Как вы думаете, почему компьютеру легко извлечь несколько предложений с конкретных страниц документа, но трудно составить аннотацию к документу?
Задачи
1. Сообщение состоит из 100 символов, используется алфавит, состоящий из 64 символов. Каков информационный объём этого сообщения?
2. Дан текст из 600 символов. Известно, что символы берутся из таблицы размером 16 х 32, в которой все ячейки заполнены разными символами. Определите информационный объём текста в битах.
3. Для записи текста использовался алфавит, состоящий из 32 символов. Каждая страница текста содержит 32 строки. Информационный объём сообщения, состоящего из 5 страниц, составил 6400 байтов. Сколько символов в каждой строке текста?
4. Страница текста содержит 30 строк по 60 символов в каждой. Сообщение, состоящее из 4 страниц текста, имеет информационный объём 6300 байтов. Какова мощность алфавита?
5. Мощность алфавита равна 256. Сколько Кбайт памяти потребуется для сохранения 160 страниц текста, содержащего в среднем 192 символа на каждой странице?
6. Мощность алфавита равна 64. Сколько Кбайт памяти потребуется, чтобы сохранить 128 страниц текста, содержащего в среднем 256 символов на каждой странице?
7. Секретарь может набирать текст со скоростью 256 символов в минуту. Сколько Кбайт информации он сможет ввести в компьютер за 10 минут, если используется алфавит из 256 символов?
8. Для кодирования секретного сообщения используются 12 специальных знаков. При этом символы кодируются одним и тем же минимально возможным количеством битов. Чему равен информационный объём сообщения длиной в 256 символов?
9. Для кодирования нотной записи используются 7 знаков-нот. Каждая нота кодируется одним и тем же минимально возможным количеством битов. Чему равен информационный объём (в битах) сообщения, состоящего из 180 нот?
|
|
|
10. Объём сообщения равен 7,5 Кбайт. Известно, что данное сообщение содержит 7680 символов. Какова мощность алфавита?
11. Объём сообщения равен 12 Кбайт. Сообщение содержит 16 384 символа. Какова мощность алфавита?
12. Объём сообщения, содержащего 4096 символов, равен 1/512 мегабайта. Какова мощность алфавита, с помощью которого записано это сообщение?
13. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 16 символов, а второй текст — в алфавите из 256 символов. Во сколько раз количество информации во втором тексте больше, чем в первом?
14. Алфавит языка первого племени содержит 8 знаков, а алфавит языка второго племени — 16 символов. Племена обменялись сообщениями, состоящими из одинакового количества символов. Известно, что сообщение второго племени содержало 128 байтов информации. Каков информационный объём сообщения первого племени?
*15. Два текста содержат одинаковое количество символов, но информационный объём второго текста в 1,5 раза больше, чем информационный объём первого. Определите мощности алфавитов, если известно, что в обоих алфавитах число символов меньше 10, и на каждый символ приходится целое число битов.
*16. Два текста имеют одинаковый информационный объём, но количество символов во втором тексте в 3,5 раза больше, чем в первом. Определите мощности алфавитов, если известно, что в обоих текстах число символов меньше 200, и на каждый символ приходится целое число битов.
|
|
|
