 |
Измерение информации. Алфавитный подход
|
|
|
|
II. Теоретические основы информатики
Список статей
1. Измерение информации — алфавитный подход
2. Измерение информации — содержательный подход
3. Информационные процессы
4. Информация
5. Кибернетика
6. Кодирование информации
7. Обработка информации
8. Передача информации
9. Представление чисел
10. Системы счисления
11. Хранение информации
12. Языки
Основными объектами изучения науки информатики являются информация и информационные процессы. Информатика как самостоятельная наука возникла в середине ХХ столетия, однако научный интерес к информации и исследования в этой области появились раньше.
В начале ХХ века активно развиваются технические средства связи (телефон, телеграф, радио).
В связи с этим появляется научное направление “Теория связи”. Его развитие породило теорию кодирования и теорию информации, основателем которых был американский ученый К.Шеннон. Теория информации решала проблему измеренияинформации, передаваемой по каналам связи. Известны два подхода к измерению информации: содержательный и алфавитный.
Важнейшая задача, поставленная теорией связи, — борьба с потерей информации в каналах передачи данных. В ходе решения этой задачи сформировалась теория кодирования, в рамках которой изобретались способы представления информации, позволяющие доносить содержание сообщения до адресата без искажения даже при наличии потерь передаваемого кода. Эти научные результаты имеют большое значение и сегодня, когда объемы информационных потоков в технических каналах связи выросли на многие порядки.
Предшественником современной информатики явилась наука “Кибернетика”, основанная трудами Н.Винера в конце 1940-х — начале 50-х годов. В кибернетикепроизошло углубление понятия информации, было определено место информации в системах управления в живых организмах, в общественных и технических системах. Кибернетика исследовала принципы программного управления. Возникнув одновременно с появлением первых ЭВМ, кибернетика заложила научные основы как для их конструктивного развития, так и для многочисленных приложений.
|
|
|
ЭВМ (компьютер) — автоматическое устройство, предназначенное для решения информационных задач путем осуществления информационных процессов: хранения, обработки и передачи информации. Описание основных принципов и закономерностей информационных процессов также относится к теоретическим основам информатики.
Компьютер работает не с содержанием информации, которое способен воспринимать только человек, а с данными, представляющими информацию. Поэтому важнейшей задачей для компьютерных технологий является представление информации в форме данных, пригодных для их обработки. Данные и программы кодируются в двоичном виде. Обработка любого типа данных сводится в компьютере к вычислениям с двоичными числами. Именно поэтому компьютерные технологии еще называют цифровыми. Понятие о системах счисления, о представлении чисел в компьютере относятся к базовым понятиям информатики.
Понятие “язык” происходит из лингвистики. Язык —это система символьного представления информации, используемая для ее хранения и передачи. Понятие языка относится к числу базовых понятий информатики, поскольку как данные, так и программы в компьютере представляются в виде символьных конструкций. Язык общения компьютера с человеком все более приближается к формам естественного языка.
К фундаментальным основам информатики относится теория алгоритмов. Понятие алгоритма вводится в статье “Обработка информации”. Подробно эта тема раскрывается в пятом разделе энциклопедии.
|
|
|
Измерение информации. Алфавитный подход
Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста, который пропорционален размеру текста — количеству символов, составляющих текст. Иногда данный подход к измерению информации называют объемным подходом.
Каждый символ текста несет определенное количество информации. Его называют информационным весом символа. Поэтому информационный объем текста равен сумме информационных весов всех символов, составляющих текст.
Здесь предполагается, что текст — это последовательная цепочка пронумерованных символов. В формуле (1) i 1обозначает информационный вес первого символа текста, i 2—информационный вес второго символа текста и т.д.; K —размер текста, т.е. полное число символов в тексте.
Все множество различных символов, используемых для записи текстов, называется алфавитом. Размер алфавита — целое число, которое называется мощностью алфавита. Следует иметь в виду, что в алфавит входят не только буквы определенного языка, но все другие символы, которые могут использоваться в тексте: цифры, знаки препинания, различные скобки, пробел и пр.
Определение информационных весов символов может происходить в двух приближениях:
1) в предположении равной вероятности (одинаковой частоты встречаемости) любого символа в тексте;
2) с учетом разной вероятности (разной частоты встречаемости) различных символов в тексте.
|
|
|
