Теория информации и теория ее кодирования

Теория информации как самостоятельная научная дисциплина, связанная с восприятием, передачей и переработкой, хранением и использованием информации. Теория информации была основана американским ученым К. Шенноном в конце 40 – х гг. 20 – го в. Как было сказано в предыдущем параграфе, предложенная Шенноном теория основывалась на фундаментальном понятии количественной меры неопределенности – энтропии – и связанного с нею понятия – количества информации. Другим фактором становления теории информации стало осознание того, что носитель информации – сигнал – имеет случайную природу.

Таким образом, на основе понятий энтропии и количества информации в теории информации введены важные характеристики сигналов и информационных систем.

Рассмотрим основные из них:

1. Скорость создания информации Н – энтропия источника, отнесенная к единице времени.

2. Скорость передачи информации R – количество информации, передаваемое по каналу связи в единицу времени (например, для речи в обычном темпе – около 20 бит/с).

3. Избыточность – свойство сигналов, состоящее в том, что каждый элемент сигнала (например, символ в тексте) несет информации меньше, чем может нести потенциально. При отсутствии помех избыточность вредна, так как снижает эффективность использования системы (снижает скорость передачи по каналу связи, увеличивает требуемый объем памяти при запоминании, увеличивает число операций при обработке и пр.). Вместе с тем избыточность – единственное средство борьбы с помехами, так как именно она позволяет установить, какие символы были испорчены шумами, и восстановить переданный сигнал. Избыточность определяется по формуле:

,

где n – текущая длина (число символов) сигнала, а n₀ – длина сигнала при максимальной информационной загрузке, т.е. минимальная из длин сигналов, несущих ту же информацию.

4. Пропускная способность канала связи С – максимальная скорость передачи информации: C = max R, где максимум отыскивается среди всех мыслимых приемно-передающих систем, связанных данным каналом (Шенноном рассматривал разные способы кодирования при фиксированных мощностях сигналов и шумов). Экспериментально установлено, что пропускная способность зрения и слуха человека около 5 бит/с.

Среди результатов теории информации наибольшее внимание привлекли теоремы о кодировании.

Код – правило, описывающее соответствие знаков или их сочетаний одного алфавита знакам или их сочетаниям другого алфавита или знаки вторичного алфавита, используемые для представления знаков или их сочетаний первичного алфавита.

Кодирование – перевод информации, представленной посредством первичного алфавита, в последовательность кодов.

Декодирование – операция, обратная кодированию, т.е. восстановление информации в первичном алфавите по полученной последовательности кодов.

Суть «Основной теоремы о кодировании в отсутствии шума» сводится к следующим утверждениям: при отсутствии шумов желательно реализовать безызбыточное кодирование, обеспечив тем самым передачу информации самыми короткими кодовыми словами. Средняя длина кодового слова при этом не может быть меньше величины H/log m, где Н – энтропия множества передаваемых сообщений, а m – число символов в алфавите кода. Важно, что к указанной границы длины кодового слова можно приблизиться при любом распределении вероятностей на множестве сообщений.

Но, пожалуй, самым замечательным результатом теории информации является доказательство, что при любых помехах и шумах можно обеспечить передачу информации без потерь. И если первая теорема Шеннона о кодировании при наличии шумов гласит, что при H<C можно передавать информацию со сколь угодно малой вероятностью ошибок, несмотря на шумы, то значение этой теоремы усилилось еще больше в результате доказательства второй теоремы Шеннона, которая относится к каналам с искажениями. Согласно этой теореме, для таких каналов всегда существует способ кодирования, при котором сообщения будут передаваться с какой угодно высокой достоверностью, если только скорость передачи не превышает пропускной способности канала связи.

Эти результаты легли в основу математической теории кодирования, имеющей большое практическое значение.

Новизна, общность и абстрактность понятий теории информации побудили многих специалистов приложить ее к задачам разных наук. Наиболее естественными оказались связи новой науки – математической статистики (теории извлечения информации из измерений. Обнаружились также глубокие связи понятий теории информации со статистической физикой. Вместе с тем появились и поверхностные, бесплодные предложения, от чего предостерегал еще Шеннон. Не следует забывать, что теория информации описывает лишь некоторые стороны информационных отношений и не претендует на исчерпывающее описание той роли, которую играет информация в человеческом обществе, живых организмах и других системах. Попытки снять эти ограничения (вводя количественные меры для ценности, верности, смысла информации) продолжаются многими учеными.

Раздел теории информации связан с задачами кодирования и декодирования сообщений, поступающих к потребителям и посылаемых из источников информации. Эти задачи теория кодирования решает с учетом задачи наилучшего согласования посылаемой информации с каналами связи (каналами передачи данных). Под этим понимается стремление максимально использовать пропускную способность канала, а также обеспечить передаваемым сообщениям нужную степень защищенности от помех.

Одна и та же информация может быть представлена посредством различных алфавитов (примером может служить алфавит русских букв и английский алфавит, с помощью которых можно выразить одну и ту же информацию). В связи с такой возможностью возникает проблема перехода от одного алфавита к другому, причем, такое преобразование не должно приводить к потере информации. Условимся называть алфавит, с помощью которого представляется информация до преобразования, первичным; алфавит конечного представления – вторичным.

Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечивает возврат к исходной информации без каких-либо ее потерь.

Примером обратимого кодирования является представление знаков в телеграфном коде и их восстановление после передачи. Примером кодирования необратимого может служить перевод с одного естественного языка на другой – обратный перевод, вообще говоря, не восстанавливает исходного текста. Безусловно, для практических задач, связанных со знаковым представлением информации, возможность восстановления информации по ее коду является необходимым условием применения кода.

Одна из важнейших задач, решаемых в теории кодирования – это разработка специальных корректирующих кодов, которые позволяют находить и исправлять ошибки, возникающие при передаче сообщений.

Проблема кодирования с минимальной избыточностью – одна из важных задач, исследуемых и решаемых в теории кодирования. Созданы многие десятки корректирующих и обнаруживающих ошибки кодов для каналов связи с различными характеристиками шумов и искажениями, вносимых при передаче сообщений.

Вопросы для самопроверки:

1. Как возникла теория информации и теория кодирования?

2. Перечислите важные характеристики сигналов, раскройте их.

3. Для важна характеристика «избыточность кода». Приведите пример кодирования с избыточностью.

4. Сформулируйте понятия код, кодирование, декодирование.

5. Раскройте содержание теорем К. Шеннона о кодировании информации в каналах без искажений и с искажениями.

6. Для чего необходимы корректирующие коды?