Основные направления в современной теории информации

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ СИСТЕМЫ

Основные понятия и концепции теории информации

Трудно найти более широкое и употребительное понятие, чем информация, но отнюдь не легче дать ему определение, которое объединило бы в себе множество смысловых значений, сопровождающих употребление этого термина.

Имеется множество определений понятия информации от наиболее общего философского (информация есть отражение реального мира) до наиболее узкого практи­ческого (информация есть все сведения, являющиеся объектом хранения, передачи и преобразования).

Некоторыми зарубежными авторами информация трактуется с идеалистических позиций в отрыве от мате­рии как некоторая субстанция, занимающая промежуточ­ное положение между материей и сознанием.

Несомненно, что формулируемое определение должно характеризовать наиболее общие и существенные признаки информации. Так как теория информации плодотворно используется уже во многих областях, то обсуждение вопроса о том, что такое информация, вышло за рамки технических, естественных и других частных наук. Понятие информации должно рассматриваться в связи со структурой, сложностью, упорядоченностью, организацией объектов любой природы.

Понятия структуры, системы, организации, упорядоченности предполагают использование понятия разнообразия, поэтому при анализе понятия информации следует в качестве его основы принять концепцию разнообразия, понимая под разнообразием не только разнообразие элементов, но с разнообразие связей, отношений, свойств и т.д.

Разнообразие имеет определенные аспекты и этот факт нашел свое отражение в различных подходах к созданию теории информации, в различных математических концепциях информации, изучающих различные классы разнообразия: статистическое, комбинаторное, алгоритмическое, топологическое и другие.

Впервые концепцию разнообразия, различия для построения теории информации (точнее ее статистического варианта) применил У. Эшби [17].

Под разнообразием У.Эшби понимает характеристику элементов некоторого конечного множества, заключающуюся в их отличии друг от друга, несовпадении. Если множество имеет некоторое разнообразие и происходит выбор из этого множества, то различные возможные результаты этого выбора будут связаны с соответствующими вероятностями элементов, то есть множество с вероятностями отображается в множестве с разнообразием. Эта идея принята им в качестве статистической модели понятия информации на основе понятия различия, разнообразия.

Если разнообразие множества связать с понятием информации, то логарифмическая мера степени разнообразия, равная логарифму мощности этого конечного множества, может быть принята в качестве меры количества информации.

Некоторой мерой ограничения разнообразия в процессе его перехода от возможности к действительности является вероятность. С ограничением разнообразия как соотношением возможного и действительного разнообразия также связано понятие неопределенности. Это свидетельствует о глубокой связи понятий информации, вероятности и неопределенности на основе концепции разнообразия и поэтому представляется закономерным, что первый (статистический) вариант теории информации, разработанный К.Шенноном, был создан именно на этой основе.

Однако разнообразие – это еще не информация. Разнообразие есть основа информации, а понятие разнообразия – существенный признак содержания понятия информации. Не менее существенным является и другой признак – отражение, а информация представляется как содержание отражения. Такой подход наметил Н.Винер, определив понятие информации как обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.

Отражение – это такое взаимодействие материальных систем, которое ведет к установлению определенного тождества между системами, когда содержание одной системы (отражающей) соответствует содержанию другой (отражаемой). Общее определение отражения отнюдь не исключает наличия отражения и внутри системы, ибо между ее частями всегда существует взаимодействие, т.е. можно говорить о самоотражении как особом виде отражения.

Весьма распространенным является также мнение о том, что информация присуща лишь определенным об­разом организованной материи, в которой возможны про­цессы управления. Сторонники этой точки зрения под информацией подразумевают только то, что воспринято и осмыслено, т. е. то, что целесообразно использовать для управления. Нетрудно заметить, что вопрос о сущест­вовании информации здесь неправомерно отождествляется с вопросом о способности объекта к восприятию и исполь­зованию информации. При таком подходе легко сойти на позиции субъективизма, ставящего объективно сущест­вующее в зависимость от воспринимающего субъекта.

При всех различиях в трактовке понятия информации бесспорно то, что проявляется информация всегда в ма­териально-энергетической форме в виде сигналов. Инфор­мацию, представленную в формализованном виде, позво­ляющем осуществить ее обработку с помощью техниче­ских средств, называют данными.

В настоящее время существует множество достаточно самостоятельных ветвей развития теории информации, изучающих различные ее виды и функции, однако в каждой из них исследование ведется либо в количественном, либо в качественном аспекте. Первое направление, получившее название математического, изучает количественные соотношения и в качестве одного из основных понятий оперирует с количеством информации. Второе, логическое направление изучает смысловое содержание (семантическая теория) и ценность информации (прагматическая теория).

Существующие математические теории информации используют один из следующих подходов: статистический (вероятностный), комбинаторный, топологический и алгоритмический.

Статистическая теория информации, основы которой разработаны К.Шенноном, является исторически первой и достаточно законченной теорией, оказавшей существенное влияние на все последующие исследования.

К.Шеннон одним из первых обратил внимание на то, что количество информации может быть определено на основе понятия вероятности.

Неопределенность (определенность) может быть принята в качестве характеристики как объективной действительности, так и ее отражения в формах деятельности субъекта, а потому правомерно связать изменение неопределенности с количественной мерой информации.

Статистическая теория информации отвлекается от качественной стороны неопределенности, количественное снятие неопределенности трактуется как процесс получения информации, а в качестве меры снятой неопределенности используется понятие количества информации.

Таким образом, в статистической теории информации мера снятой неопределенности в результате некоторого события, вероятность которого известна, называется количеством информации или, точнее, индивидуальным количеством информации. При этом не учитывается качество, смысл, ценность и т. д. информации.

Обычно рассматривается не индивидуальное, а среднее количество информации для некоторой совокупности событий, зависящее не только от их количества, но и от распределения вероятностей.

Основные направления в современной теории информации

 

В современной теории информации выделяется три основных направления, которые в настоящее время развиваются наиболее интенсивно.

1. Семантическое, задачей которого является исследование смыслового содержания информации.

2. Прагматическое, объектом исследования в котором является ценность информации.

3. Статистическое, в котором на основе вероятностного подхода к информационным процессам изучаются математические закономерности получения, передачи и использования информации в системах связи и управления.

Рассмотрим кратко указанные направления развития теории информации.

1.2.1. Семантические теории информации

Основная идея семантической концепции информации заключается в возможности измерения содержания суждений, которое связано с его формой, т.е. здесь семантические свойства выражаются через синтаксические свойства информации.

Синтаксические свойства характеризуют внутренние отношения между элементами и их связями, это свойство конкретной системы, и цель синтактики – изучение только формальных аспектов языка [Харкевич?]. Семантика же изучает не только формальные правила, но и правила отношений информации к действительным вещам и их связям. Поскольку в формальных конструкциях отображается действительность, то возможно измерение содержания через его форму – в этом исходные предпосылки семантических теорий информаций.

Семантическая теория информации является логическим аналогом теории Шеннона. Для измерения содержания высказывания используется понятие логической вероятности, например, степени подтверждения гипотезы, записанной на формализованном языке.

Содержание информации определяется возможными состояниями обозначаемого объекта в данной языковой системе. С помощью методов индуктивной логики выявляется связь выдвинутой гипотезы с начальным достоверным знанием. Связь между гипотезой и достоверным знанием определяется степенью подтверждения гипотезы. Логарифм степени подтверждения гипотезы принимается равным количеству семантической информации, содержащейся в гипотезе.

Перспективный подход к оценке семантической информации предложен Ю. Шрейдером [] на базе образной концепции значения и концепции разнообразия. Теория строится в предположении, что приемнику известен алфавит источника сообщений. В более общей формулировке это означает, что приемник обладает некоторым запасом знаний – тезаурусом, который может с получением сообщений изменяться, если существует алгоритм их анализа. При этих условиях количество семантической информации, содержащейся в сообщении, естественно измерять степенью изменения тезауруса под влиянием содержания сообщения.

В отличие от вероятностных теорий информации, где количество получаемой информации тем больше, чем меньше сведений имеется об источнике, в теории Ю. Шрейдера мера семантической информации растет, если одно и то же сообщение поступает в приемники со все более сложным (богатым) тезаурусом, так как в более сложных тезаурусах больше возможностей для изменения. Действительно, содержание информации должно быть формализовано на языке, понятном приемнику, в противном случае ее восприятие останется на синтаксическом уровне как набор некоторых знаков, не имеющих семантического содержания. Однако и при известных алфавите и коде количество семантической информации может быть равно нулю, во-первых, потому, что сообщение содержит понятия, неизвестные приемнику в силу бедности его тезауруса, и, во-вторых, если содержание сообщения не имеет существенной новизны.

Между этими границами лежит область, где приемник получает от источника сообщений некоторое количество информации. Естественно предположить, что внутри этой области достигается максимум восприятия семантической информации, положение которого зависит как от сложности сообщения, так и от уровня развития тезауруса приемника.

Совершенно ясно, что передачу информации нужно вести вблизи этого максимума, для чего необходима оптимизация режимов передачи и восприятия информации.

Математические и логические методы такой оптимизации в настоящее время интенсивно разрабатываются, однако говорить об ощутимых практических результатах пока преждевременно.

Предпринимались и другие более или менее удачные попытки оценить семантику информации.

 

1.2.2. Прагматические теории информации

Прагматические теории информации в качестве объекта исследования рассматривают ценность информации как отношение между информацией и воспринимающей ее системой, в то время как семантические теории исследуют отношение между информацией и источником сообщений.

Одна из первых таких теорий [Харкевич] основывалась на том, что информация служит для достижения некоторой определенной цели и является ценной, если способствует достижению данной цели. Однако одна и та же информация может иметь различную ценность, если рассматривать ее с точки зрения использования для различных целей. Ограничиваясь случаем, когда цель достаточно точно определена, в [] делается вывод, что ценность может быть измерена через приращение вероятности достижения цели, т.е. через количество информации, принятое в статистической теории, где под количеством информации понимается мера снятой неопределенности. При статистическом подходе полагается, что неценная информация не уменьшает неопределенность и поэтому,, если в результате получения сообщения неопределенность не уменьшилась, то считается, что приемник не получил информации. Таким образом, статистическая теория учитывает ценность лишь в некоторой, отнюдь не достаточной степени, так как приемник и цель передачи информации (снятие неопределенности) всегда фиксированы, а варьируется лишь количество информации. А для прагматической теории (теории ценности) необходимо варьировать не только количество информации, но и получателей и цели, которые они ставят.

Поэтому прагматические теории информации рассматривают теорию Шеннона как предельный, частный случай – для фиксированных получателей информации и целей.

Следует отметить, что вероятность достижения цели при получении сообщения увеличивается только тогда, когда содержащаяся в нем информация является истинной, т.е. неискаженной в процессе передачи. Поскольку понятия истинности и ложности являются семантическими характеристиками, то отсюда следует, что ни количественные, ни семантические, ни прагматические аспекты информации не могут рассматриваться изолированно друг от друга. Поэтому в достаточно абстрагированной статистической теории неявно предполагается и ценность и смысл информации.

Другой вариант прагматической теории, разрабатываемый в [13], использует теоретико-игровой подход, связывающий статистическую теорию информации с теорией оптимальных решений. В отличие от количества информации, определяемого лишь заданием вероятностей, мера ценности информации здесь определяется введением функции потерь (штрафов), т.е. наряду с пространством вероятностей вводится пространство оценок. Оценка информации производится в зависимости от конкретных решаемых задач (целей) по результатам минимизации потерь. Максимальной ценностью обладает та информация, которая уменьшает потери до нуля.

Представляет интерес также теория ценности, впервые предложенная в [Бонгард], где предполагается, что неопределенность может нетолько уменьшаться, но и возрастать, если передается ложное сообщение – дезинформация. Таким образом, информация может иметь и отрицательную ценность или не иметь ее вовсе. Понятие полезной информации вводится с помощью решающего алгоритма. Информация называется полезной, если она уменьшает неопределенность решающего алгоритма. Изменение неопределенности связано с перераспределением вероятностей в решающем алгоритме. Изменение этих вероятностей в соответствии с поступающей информацией осуществляется декодирующим алгоритмом. Полезность информации приобретает смысл, если указаны решаемая задача, начальное состояние решающего алгоритма и свойства декодирующего алгоритма.

Нетрудно заметить, что во всех трех подходах, наряду с определенными различиями, ценность информации связывается с той или иной целью, а измеряется при помощи количества информации. Совершенно очевидно, что объективной основой ценности информации является разнообразие, так как ценность всегда связана с возможностью выбора. Любой объект содержит бесконечное количество элементов, связей, отношений, т.е. потенциально содержит бесконечное количество информации. В соответствии с поставленной целью происходит некоторый выбор из бесконечного разнообразия, то есть его ограничение, поэтому ценность информации может рассматриваться как свойство ограничения разнообразия, изменяющееся в зависимости от целей воспринимающей системы.

 

1.2.3. Статистическая теория информации

Разработка статистической теории информации была вызвана практической необходимостью решения прблем связи и управления, где вопросы передачи и переработки информации занимают центральное место. Изучение закономерностей передачи сообщений по техническим каналам связи, установление существенной общности и взаимосвязи процессов управления и коммуникации привело к появлению вероятностно-статистических методов определения количества передаваемой информации. В результате этого в 1948 году независимо друг от друга были опубликованы работы Н.Винера [] и К.Шеннона [4], содержащие основные идеи, положения и математический аппарат современной статистической теории информации. Главная роль здесь все же принадлежит ставшей классической статье К.Шеннона, которую автор назвал «Математическая теория связи», но в которой содержались важнейшие принципы и теоремы, составляющие основное содержание не только современной теории информации, но и теории передачи информации, теории кодирования и т.д.

Статистическая теория информации К.Шеннона накладывает на исследуемые явления четкую систему абстракций, основанную на том универсальном свойстве процессов связи, что каждое сообщение, независимо от его природы, содержания и назначения, выбирается из заранее известного множества возможных сообщений (множества, имеющего некоторое разнообразие), поэтому получателю информации достаточно знать результат выбо­ра (ограничения разнообразия), неопределенность которого до получения сообщения зависит от числа элементов множества сообщений (степени разнообразия) и их вероятностей, равных в cyммe единице.

Таким образом, в качестве объекта исследования рассмат­ривается некоторый ансамбль событий, состояниям которого при­суща некоторая степень неопределенности, или, другими словами, рассматривается оистема, обладающая некоторым разнообра­зием.

Отражение этого разнообразия в вероятностном (статисти­ческом) смысле характеризует информацию, получаемую от систе­мы в виде некоторых сведений, интересующих получателя. Инфор­мация,выраженная в некоторой форме, представляет собой сообще­ние,как совокупность сведений о рассматриваемой системе.Сооб­щение приобретает смысл только тогда, когда состояние системы случайно, неопределенно, иначе не было бы смысла переда­вать сообщение. Сообщения любых реальных источников информа­ции (дискретных и непрерывных) можно представить конечный набором кодовых знаков из конечного алфавита. В случае, например, двоичной системы счисления все сообщения можно зако­дировать последовательностью нулей и единиц, при этом источ­ник в абстрактной модели системы будет иметь алфавит из двух символов, но тем не менее полностью опишет реальный источник с алфавитом из любого конечного числа символов. Введение та­кой абстракций правомерно, если принять во внимание принци­пиально ограниченную разрешающую способность получателя ин­формация, поэтому те сообщения, которые не различимы получа­телем, можно рассматривать как одно сообщение. Задача изме­рения информации в этом случае сводится к определению мини­мально необходимого для представления сообщения количества символов алфавита (нулей и единиц). Это число зависит от ме­ры неопределенности, выбора символа реального источника. В качестве меры неопределенности в статистической теория.инфор­мация принята величина энтропии ансамбля событий (источника сообщений).

По своему физическому смыслу энтропия источника сообще­ний - это минимально необходимое число знаков некоторого ко­да (определяемого единицей измерения), которое нужно затра­тить в среднем на один символ реального алфавита источника, когда он посредством операции кодирования заменяется своим отображением в абстрактной системе связи.

Уменьшение степени неопределенности состояния системы в результате сообщения (разность априорной и апостериорной энтропии системы) в статистической теории информации измеря­ется количеством информации. Если используется алфавит из двух символов, то единица измерения энтропии и количества информации называется «бит» (binary digit). Следует отметить, что выражение количества информации в абстрактной системе связи в битах носит идеальный характер. В реальных сообщениях никаких "бит", естественно, не содержится и выражение «передано 10 бит информации» означает только и только то, что процесс пе­редачи сообщения, которое может иметь сколь угодно сложную форму, эквивалентен в технике связи передаче десяти чередую­щихся в определенном порядке токовых посылок и пауз.

В процессе передачи и обработки сообщения в информационной системе обычно происходит изменение формы, перекодирование разнообразия. Поэтому следует отметить, что объектом передачи в системе связи является не форма представления сообщения, а такая информация о нем, которая позволяет восстановить на приемной стороне исходное сообщение с требуемой точностью. Именно эта информация должна оставаться инвариантной при всех преобразованиях ее материального носителя. Физическая величина, отображающая сообщение источника информации, называется сигналом. Под сигналом понимается любой процесс или объект, при помощи которого можно передавать закодированное разнообразие. В частном случае сообщение и сигнал могут совпадать. Совершенно очевидно, что процесс отражения разнообразия (передача информации), кроме отражаемого и отражающего объектов (источника и получателя информации), может осуществляться только при наличии еще одного компонента – среды. Такой средой, предназначенной для передачи сигнала, является канал связи.

Итак, согласно концепции Шеннона в статистической тео­рии информации любые качественно различные сообщения преоб­разуются в единую абстрактную математическую форму, а все разнообразные способы передачи сообщений приводятся к единой абстрактной модели системы связи, состоящей из следующих основных компонентов:

1. Источник информации, создающий сообщение или последовательность сообщений, которые могут представлять собой последовательность букв или цифр, некоторую непрерывную функцию времени или других переменных, несколько функций времени от одной или нескольких переменных, комбинации функций времени и т.д.

2. Передатчик, преобразующий некоторым образом сообщения источника в сигналы, соответствующие условиям и спосо­бу передачи информации, т.е. это устройство, осуществляющее кодирование сообщений.

3. Канал связи - среда, соединяющая передатчик и прием­ник в данной системе связи. 4. Приемник, воспринимающий сигналы и восстанавливающий по ним исходное сообщение, выполняя при этом операцию, обратную по отношению к операции, выполняемой передат­чиком, т.е. приемник осуществляет декодирование сигналов в сообщение. 5. Получатель информации - человек или техническая сис­тема, для которых предназначено передаваемое сообщение.

В зависимости от типа сообщения и способа его передачи системы связи разделяют из дискретные, непрерывные и смешанные. Математический анализ, исследование и оптимизация ука­занных компонентов дискретных, непрерывных и смешанных систем связи являются основными задачами и целями созданной Шенноном статистической теории информации.

Н.Винер в своей знаменитой работе «Кибернетика, или управление и связь в животном и машине» в результате выявления сходства, общих черт процессов связи и управления в ма­шинах, живых существах и обществе так же определил количество информации на основе концепции выбора, уточнения неопределенной ситуации. Согласно точке зрения Н.Винера восприятие, передача и хранение информации представляют собой прицессы связи, а ее переработка - процессы управления. Н.Винер толку­ет кибернетику как теорию организации, где процессы восприятия, передачи, хранения и преобразования информации нужныдля существования, выживания, устойчивости кибернетических систем, и считает, что информационный подход может быть использован для измерения организации, упорядоченности, сложности любых систем. Идеи Н.Винера о применимости статистического варианта теории информации к системно-структурным исследованиям были впоследствии развиты У.Р.Эшби, который полагает, что «теория информации является, по существу, методом полу­чения некоторого знания о причинно-следственных отношениях в тех случаях, когда причин и следствий так много, что деталь­ное познание каждой отдельной пары «причина-следствие» оказы­вается невозможным, но у нас остается еще последняя возможность считать, что данное количество причин достаточно для выявления того же количества следствий» [эшби].

Специфику ки­бернетических систем У.Эшби видит, помимо их сложности, в

свойстве непроницаемости, замкнутости для информации в ре­зультате чего.разнообразие внешних возмущений не может проникнуть в систему, не будучи зарегистрированным. Отсюда делается вывод, что кибернетическая система на определениям уров­не организации превращается в информационную, т.е. в систему, способную к использованию информации и вместе с тем к управ­лению.

Так как информацияесть свойство материи, которое по­средством той или иной формы отражения может быть передано от одного материального объекта к другому и запечатлено в его структуре, то количество информации как мера сложности, организации, упорядоченности материальных объектов может быть оп­ределено только приих взаимодействии между собой. Вне процесса взаимодействия количественная оценка информации невоз­можна, поскольку разнообразие состояний любого материального объекта, рассматриваемого как отдельный источник информации, припереходе от макро- к микроструктуре принципиально не ограничено. А если учесть принцип неопределенности Гейзенберга, устанавливающий предел различимости микросостояний объекта или физического переносчика сообщений, то количественная мера разнообразия (информационная емкость) структуры объекта ста­новится величиной относительной, определяющей предельные условия взаимодействия материальных объектов. Таким образом, информация есть характеристика не сообщения, а соотношения между источником информации и ее потребителем, способ описания взаимодействия.

Статистическая теория информации изучает такие формы взаимодействия, которые хотя и зависят от энергетической стороны взаимодействия, но не определяются ею, так как информация независима от типа материального носителя и от физического способа передачи. Зависимость же информации от энергии состоит в том, что создание, переработка и хранение информации невозможны без энергетических затрат. Обычно затраты энергии на получение одного бита информации пренебрежимо малы, но по­ложение может измениться, например, при очень точных измерениях.

Определенная зависимость информации и энергии в неживой природе отнюдь не означает тождественности информационного и энергетического подходов при исследовании. Действительно, величина энергии не зависит от разнообразия компонентов, со­ставляющих некоторый объект, здесь действует закон взаимосвя­зи массы и энергии, установленный А.Эйнштейном, который пока­зывает зависимость энергии от массы, т.е. в какой то мере oт числа элементов системы, но не от их разнообразия. Информация же зависит именно от разнообразия системы. Поэтому количество, информации может служить характеристикой не величины энергии, а мерой неоднородности распределения энергии в пространстве и времени. Информация существует постольку, поскольку существу­ют сами материальные объекты и, следовательно, созданные ими неоднородности [ю].

В заключение следует отметить, что абстрактная модель системы связи, лежащая в основе статистической теории информа­ции, хотя и не может адекватно описать многие процессы и яв­ления действительности, нашла достаточно широкое применение и доказала свою плодотворность в различных приложениях и, в первую очередь, при решении технических задач коммуникаций и управления.

 

12Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: