 |
Энтропийный способ измерения информации
|
|
|
|
ВВЕДЕНИЕ В ИНФОРМАТИКУ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Часть 1
Методические указания к выполнению
лабораторных работ по дисциплинам
«Информатика», «Информационные технологии»
для студентов очной и заочной формы обучения направлений
040400.62, 030900.62, 040100.62, 190700.62, 140400.62,
190600.62, 190109.65, 190110.65, 151900.62, 150700.62,
220700.62, 220400.62, 280700.62, 221700.62
Курган 2014
Кафедра: «Информатика»
Дисциплина: «Информатика», «Информационные технологии»
(направления 040400.62, 030900.62, 040100.62, 190700.62, 140400.62, 190600.62, 190109.65, 190110.65, 151900.62, 150700.62, 220700.62, 220400.62, 280700.62, 221700.62)
Составили: ст. преподаватель Л.Г. Сысолятина, ст. преподаватель В.Я. Котликова, ст. преподаватель М.Б. Бекишева
Утверждены на заседании кафедры «19» ноября 2013 г.
Рекомендованы методическим советом университета «__» марта 2014 г.
Методы и модели оценки количества информации
Информация является одной из исходных категорий мироздания. Информацию наряду с веществом и энергией рассматривают в качестве важнейшей сущности мира, в котором мы живем. Определение информации невозможно свести к каким-то более простым, более исходным терминам. Аналогичными неопределяемыми понятиями, например, в математике являются точка или прямая. Можно сделать некоторые утверждения, связанные с этими математическими понятиями, но определить их с помощью более элементарных понятий нельзя. На бытовом уровне и во многих научных дисциплинах термин «информация» ассоциируется с понятиями сведения, данные, знание, сообщения и др.
Объемный способ измерения информации
Объем информации в сообщении – это количество символов в сообщении.
Поскольку одно и то же число может быть записано разными способами (с использованием различных алфавитов): тридцать два, 32, XXXII, 1000002, то этот способ чувствителен к форме представления сообщения. В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, звук и т.д.) представлена в двоичной форме. Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт.
|
|
|
Энтропийный способ измерения информации
Наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации называется теорией информации.
Любое сообщение, с которыми мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение, т.е. сообщение приобретает смысл тогда, когда состояние системы заранее неизвестно, случайно.
Поэтому в качестве объекта, о котором передается информация, мы будем рассматривать некоторую физическую систему, которая случайным образом может оказаться в том или ином состоянии, т.е. систему, которой заведомо присуща какая-то степень неопределенности.
Возникает вопрос: что значит «большая» или «меньшая» степень неопределенности и чем можно ее измерить?
Сравним между собой две системы, каждой из которых присуща некоторая неопределенность:
1) Монета, которая в результате бросания может оказаться в одном из двух состояний
2) Игральная кость, у которой 6 возможных состояний: 1, 2, 3, 4, 5, 6.
Неопределенность какой-то системы больше? Очевидно, второй, т.к. у нее больше возможных состояний, в каждом из которых система может оказаться с одинаковой вероятностью.
Может показаться, что степень неопределенности системы определяется числом возможных состояний системы. Но в общем случае это не так.
Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно; 2) отказало.
|
|
|
Пусть до получения сведений (априори) вероятность исправной работы устройства 0,99, а вероятность отказа – 0,01.
Такая система обладает очень малой степенью неопределенности: почти наверняка можно сказать, что устройство будет работать исправно.
При бросании монеты тоже имеется 2 возможных состояния, но степень неопределенности гораздо больше.
Таким образом, степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.
Перейдем к общему случаю.
Рассмотрим некоторую систему X, которая может принимать конечное множество состояний x1, x2, … xn с вероятностями p1, p2, … pn, где
pi = P(X ~ xi) – вероятность того, что система X примет состояние xi. Очевидно, 
.
Запишем эти данные в виде таблицы
| xi | x1 | x2 | … | xn | |
| pi | p1 | p2 | pn |
В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.
Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком.
H(x)= – 
(1.1)
(знак «–» поставлен для того, чтобы энтропия была положительной; числа 0<pi<1 и их логарифмы отрицательны).
Логарифм может быть взят при любом основании a>1. Перемена основания равносильна умножению энтропии на постоянное число, а выбор основания равносилен выбору определенной единицы измерения энтропии. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 – о «двоичных единицах».
На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах. Это хорошо согласуется с применяемой в компьютерах двоичной системой счисления.
Энтропия системы, которая имеет два равновозможных состояния (в качестве основания логарифма выберем 2) равна единице:
H(X)= 
Определенная таким образом единица энтропии называется двоичной единицей и обозначается bit (от английского binary digit – двоичный знак)
Это энтропия одного разряда двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.
|
|
|
Энтропия системы X, которая имеет n равновероятных состояний, измеренная в двоичных единицах, определяется по формуле (1.2)
H(X)= 
(1.2)
Таким образом
H(X)= 
(1.3)
Т.е. энтропия системы с равновозможными состояниями равна логарифму числа состояний.
Например, для системы с восемью состояниями
H(X) = 
Свойства энтропии [1]:
1) Энтропия обращается в ноль, когда одно из состояний системы достоверно, а другие невозможны (действительно, в этом случае все вероятности p1, p2, …, pn обращаются в нуль, кроме одной, например, pk, которая равна единице. pk logpk = 1×log1 = 0)
2) При заданном числе состояний энтропия обращается в максимум, когда эти состояния равновероятны. При увеличении числа состояний энтропия увеличивается.
3) Свойство аддитивности. Когда несколько независимых систем объединяются в одну, их энтропии складываются.
Энтропия и информация
Итак, мы определили энтропию как меру неопределенности состояния некоторой физической системы. Очевидно, что в результате получения сведений неопределенность системы может быть уменьшена. Чем больше объем полученных сведений, чем более содержательны сведения, тем больше информации о системе, тем менее неопределенным будет состояние системы.
Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения.
Рассмотрим некоторую системы Х, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения информации энтропия системы была H(X). После получения сведений состояние системы полностью определилось, т.е. энтропия стала равной нулю.
Обозначим Ix информацию, получаемую в результате выяснения состояния системы Х. Она равна уменьшению энтропии:
Ix=H(x) – 0
или
Ix = H(X), (1.4)
|
|
|
