Условная энтропия. Объединение зависимых систем
Пусть имеются две системы
Определим теперь условную энтропию системы
или
Формулу (18.4.2) можно также записать в форме математического ожидания:
где знаком Условная энтропия зависит от того, какое состояние
или, пользуясь формулой (18.4.2),
Внося
или
Но по теореме умножения вероятностей
Выражению (18.4.6) тоже можно придать форму математического ожидания:
Величина Пример 1. Имеются две системы
Определить полные условные энтропии Решение. Складывая вероятности
Записываем их в нижней, добавочной строке таблицы. Аналогично, складывая
и запишем справа дополнительным столбцом. Деля
По формуле (18.4.5') находим
Пользуясь таблицей 7 приложения, находим
Аналогично определим
Составим таблицу условных вероятностей
Отсюда
Пользуясь понятием условной энтропии, можно определить энтропию объединенной системы через энтропию ее составных частей. Докажем следующую теорему: Если две системы
Для доказательства запишем
По теореме умножения вероятностей
следовательно,
откуда или, по формулам (18.2.11), (18.3.3)
что и требовалось доказать. В частном случае, когда системы
В общем случае
Соотношение (18.4.9) следует из того, что полная условная энтропия
Неравенство (18.4.10) будет доказано в Из соотношения (18.4.9) следует, что энтропия сложной системы достигает максимума в крайнем случае, когда ее составные части независимы. Рассмотрим другой крайний случай, когда состояние одной из систем (например
Если состояние каждой из систем
Теорему об энтропии сложной системы легко можно распространить на любое число объединяемых систем:
где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.
Энтропия и информация В предыдущих Рассмотрим некоторую систему или
т. е. количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы. Представим формулу (18.5.1) в виде:
где Формула (18.5.2) означает, что информация Действительно, для получения
Тогда информация
где буквой Так как все числа Если все возможные состояния системы априори одинаково вероятны равна средней (полной) информации
В случае, когда состояния системы обладают различными вероятностями, информации от разных сообщений неодинаковы: наибольшую информацию несут сообщения о тех событиях, которые априори были наименее вероятны. Например, сообщение о том, что 31 декабря в г. Москве выпал снег, несет гораздо меньше информации, чем аналогичное по содержанию сообщение, что 31 июля в г. Москве выпал снег. Пример 1. На шахматной доске в одной из клеток произвольным образом поставлена фигура. Априори все положения фигуры на доске одинаково вероятны. Определить информацию, получаемую от сообщения, в какой именно клетке находится фигура. Решение. Энтропия системы
т. е. сообщение содержит 6 двоичных единиц информации. Так как все состояния системы равновероятны, то ту же информацию несет и любое конкретное сообщение типа: фигура находится в квадрате е2. Пример 2. В условиях примера 1 определить частную информацию от сообщения, что фигура находится в одной из угловых клеток доски. Решение. Априорная вероятность состояния, о котором сообщается, равна
Частная информация равна
Пример 3. Определить частную информацию, содержащуюся в сообщении впервые встреченного лица Решение. Априори все дни в году с одинаковой вероятностью могут быть днями рождения лица
Пример 4. В условиях примера 3 определить полную информацию от сообщения, выясняющего, является ли сегодняшний день днем рождения впервые встреченного лица
Решение. Система, состояние которой выясняется, имеет два возможных состояния: Полная информация равна:
Пример 5. По цели может быть произведено Решение. Рассмотрим физическую систему
Вероятности состояний даны в таблице:
Очевидно, информация, доставляемая выяснением состояния системы
откуда
где Например, при
Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Действительно, рассмотрим систему с двумя состояниями:
Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии Если информация от какого-то сообщения равна В некоторых простейших случаях для выяснения содержания сообщения действительно удается поставить несколько вопросов так, чтобы ответы «да» и «нет» на эти вопросы были равновероятны. В таких случаях полученная информация фактически измеряется числом таких вопросов. Если же поставить вопросы точно таким образом не удается, можно утверждать только, что минимальное число вопросов, необходимое для выяснения содержания данного сообщения, не меньше, чем информация, заключенная в сообщении. Чтобы число вопросов было минимальным, нужно формулировать их так, чтобы вероятности ответов «да» и «нет» были как можно ближе к
Пример 6. Некто задумал любое целое число
а нам предлагается угадать его, поставив минимальное число вопросов, на каждый из которых дается ответ «да» или «нет». Решение. Определяем информацию, заключенную в сообщении, какое число задумано. Априори все значения
Минимальное число вопросов, которые нужно поставить для выяснения задуманного числа, не меньше трех. В данном случае можно, действительно, обойтись тремя вопросами, если сформулировать их так, чтобывероятности ответов «да» и «нет» были равны. Пусть, например, задумано число «пять», мы этого не знаем и задаем вопросы: Вопрос 1. Число Ответ. Нет. (Вывод: Вопрос 2. Число Ответ. Да. (Вывод: Вопрос 3. Число Ответ. Да. (Вывод: число Легко убедиться, что тремя такими (или аналогичными) вопросами можно установить любое задуманное число от 1 до 8. Таким образом, мы научились измерять информацию о системе Различия между непосредственно интересующей нас системой 1) Различия за счет того, что некоторые состояния системы 2) Различия за счет ошибок: неточностей измерения параметров системы Примером различий первого типа могут служить различия, возникающие при округлении численных данных и вообще при грубом описании свойств системы В случае, когда интересующая нас система Естественно определить эту информацию как уменьшение энтропии системы
Действительно, до получения сведений о системе Величину (18.5.5) мы будем называть полной (или средней) информацией о системе Докажем, что
т. е. из двух систем каждая содержит относительно другой одну и ту же полную информацию. Для доказательства запишем энтропию системы
откуда
или
что и требовалось доказать. Введем обозначение:
и будем называть информацию Посмотрим, во что обращается полная взаимная информация в крайних случаях полной независимости и полной зависимости систем. Если
т. е. полная взаимная информация, содержащаяся в независимых системах, равна нулю. Это вполне естественно, так как нельзя получить сведений о системе, наблюдая вместо нее другую, никак с нею не связанную. Рассмотрим другой крайний случай, когда состояние системы и
т. е. получается случай, уже рассмотренный нами выше (формула (18.5.2)), когда наблюдается непосредственно интересующая нас система Рассмотрим случай, когда между системами Очевидно, энтропия подчиненной системы меньше, чем энтропия той системы, которой она подчинена. Определим полную взаимную информацию, содержащуюся в системах, из которых одна является подчиненной. Пусть из двух систем
т. е. полная взаимная информация, содержащаяся в системах, из которых одна является подчиненной, равнаэнтропии подчиненной системы. Выведем выражение для информации Пользуясь теоремой об энтропии объединенной системы (стр. 479), получим:
Подставляя это выражение в формулу (18.5.5), получим:
т. е. полная взаимная информация, содержащаяся в двух системах, равна сумме энтропий составляющих систем минус энтропия объединенной системы. На основе полученных зависимостей легко вывести общее выражение для полной взаимной информации в видематематического ожидания. Подставляя в (18.5.12) выражения для энтропий:
получим или
Для непосредственного вычисления полной взаимной информации формулу (18.5.13) удобно записать в виде
где
Пример 1. Найти полную взаимную информацию, содержащуюся в системах Решение. Из примера 1
Пример 2. Физическая система
При наблюдении за системой Решение. В данном примере мы наблюдаем не саму систему
Находим взаимную информацию, т. е. энтропию подчиненной системы:
Воспользуйтесь поиском по сайту: ![]() ©2015 - 2025 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...
|