 |
Количество информации в дискретных сообщениях.
|
|
|
|
Количество информации в дискретных сообщениях.
Процесс измерения связан с отбором информации у объекта и передачей ее получателю. Информацию можно оценить количественно, ее мерой служит величина уменьшения неопределенности статистических сведений об объекте.
Рассмотрим дискретные сообщения. Источник информации может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. Каждому состоянию источника «u» ставится в соответствие условное обозначение: u1, u2, …, uN. В общем случае источник характеризуется ансамблем U, т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу
(1)
причем
или 
Меру неопределенности выбора состояний источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояний источника. Мера должна монотонно возрастать с увеличением возможностей выбора, т.е. числа возможных состояний N, причем недопустимые состояния (состояния с вероятностями ноль) не должны учитываться, т.к. они не меняют неопределенности. Кроме того, мера должна отвечать требованию аддитивности, состоящему в следующем.
Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний nimj, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно NM, то искомая функция должна удовлетворять условию
|
|
|
(2)
Соотношение (2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний:
(3)
Тогда при N=1 H(U)=0 и требование аддитивности выполняется.
Справка. О свойстве аддитивности.
Предположим, что в сообщении о том, что объект находится в каком-то i-ом состоянии, содержится тем больше количества информации, чем более неопределенными были сведения об объекте до получения сообщения, т.е. чем меньше была априорно известная получателю вероятность Pi. Естественно предположить, что количество информации Ii об объекте в данном сообщении должно быть функцией величины 
. Каков вид зависимости 
?
Если есть некоторое сложное сообщение эквивалентно нескольким простым, взятым вместе, то количество информации, содержащееся в сложном сообщении, должно быть равно сумме количеств информации, содержащихся в каждом из простых сообщений.
Пусть одновременно рассматриваются два взаимно независимых объекта, каждая из которых может принимать n состояний с равной вероятностью 
. Число возможных комбинаций из состояний двух объектов n2, а вероятность любого из них 
. В сложном сообщении содержится столько же информации, сколько и в 2х простых: первый в i-ом, а второй в j–м состояниях, количество информации Iсл в сложном сообщении является функцией величины 
, и в простом Iпр- величины 
. Требование
соблюдается в том случае, если I в каждом сообщении пропорционально логарифму от 1/Р. При этом коэффициент пропорциональности и основание логарифма могут быть любыми. Удобно пользоваться двоичными логарифмами, а коэффициент пропорциональности положить равным единице.
Для рассматриваемого примера
Итак, количество информации в одиночном дискретном сообщении о событии, имеющем априорную вероятность Pi. 
Указанная мера (3) предложена американским ученым Р.Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб и единицу неопределенности. Удобнее выбирать основание равное двум, что соответствует элементам с двумя устойчивыми состояниями. При этом единица неопределенности называется двоичной единицей или битом, и представляет неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. Binary digit - двоичная единица).
|
|
|
Ранее вводилось предположение о равномерности состояний объекта, что слишком загрубляет модель.
Степень неопределенности реализаций состояний объектов (источников информации) зависит не только от числа состояний, но и от вероятностей этих состояний.
При неравновероятных состояниях свобода выбора источника ограничивается, что приводит к уменьшению неопределенности. Если источник имеет два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен, а во втором случае – неопределенность максимальна (при равно вероятных состояниях).
С учетом сказанного мера неопределенности выбора дискретным источником i-го состояния, вероятность которого Pi, из ансамбля состояний U равна
(4)
Это неопределенность, приходящаяся на одно конкретное состояние источника.
Практически интересна не эта величина, а среднее количество неопределенности приходящееся на выбор одного состояния. Меру неопределенности выбора дискретным источником состояния из ансамбля U называют энтропией дискретного источника, энтропией конечного ансамбля или энтропией объекта:
(5)
Здесь усреднение выполнено с учетом вероятности выбора каждого из состояний: количество неопределенности выбора i-го состояния умножено на весовой коэффициентPi. Это неопределенность, приходящаяся в среднем на одно состояние.
Свойство энтропии.
1. Энтропия является вещественно и неотрицательной величиной (очевидно).
2. Энтропия – величина ограниченная. Для слагаемых – P i log P i при 0< P i£1 ограниченность очевидна. Остается выяснить предел 
:
Обозначив 
и воспользовавшись правилом Лопиталя, получим
|
|
|
3. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице, а остальных - нулю, то есть состояние источника полностью определена.
4. Энтропия максимальна, когда все состояния источника равновероятны (доказывается методом множителей Лагранжа):
(6)
5. Энтропия источника «u» с двумя состояниями u1 и u2 изменяется от 0 до 1, достигая максимум при равенстве вероятностей:
График зависимости H(U) в функции P приведен на рис. 1.
(7)
Отметим, что H(U) непрерывно зависит от вероятностей состояний, что вытекает из непрерывности функций – P log P.
Рис. 1.
6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.
Не теряя общности, ограничимся двумя источниками u и v.
Под объединением двух источников понимают обобщенный источник информации (u, v) характеризующийся вероятностями P (u i, v j) всех возможных комбинаций состояния u i, v j источников u и v. Аналогично трактуется объединение ансамблей.
|
|
|
