Информационная мера шеннона.
⇐ ПредыдущаяСтр 3 из 3
Количество информации и избыточность. Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов. Пусть Количество информации Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения. При равномерном распределении
Справедливы следующие соотношения: 1) 2) 3) Избыточностью называется Рассмотрим примеры. Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:
Определить, какой источник дает большее количество информации, если 1) Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:
С другой стороны, Поскольку
Пример 2. Источник сообщений выдает символы из алфавита Решение. По формуле Шеннона
По определению избыточности
Энтропия непрерывных сообщений Непрерывныесистемы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале
Пусть Формулы для энтропии где Пример 1. По линии связи передаются непрерывные амплитудно-модулированные сигналы Определить энтропию Решение. По условию плотность вероятности сигнала Подставляя числовые значения, получаем
Задачи 2.3.1. Определить энтропию источника информации
Известно, что в сообщении источника 100 символов. Определить, сколько символов потребуется для передачи этой информации при использовании безызбыточного алфавита той же размерности; 2.3.2. На выходе источника сообщений может появляться нуль и единица. Вероятность появления каждого сообщения изменяется со временем и в каждый момент времени может быть определена по формулам: Необходимо исследовать изменение энтропии источника информации во времени и определить момент времени, когда математическая модель опыта теряет смысл. Энтропия источника сообщений вычисляется в соответствии с формулой Шеннона. Все вычисления сводятся в таблицу:
Значения Математическая модель опыта имеет смысл, когда выполняются соотношения для вероятностей Значения После заполнения таблицы результатами вычислений следует построить графики изменения При анализе графиков обратить внимание на точку, где энтропия принимает наибольшее значение и наименьшее значение. Указать значения вероятностей появления символов в этих точках и моменты времени. 2.3.3. Определить значение энтропии 1) для равномерного (прямоугольного) закона распределения:
2) для Гауссовского (нормального) закона распределения:
3) для Симпсоновского (треугольного) закона распределения:
2.4. Контрольные вопросы 2.4.1. Дать определение энтропии. 2.4.2. Как связаны между собой формулы Хартли и Шеннона? 2.4.3. Может ли энтропия быть отрицательной? 2.4.4. В каких случаях энтропия равна нулю? 2.4.5. При каких условиях энтропия принимает максимальное значение? 2.4.6. В чем состоит правило сложения энтропий для независимых источников? 2.4.7. Что понимают под непрерывными системами передачи? 2.4.8. Как определить количество информации непрерывных сообщений?
Воспользуйтесь поиском по сайту: ![]() ©2015 - 2025 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...
|