 |
3. Параметры системы передачи информации
|
|
|
|
3. Параметры системы передачи информации
Как видно из рис. 2 система передачи информации состоит из 6 блоков.
Рассмотрим подробнее параметры трех составляющих системы передачи информации: источник информации, сигнал и канал.
Форма представления информации для ее передачи, хранения, обработки или непосредственного использования называется сообщением.
Для передачи информации на расстояние необходимо передать содержащие эту информацию сообщения. Такая передача возможна только с помощью какого -–либо –материального носителя – источника информации.
Основными параметрами источника информации являются: множество сообщений V, количество информации I и избыточность R.
3. 1. Источник информации
Из одного источника можно передать множество сообщений:
V= V1, V2, V3,....... Vn, где:
V1 - первый источник
Vn - n-ный источник.
Для сравнения между собой различных источников сообщений, а также различных линий и каналов связи нужно ввести количественную меру, которая дала бы возможность объективно оценить информацию, содержащуюся в сообщении и переносимую сигналом. Такая мера впервые была введена американским ученым К. Шенноном в 1946г.
Информация рассматривается как сообщение об исходе случайных событий, о реализации случайных сигналов. Поэтому количество информации ставится в зависимость от вероятности этих событий.
Если сообщение несет сведения о часто встречающихся событиях, вероятность появления которых стремится к единице, то такое сообщение мало информативно.
Количество информации в сообщении с таких позиций определяется уменьшением неопределенности состояния некоторого процесса. В отношении сигнала, несущего информацию, неопределенность выражается неизвестностью его информационных параметров. Пока сигнал не принят и не определены его информационные параметры, о содержании сообщения можно только догадываться с некоторой вероятностью правдоподобия. После приема сигнала неопределенность в содержании сообщения значительно уменьшается. Если есть гарантия, что при передаче сообщения не возникло искажений сигнала, то неопределенность вообще исчезает. Однако имеется всегда, хотя и малая, вероятность ошибки, так - как без искажений вообще сигнал не может быть передан. Поэтому некоторая неопределенность все – таки остается.
|
|
|
Неопределенность ситуации принято характеризовать величиной, которая называется энтропия. В информатике она характеризует способность источника отдавать информацию. В статической теории информации, учитывающей вероятность появления тех или иных сообщений, энтропия количественно выражается как средняя функция множества вероятностей каждой из возможных реализаций сообщения или несущего сигнала. Исходя из этого, энтропия определяется суммой произведений вероятностей различных реализаций сигнала Х на логарифм этих вероятностей, взятых с обратным знаком:
i=n
H(X)= - ∑ P1 log Pi, где:
i=1
H(X) – энтропия сигнала Х,
Pi – вероятность i – ой реализации случайного сигнала,
n - общее возможное количество реализаций.
Использование энтропии в теории информации оказалось очень удобным в силу ее следующих важных свойств:
энтропия равна нулю, когда одно из событий достоверно, а другие невозможны;
энтропия максимальна, когда все возможные события равновероятны, и растет с увеличением числа равновероятных состояний;
энтропия обладает свойством аддитивности, т. е. энтропию независимых систем можно складывать.
|
|
|
Поясним каждое из перечисленных свойств.
Если ситуация полностью ясна, то никакой неопределенности нет, и энтропия в этом случае равна нулю. Например: если ток в цепи равен 10А, то он не может быть одновременно равным 5А.
На этом примере можно пояснить и второе свойство. Если одно из событий ожидается с очень малой вероятностью, например, Р1 = 0, 01, а другое с высокой, например, Р2 = 0, 99, то неопределенность невелика, т. к. почти наверняка получим второе сообщение.
Если же оба события равновероятны и Р1 = Р2 = 0, 5, то уже нет уверенности, что будет получено какое - то из сообщений, т. е. неопределенность возрастает. Очевидно, что неопределенность возрастает, если вместо одного из двух сообщений может прийти одно из трех, четырех и более.
Сообщения источника обладают избыточностью. Дело в том, что отдельные знаки сообщения находятся в определенной статической связи. Так, в словарях русского языка после двух подряд стоящих согласных букв более вероятна гласная, а после трех подряд согласных наверняка будет гласная. Избыточность позволяет представлять сообщения в более экономной, сжатой форме. Мера возможного сокращения сообщения без потери информации за счет статистических взаимосвязей между его элементами определяется избыточностью. Понятие избыточность применимо не только к сообщениям или сигналам, но и к языку в целом, коду (алфавит любого языка и слова, составленные из его букв, можно рассматривать как код). Например, избыточность европейских языков достигает 60 – 80%.
Наличие избыточности в сообщении часто оказывается полезным и даже необходимым, т. к. позволяет обнаруживать и исправлять ошибки, т. е. повысить достоверность воспроизведения его. Если избыточность в сообщении не используется для повышения достоверности, то она должна быть исключена. Это достигается использованием специального статистического кодирования. При этом избыточность сигнала уменьшается по отношению к избыточности сообщения.
Избыточное кодирование уменьшает неопределенность воспроизведения передаваемого сообщения, т. е. уменьшает ошибки при его приеме.
Избыточностью кода называют разность между средней длинной слова и энтропией.
Избыточность находят следующим образом:
R=1-HфHм, где:
Hф - фактическая энтропия,
Hм - максимальная энтропия.
|
|
|
