Вероятностный подход к измерению информации

Он может изучаться в 10–11-х классах в рамках общеобразовательного курса профильного уровня или в элективном курсе, посвященном математическим основам информатики. Здесь должно быть введено математически корректное определение вероятности. Кроме того, ученики должны знать функцию логарифма и ее свойства, уметь решать показательные уравнения.

Вводя понятие вероятности, следует сообщить, что вероятность некоторого события — это величина, которая может принимать значения от нуля до единицы. Вероятность невозможного события равна нулю (например: “завтра Солнце не взойдет над горизонтом”), вероятность достоверного события равна единице (например: “Завтра солнце взойдет над горизонтом”).

Следующее положение: вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.

Математическое определение вероятности звучит так: вероятность равна отношению числа исходов, благоприятствующих данному событию, к общему числу равновозможных исходов.

Пример 3. На автобусной остановке останавливаются два маршрута автобусов: № 5 и № 7. Ученику дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус № 5, и сколько информации в сообщении о том, что подошел автобус № 7.

Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p ₅ = 25/100 = 1/4, и вероятность появления автобуса № 7: p ₇ = 75/100 = 3/4.

Отсюда, количество информации в сообщении об автобусе № 5 равно: i ₅ = log₂4 = 2 бита. Количество информации в сообщении об автобусе № 7 равно:

i ₇ = log₂(4/3) = log₂4 – log₂3 = 2 – 1,58496 = 0,41504бита.

Обратите внимание на следующий качественный вывод: чем вероятность события меньше, тем больше количество информации в сообщении о нем. Количество информации о достоверном событии равно нулю. Например, сообщение “Завтра наступит утро” является достоверным и его вероятность равна единице. Из формулы (3) следует: 2 ⁱ = 1/1 = 1. Отсюда, i = 0 бит.

Формула Хартли (1) является частным случаем формулы (3). Если имеется N равновероятных событий (результат бросания монеты, игрального кубика и т.п.), то вероятность каждого возможного варианта равна p = 1/ N. Подставив в (3), снова получим формулу Хартли: 2 ⁱ = N. Если бы в примере 3 автобусы № 5 и № 7 приходили бы к остановке из 100 раз каждый по 50, то вероятность появления каждого из них была бы равна 1/2. Следовательно, количество информации в сообщении о приходе каждого автобуса равно i = log₂2 = 1 биту. Пришли к известному варианту информативности сообщения об одном из двух равновероятных событий.

Пример 4. Рассмотрим другой вариант задачи об автобусах. На остановке останавливаются автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?

Запишем условие задачи в следующем виде:

i ₅ = 4 бита, p ₅ = 2 · p ₇

Вспомним связь между вероятностью и количеством информации: 2 ⁱ = 1/ p

Отсюда: p = 2^{– i}

Подставляя в равенство из условия задачи, получим:

Отсюда:

Из полученного результата следует вывод: уменьшение вероятности события в 2 раза увеличивает информативность сообщения о нем на 1 бит. Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить “в уме”.

Информационные процессы

Предметом изучения науки информатики является информация и информационные процессы. Как нет единственного общепринятого определения информации (см. “Информация”), так же нет единства и в трактовке понятия “информационные процессы”.

Подойдем к осмыслению этого понятия с терминологической позиции. Слово процесс обозначает некоторое событие, происходящее во времени: судебный процесс, производственный процесс, учебный процесс, процесс роста живого организма, процесс нефтеперегонки, процесс горения топлива, процесс полета космического корабля и т.д. Всякий процесс связан с какими-то действиями, выполняемыми человеком, силами природы, техническими устройствами, а также вследствие их взаимодействия.

У всякого процесса есть объект воздействия: подсудимый, ученики, нефть, горючее, космический корабль. Если процесс связан с целенаправленной деятельностью человека, то такого человека можно назвать исполнителем процесса: судья, учитель, космонавт. Если процесс осуществляется с помощью автоматического устройства, то оно является исполнителем процесса: химический реактор, автоматическая космическая станция.

Очевидно, что в информационных процессах объектом воздействия является информация. В учебном пособии С.А. Бешенкова, Е.А. Ракитиной дается такое определение: “В наиболее общем виде информационный процесс определяется как совокупность последовательных действий (операций), производимых над информацией (в виде данных, сведений, фактов, идей, гипотез, теорий и пр.) для получения какого-либо результата (достижения цели)”[2].

Дальнейший анализ понятия “информационные процессы” зависит от подхода к понятию информации, от ответа на вопрос: “Что такое информация?”. Если принять атрибутивную точку зрения на информацию (см. “Информация”), то следует признать, что информационные процессы происходят как в живой, так и в неживой природе. Например, в результате физического взаимодействия между Землей и Солнцем, между электронами и ядром атома, между океаном и атмосферой. С позиции функциональной концепции информационные процессы происходят в живых организмах (растениях, животных) и при их взаимодействии.

С антропоцентрической точки зрения исполнителем информационных процессов является человек. Информационные процессы являются функцией человеческого сознания (мышления, интеллекта). Человек может осуществлять их самостоятельно, а также с помощью созданных им орудий информационной деятельности.

Любая, сколь угодно сложная информационная деятельность человека сводится к трем основным видам действий с информацией: сохранению, приему/передаче, обработке. Обычно вместо “прием-передача” говорят просто “передача”, понимая этот процесс как двусторонний: передача от источника к приемнику (синоним — “транспортировка”).

Хранение, передача и обработка информации — основные виды информационных процессов.

Выполнение названных действий с информацией связано с ее представлением в виде данных. Всевозможные орудия информационной деятельности человека (например: бумага и ручка, технические каналы связи, вычислительные устройства и пр.) используются для хранения, обработки и передачи данных.

Если проанализировать деятельность какой-нибудь организации (отдела кадров предприятия, бухгалтерии, научной лаборатории), работающей с информацией “по старинке”, без применения компьютеров, то для обеспечения ее деятельности требуются три вида средств:

— бумага и пишущие средства (ручки, пишущие машинки, чертежные инструменты) для фиксации информации с целью хранения;

— средства связи (курьеры, телефоны, почта) для приема и передачи информации;

— вычислительные средства (счеты, калькуляторы) для обработки информации.

В наше время все эти виды информационной деятельности выполняются с помощью компьютерной техники: данные хранятся на цифровых носителях, передача происходит с помощью электронной почты и других услуг компьютерных сетей, вычисления и другие виды обработки выполняются на компьютере.

Состав основных устройств компьютера определяется именно тем, что компьютер предназначен для осуществления хранения, обработки и передачи данных. Для этого в него входят память, процессор, внутренние каналы и внешние устройства ввода-вывода (см. “Компьютер”).

Для того чтобы терминологически разделить процессы работы с информацией, происходящие в человеческом сознании, и процессы работы с данными, происходящими в компьютерных системах, А.Я. Фридланд [7] предлагает их называть по-разному: первые — информационными процессами, вторые — информатическими процессами.

Другой подход к трактовке информационных процессов предлагает кибернетика. Информационные процессы происходят в различных системах управления, имеющих место в живой природе, в человеческом организме, в социальных системах, в технических системах (в т.ч. в компьютере). Например, кибернетический подход применяется в нейрофизиологии (см. “Информация”), где управление физиологическими процессами в организме животного и человека, происходящее на бессознательном уровне, рассматривается как информационный процесс. В нейронах (клетках мозга) хранится и обрабатывается информация, по нервным волокнам происходит передача информации в виде сигналов электрохимической природы. Генетика установила, что наследственная информация хранится в молекулах ДНК, входящих в состав ядер живых клеток. Она определяет программу развития организма (т.е. управляет этим процессом), которая реализуется на бессознательном уровне.

Таким образом, и в кибернетической трактовке информационные процессы сводятся к хранению, передаче и обработке информации, представленной в виде сигналов, кодов различной природы.

Методические рекомендации

На любом этапе изучения информатики в школе представления об информационных процессах несут в себе систематизирующую методическую функцию. Изучая устройство компьютера, ученики должны получить четкое понимание того, с помощью каких устройств происходит хранение, обработка и передача данных. При изучении программирования следует обратить внимание учеников на то, что программа работает с данными, хранимыми в памяти компьютера (как и сама программа), что команды программы определяют действия процессора по обработке данных и действие устройств ввода-вывода по приему-передаче данных. Осваивая информационные технологии, следует обращать внимание на то, что эти технологии также ориентированы на выполнение хранения, обработки и передачи информации.

Подробнее см. статьи “ Хранение информации ”, “ Обработка информации ”, “ Передача информации ” 2.

 

Кодирование информации

Код — система условных знаков (символов) для передачи, обработки и хранения информации (сообщения).

Кодирование — процесс представления информации (сообщения) в виде кода.

Все множество символов, используемых для кодирования, называется алфавитом кодирования. Например, в памяти компьютера любая информация кодируется с помощью двоичного алфавита, содержащего всего два символа: 0 и 1.

Научные основы кодирования были описаны К.Шенноном, который исследовал процессы передачи информации по техническим каналам связи (теория связи, теория кодирования). При таком подходе кодирование понимается в более узком смысле: как переход от представления информации в одной символьной системе к представлению в другой символьной системе. Например, преобразование письменного русского текста в код азбуки Морзе для передачи его по телеграфной связи или радиосвязи. Такое кодирование связано с потребностью приспособить код к используемым техническим средствам работы с информацией (см. “ Передача информации” 2).

Декодирование — процесс обратного преобразования кода к форме исходной символьной системы, т.е. получение исходного сообщения. Например: перевод с азбуки Морзе в письменный текст на русском языке.

В более широком смысле декодирование — это процесс восстановления содержания закодированного сообщения. При таком подходе процесс записи текста с помощью русского алфавита можно рассматривать в качестве кодирования, а его чтение — это декодирование.

⇐ Предыдущая123456Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: