 |
Основы теории информации. Информация.
|
|
|
|
Предмет и структура информатики
Термин информатика получил распространение с середины 80-х гг. прошлого века. Он состоит из корня - «информация» и суффикса - «наука о...». Таким образом, информатика - это наука об информации. В англоязычных странах термин не прижился, информатика там называется Computer Science - наука о компьютерах.
Информатика - молодая, быстро развивающаяся наука, поэтому строгого и точного определения ее предмета пока не сформулировано. В одних источниках информатика определяется как наука, изучающая алгоритмы, т.е. процедуры, позволяющие за конечное число шагов преобразовать исходные данные в конечный результат, в других - на первый план выставляется изучение компьютерных технологий. Наиболее устоявшимися посылками в определении предмета информатики в настоящее время являются указания на изучение информационных процессов (т.е. сбора, хранения, обработки, передачи данных) с применением компьютерных технологий. При таком подходе наиболее точным, по нашему мнению, является следующее определение:
Информатика - это наука, изучающая:
• методы реализации информационных процессов средствами вычислительной техники (СВТ);
• состав, структуру, общие принципы функционирования СВТ; «принципы управления СВТ.
Информатика - фундаментальная естественная наука, изучающая общие свойства информации, процессы, методы и средства ее обработки (сбор, хранение, преобразование, перемещение, выдача)
Из определения следует, что информатика - прикладная наука, использующая научные достижения многих наук. Кроме того, информатика — практическая наука, которая не только занимается описательным изучением перечисленных вопросов, но и во многих случаях предлагает способы их решения. В этом смысле информатика технологична и часто смыкается с информационными технологиями.
|
|
|
Методы реализации информационных процессов находятся на стыке информатики с теорией информации, статистикой, теорией кодирования, математической логикой, документоведением и т.д. В этом разделе изучаются вопросы:
• представление различных типов данных (числа, символы, текст, звук, графика, видео и т.д.) в виде, удобном для обработки СВТ (кодирование данных);
• форматы представления данных (предполагается, что одни и те же данные могут быть представлены разными способами);
• теоретические проблемы сжатия данных;
• структуры данных, т.е. способы хранения с целью удобного доступа к данным.
В изучении состава, структуры, принципов функционирования средств вычислительной техники используются научные положения из электроники, автоматики, кибернетики. В целом этот раздел информатики известен как аппаратное обеспечение (АО) информационных процессов. В этом разделе изучаются:
• основы построения элементов цифровых устройств;
• основные принципы функционирования цифровых вычислительных устройств;
• архитектура СВТ — основные принципы функционирования систем, предназначенных для автоматической обработки данных;
• приборы и аппараты, составляющие аппаратную конфигурацию вычислительных систем;
• приборы и аппараты, составляющие аппаратную конфигурацию компьютерных сетей.
В разработке методов управления средствами вычислительной техники (а средствами цифровой вычислительной техники управляют программы, указывающие последовательность действий, которые должно выполнить СВТ) используют научные положения из теории алгоритмов, логики, теории графов, лингвистики, теории игр. Этот раздел информатики известен как программное обеспечение (ПО) СВТ.
|
|
|
В этом разделе изучаются:
• средства взаимодействия аппаратного и программного обеспечения;
• средства взаимодействия человека с аппаратным и программным обеспечением, объединяемые понятием интерфейс;
• программное обеспечение СВТ (ПО).
Обобщая сказанное, можно предложить следующую структурную схему (рис.):
Основы теории информации. Информация.
По современным представлениям информация является одной из исходных категорий мироздания наряду с материей и энергией. Эти категории взаимосвязаны между собой; усмотреть такие связи можно как в природных явлениях, так и в явлениях и процессах, порожденных человеком.
Примерами природных явлений, в которых проявляются связи между материей, энергией и информацией, могут служить:
• фазовый переход из кристаллического состояния твердого тела в жидкое – в нем, наряду с материальными преобразованиями и энергетическими затратами, происходит и потеря информации относительно расположения атомов (сопровождаемая ростом энтропии);
• условные и безусловные рефлексы – это информация, которая появилась и сохраняется в мозге животного благодаря материальным и энергетическим воздействиям внешней среды.
Примерами связей материя - энергия - информация в обществе людей являются:
• любое производство, включающее материальную составляющую (исходные материалы), энергетические ресурсы, необходимые для преобразования материальных объектов, а также информационное обеспечение в виде описания технологий, различной документации и пр.;
• подготовка новых членов общества - образование - информационный процесс, требующий как материального, так и энергетического обеспечения;
• управление в любой сфере состоит в выработке решений на основе имеющейся информации, которые могут иметь конкретные материальные и энергетические проявления, например падение с велосипеда или отключение электроэнергии.
Экскурс в историю.
Для характеристики информационного обеспечения исторических эпох выделим несколько параметров:
• организация передачи информации в пространстве, т.е. распространение информации с целью обеспечения доступа к ней людей (потребителей), удаленных друг от друга, в относительно небольшой временной интервал;
|
|
|
• организация передачи информации во времени, т.е. накопление и хранение информации в интересах будущих потребителей;
• организация обработки информации, т.е. преобразование имеющейся информации с целью ее использования для решения задач практики - управления, обучения, создания новой информации (наука и искусство) и пр.
I информационный барьер
I-й информационный барьер был преодолен приблизительно в V тысячелетии до н.э. До того времени единственным хранилищем информации был мозг человека.
Передача информации была связана с механическим перемещением самого человека, и, следовательно, скорость передачи была весьма низкой, а передача ненадежной. Обработка информации также производилась человеком. Противоречие состояло в том, что человечеству требовалась возможность сохранять во времени опыт и знания, накопленные предыдущими поколениями с тем, чтобы они могли быть переданы поколениям последующим. Барьер был преодолен благодаря появлению письменности.
Носителями информации стали камни, глиняные таблички, папирус, пергамент, береста, материя; позднее (во II веке н.э.) появилась бумага.
II информационный барьер сформировался к XV в. из-за того, что в связи с развитием производства - появлением цехов, мануфактур - возникла потребность в большом числе образованных людей, способных этим производством управлять.
Противоречие состояло в том, что количество источников информации - рукописей, рукописных книг - не могло обеспечить обучение большого количества людей. Изобретение книгопечатания (т.е. тиражирования информации) в Европе в XV в. И. Гутенбергом и в XVI в. И. Федоровым позволило преодолеть данное противоречие. В то время скорость передачи информации определялась скоростью механического перемещения ее бумажного носителя. Обработка производилась человеком. Поскольку основным носителем информации являлась бумага, и именно этим определялись технологии накопления и распространения информации, по определению В. М. Глушкова это состояние можно назвать бумажной информатикой.
|
|
|
К началу XX в. ситуация изменилась, в первую очередь в отношении скорости распространения информации: сначала появилась почта; в XIX в. - телеграф, затем телефон; в 1905 г.- радио; в 1920-1930-е годы - телевидение. В результате этих изобретений информация практически мгновенно могла быть доставлена в любую точку земного шара. Появились и новые устройства, обеспечивавшие иные (по сравнению с бумагой) принципы записи информации для хранения - фотография, затем кино, затем магнитная запись. Без существенных изменений оставалась лишь ситуация, связанная с переработкой информации, - эту функцию по-прежнему выполнял только человек.
К III-му информационному барьеру человечество подошло во второй половине XX столетия, когда общие объемы информации, которыми оно располагало, выросли настолько, что суммарной пропускной способности человеческого мозга оказалось недостаточно для ее переработки.
Прогресс человечества стал зависеть от того, удастся ли решить проблему автоматизации обработки информации. Варианты решения появились в 1945-46 гг., когда:
• американские инженеры П. Экерт и Дж. Моучли построили первую цифровую вычислительную машину «ЭНИАК»,
• математик Дж. фон Нейман описал принципы работы автоматических вычислительных устройств,
• в 1948 г. К. Шеннон опубликовал знаменитую работу «Математическая теория связи», где изложил математические принципы кодирования и передачи информации, а также предложил метод объективного измерения количества информации -
именно эти идеи и составили основу новой науки - информатики.
Норберт Винер – один из соавторов основ современной теории информации.
Главный вклад Норберта Винера в историю мировой науки – его исследование возможностей перенесения принципов поведения животных в систему обучения механизмов, поэтому его называют отцом кибернетики – науки, постулаты которой позволяют сконструировать искусственный интеллект и управлять им.
Кибернетика – наука об управлении, связах и обработке информации в технике, живых организмах и человеческом обществе.
Теория информации
Теория информации имеет многочисленные приложения в теории передачи сообщений при наличии помех, в теории записывающих и регистрирующих устройств, в математической лингвистике и других науках, вплоть до генетики.
Теория информации вместе с другими математическими дисциплинами, такими, как теория оптимальных статистических решений, теория оптимального управления, теория алгоритмов и автоматов, теория игр и другие, входит в состав теоретической кибернетики — науки об управлении.
|
|
|
Теория информации занимается статистическим описанием источников сообщений и каналов связи, методами экономного представления информации, а также выяснением предельных возможностей каналов с учетом энергетических и спектральных ограничений. Важным разделом теории информации, выделившимся в самостоятельную дисциплину, является теория кодирования, основной задачей которой является разработка методов отображения сообщений в некоторые абстрактные эквиваленты с целью повышения достоверности передачи данных по зашумленным каналам.
Немного истории
Оставляя намеренно в стороне выдающиеся физические открытия, приведшие к возникновению и повсеместному внедрению беспроводной связи (работы Д.К. Максвелла (1873) и Г. Герца (1887)), укажем лишь исторические события, знаменовавшие значительные сдвиги в понимании теоретико-информационных идей.
– Изобретение электрического телеграфа и азбуки Морзе (1837г.). Самюэль Морзе (S.Morse) предложил двоичный код переменной длины, в котором буквы английского алфавита представлены последовательностью точек и тире (кодовые слова). В этом коде часто встречающиеся буквы представлены короткими кодовыми словами, тогда как встречающиеся редко – длинными. Таким образом, код Морзе предвосхитил методы экономного неравномерного кодирования, рассматриваемые в дальнейшем.
– Изобретение буквопечатающего телеграфа и азбуки Бодо (1875г.). Эмиль Бодо (E.Baudot) изобрел код для телеграфной связи, в котором каждая буква кодировалась двоичным кодом фиксированной длины 5. В коде Бодо элементы двоичного кода имеют равную длину и именуются посылкой и паузой.
– Появление работ Найквиста (H.Nyquist) и Хартли (R.Hartley), посвященных исследованию канала связи и скорости передачи информации (1924, 1928 гг.) и положивших начало современной теории цифровой связи. Найквист пытался определить оптимальную форму импульса с ограниченной полосой и максимизировать скорость передачи данных в предположении, что импульс данной формы не вызывает межсимвольной интерференции. Хартли рассмотрел вопрос о количестве данных, которые могут быть переданы надежно по каналу с ограниченной полосой частот, когда для последовательной передачи данных используются импульсы со многими амплитудными уровнями.
– Установление математических основ передачи информации по каналам связи и фундаментальных ограничений для систем цифровой связи в работах Шеннона (C.Shannon) в 1947-48 гг. Шеннон сформулировал основную проблему надежной передачи информации в статистических терминах, используя вероятностные модели источников и каналов связи, и предложил универсальную логарифмическую меру количества информации. Шеннон также установил существование для любого канала основополагающей константы – пропускной способности, т.е. предельной скорости безошибочной передачи, зависящей от физических ресурсов, доступных передатчику, и интенсивности помех в канале. Фундаментальные открытия Шеннона, часть из которых фигурирует в литературе под названием теорем Шеннона, составили базис теории информации, обязанной Шеннону также и своим наименованием.
– Открытие первых корректирующих кодов Хэммингом (R.Hamming) и Голеем (M.Golay) в 1949-50 гг. В работах названных авторов впервые были разработаны методы кодирования сообщений (т.е. отображения их в последовательности некоторых символов), позволяющие обнаруживать и исправлять ошибки, вызванные канальными помехами.
– Опубликование в 1952 г. работы Хаффмена (D.Huffman), в которой предложен высокоэффективный алгоритм сжатия данных источника сообщений.
– Выход в 1959-60 гг. работ Боуза, Рой-Чоудхури и Хоквингема (R.Bose, D.Ray-Chaudhuri, A.Hochquenghem), введших в обращение БЧХ–коды.
– Разработка в 1967 г. алгоритма декодирования Витерби (A.Viterbi) сверточных кодов, открытых Эллиасом (P.Elias) в 1955 г.
– Разработка в 1976-78 гг. основ криптографии с открытым ключом в работах Диффи, Хеллмана, Ривеста, Шамира, Адлемана и др. (W.Diffie, M.Hellman, R.Rivest, A.Shamir, A.Adleman and others).
– Разработка в 1977-78 гг. алгоритма компрессии данных, описанного в работах Лемпеля (A.Lempel) и Зива (J.Ziv).
– Открытие в 1993 г. турбо–кодов, описание которых представлено в работах C.Berrou, A.Glavieux, P.Titimajshima.
|
|
|
12 |
