 |
Глава 2. Видеоизображения в форматах MPEG 3, MPEG 4
|
|
|
|
Оглавление
1. Ключевые слова
2. Реферат
3. Введение
4. Глава 1. Кодирование MPEG 1, MPEG 2
4.1. Группы изображений
4.2. Макроблоки
4.3. Кодер видеоинформации
4.4. Поток видеоданных MPEG-2
4.5. Выводы по главе 1
5. Глава 2. Видеоизображения в форматах MPEG 3, MPEG 4
5.1. Расчет трехмерных сцен и работа с синтетическими объектами
5.2. Объектно-ориентированная работа с потоком данных
5.3. Активная зрительская позиция
5.4. Выводы по главе 2
6. Глава 3. Формат MPEG-7 и MPEG-J
6.1. Формат MPEG-7
6.2. MPEG-7 и другие MPEG-стандарты
6.3. Структурные составляющие MPEG-7
6.4. Формат MPEG-J
6.5. Выводы по главе 3
7. Заключение
8. Список использованной литературы
Ключевые слова
MPEG;
видеоинформация;
сжатие;
кодирование движущихся изображений;
сигналы;
видеоизображения.
Реферат
Курсовая работа направлена на изучение, анализ и моделирование сигналов для представления видеоизображений в форматах MPEG(1,2,3,4,7,J).
Введение
MPEG (Moving Picture Experts Group – Группа экспертов по движущемуся изображению) – группа специалистов в подчинении ISO, собирающаяся для выработки стандартов сжатия цифрового видео и аудио. Первое собрание происходило в 1988 году в Ганновере.
Официальное обозначение группы ISO/IEC JTC1/SC29 WG11.
MPEG (произносится «эмпег») стандартизовала следующие стандарты сжатия и вспомогательные стандарты:
• MPEG-1: Исходный стандарт видео и аудио компрессии. Позднее использовался как стандарт для Video CD; включает в себя Layer 2 формат аудио сжатия.
• MPEG-2: Транспортные, видео и аудио стандарты для широковещательного телевидения. Используется в цифровом телевидении ATSC, DVB и ISDB, цифровых спутниковых ТВ службах, цифровом кабельном телевидении, и (с небольшими изменениями) в DVD.
|
|
|
• MPEG-3: Изначально разрабатывался для HDTV, но от него отказались, когда обнаружилось, что MPEG-2 (с расширениями) вполне достаточно для HDTV. (Не следует путать MPEG-3 с MP3, который на самом деле является MPEG-1 Layer 3.)
• MPEG-4: Расширяет MPEG-1 для поддержки видео/аудио «объектов», 3D контента, сжатия с низким битрейтом и DRM. В него включено несколько новых высокоэффективных видео стандартов (альтернатив MPEG-2), таких, как: MPEG-4 Part 2 (ASP) и MPEG-4 Part 10 (или AVC, или H.264). MPEG-4 Part 10 используется в HD DVD и Blu-Ray дисках.
В дополнение к вышеупомянутым существуют стандарты, которые являются не усовершенствованием предыдущих стандартов сжатия, а определяют различные языки описания:
• MPEG-7: Формальная система для описания мультимедийного контента.
• MPEG-21: MPEG описывает стандарт как мультимедийная среда разработки.
Глава 1. Кодирование MPEG 1, MPEG 2
Стандарты сжатия движущихся изображений MPEG (Motion Picture Experts Group) разрабатываются и принимаются имеющей такое же название группой экспертов при Международной организации стандартизации ISO. Стандарт MPEG-1, используемый в основном при записи видеопрограмм на компакт-диски, был окончательно утвержден в 1993 г., а стандарт MPEG-2, предназначенный в первую очередь для телевизионного вещания, был принят в ноябре 1994 г.
Стандарты MPEG-1 и MPEG-2 имеют много общего, но между ними есть и различия. В данном разделе в основном излагается содержание стандарта MPEG-2, и указываются его отличия от MPEG-1.
Метод кодирования движущихся изображений, используемый в стандартах MPEG-1 и MPEG-2, называется гибридным, так как в нем сочетаются внутрикадровое (intraframe) кодирование, направленное на уменьшение в основном пространственной избыточности в отдельных кадрах, и межкадровое (inter-frame) кодирование, с помощью которого уменьшается избыточность, обусловленная межкадровой корреляцией. Использование межкадрового кодирования позволяет получить существенно большую степень сжатия движущегося изображения, чем при раздельном сжатии отдельных кадров по методу JPEG.
|
|
|
Внутрикадровое кодирование содержит операции, во многом аналогичные используемым в методе JPEG, т.е. поблочное дискретное косинусное преобразование, квантование и кодирование с переменной длиной кодовых слов. Межкадровое кодирование содержит операции оценки и компенсации движения и кодирования с предсказанием. Сущность этих операций будет изложена ниже.
Целые кадры и фрагменты кадров могут кодироваться с применением совместно межкадрового и внутри кадрового методов (для краткости этот случай далее называется просто межкадровым кодированием) или только с применением внутрикадрового кодирования.[1]
Группы изображений
Изображением (picture) в стандартах MPEG-1,2 может быть как целый кадр, так и одно из полей кадра. Далее для упрощения изложения термин «кадр» используется вместо термина «изображение» везде за исключением подраздела, в котором специально говорится о кадровом и полевом режимах кодирования.
Последовательность кадров делится на группы, называемые GOP (group of pictire). В группе есть кадры трех типов:
- I-кадры (Intraframe - внутрикадровые), которые передаются только с внутрикадровым кодированием и являются опорными для декодирования остальных кадров группы, обеспечивая возможность начала декодирования и воспроизведения принятого ТВ-сигнала практически в любой момент времени;
- Р-кадры (Predictive - предсказанные), при передаче которых используется межкадровое кодирование путем предсказания с компенсацией движения по ближайшему предшествующему I-кадру или Р-кадру (как будет пояснено далее, некоторые фрагменты Р-кадра могут кодироваться без предсказания с помощью внутри кадрового кодирования);
- B-кадры (Bidirectional - двунаправленные), которые передаются с межкадровым кодированием путем предсказания с компенсацией движения по ближайшим к ним как спереди, так и сзади I-кадрам и Р-кадрам, а сами не могут использоваться для предсказания других кадров (некоторые фрагменты 6-кадра могут кодироваться внутрикадровым методом).
Рассмотрим пример последовательности кадров.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
I В В Р В В Р В В Р В В Р В В I В В Р В
|
|
|
Здесь кадры с 1 по 15 образуют группу кадров. Количество кадров в группе может быть и другим, но она всегда начинается с I-кадра. Р-кадр 4 предсказывается по I-кадру 1, Р-кадр 7 - по Р-кадру 4, Р-кадр 10 - по Р-кадру 7 и т.д. I-кадр 16 передается с внутрикадровым кодированием независимо от всех предшествующих ему кадров. B-кадры 2 и 3 предсказываются по I-кадру 1 и по Р-кадру 4, B-кадры 5 и 6 - по Р-кадрам 4 и 7 и т.д. Б-кадры 14 и 15 предсказываются по I-кадру 16 и по Р-кадру 13. Перед кодированием порядок следования кадров изменяется, так как каждый В-кадр должен идти после обоих кадров, по которым он предсказывается. Для перестановки кадров необходимо ЗУ с объемом минимум на 4 несжатых кадра.
1 4 2 3 7 5 6 10 8 9 13 11 12 16 14 15 19 17 18 22
I Р В В Р В В Р В В Р В В I В В Р В В Р
В таком порядке кадры кодируются и передаются, а в процессе декодирования восстанавливается исходный порядок кадров, для чего тоже требуется ЗУ на несколько кадров.
Макроблоки
Макроблоком называется квадратный фрагмент изображения размером 16x16 элементов (пикселей). Макроблок содержит информацию как о яркости (V), так и о цветности (Св, CR). В случае использования формата дискретизации 4:2:0 каждый макроблок содержит 4 блока 8x8 элементов сигнала яркости Y и по одному блоку 8x8 элементов цветоразностных сигналов CR и Св. При использовании формата 4:2:2 каждый макроблок содержит по два блока CR и Св, а при использовании формата 4:4:4 - по четыре блока CR и Св.
Группа следующих друг за другом макроблоков называется слайсом[2] (slice -доля, часть, квант). Количество макроблоков в слайсе может быть произвольным. Слайсы в изображении не должны перекрываться, но их положение может изменяться от одного изображения к другому. В пределах слайса сохраняются постоянные параметры сжатия. Кроме того, заголовки слайсов обеспечивают восстановление правильного декодирования после сбоя.
Кодер видеоинформации
В стандартах MPEG не описано построение кодера, а лишь определен синтаксис потока данных на его выходе. Структурная схема кодера видеоинформации отображает основные операции, выполняемые при кодировании и обеспечивающие получение выходного потока данных с требуемыми параметрами.
|
|
|
На схеме обозначены: ДКП - блок прямого дискретного косинусного преобразования; ДКП-1 - блок обратного дискретного косинусного преобразования: Кв - квантователь; Кв-1 - деквантователь, т.е. блок, выполняющий обратную квантованию операцию; ЗУ - запоминающее устройство: Пред - блок, выполняющий формирование предсказанного кадра: ОД - блок оценки движения и формирования векторов движения: КПДС - блок, в котором выполняется кодирование с переменной длиной кодового слова; Мп — мультиплексор; БЗУ - буферное запоминающее устройство; УКС - блок управления коэффициентом сжатия изображения. Кроме того, на схеме показаны сумматор, вычитающее устройство и переключатель. Работа всех блоков синхронизируется общей тактовой частотой 27 МГц.
Рис 1. Структурная схема видеокодера
В кодере реализуются два режима кодирования: внутрикадровое кодирование (переключатель в положении 1) и межкадровое кодирование с предсказанием и компенсацией движения (переключатель в положении 2).
Все макроблоки I-кадров кодируются в режиме внутри кадрового кодирования. Метод в основном аналогичен JPEG: разложение на блоки 8x8 пикселей, поблочное ДКП, квантование полученных коэффициентов, считывание в зигзагообразном порядке, кодирование с переменной длиной кодовых слов.
Квантование выполняется в соответствии с соотношением
,
где f- масштабный коэффициент. В случае использования нестандартных таблиц коэффициентов квантования они включаются в общий выходной поток данных. Степень сжатия регулируется масштабным коэффициентом, принимающим значения от 1 до 31. Этот коэффициент может меняться в процессе передачи. Для постоянных составляющих Сq (0,0) коэффициент квантования равен 8 и не зависит от масштабного коэффициента.
Кодирование с переменной длиной кодовых слов осуществляется с помощью таблиц кодов, заданных в стандарте. Как и в JPEG, коэфициенты ДКП, соответствующие постоянным составляющим, кодируются с использованием предсказания по таким же коэфициентам предыдущих блоков, и для них предназначены отдельные таблицы кодов с переменной длиной кодовых слов. Отдельные таблицы кодирования предусмотрены для различных видов служебной информации.
Макроблоки Р-кадров могут кодироваться как внутрикадровым методом, так и межкадровым, основанным на предсказании и компенсации движения. При межкадровом кодировании передаются кодированные ошибки предсказания. Изображение, по которому выполняется предсказание, формируется из кодированных, а затем декодированных данных предыдущего I- или Р- кадра. В деквантователе данные умножаются на коэффициенты квантования, затем выполняется обратное ДКП так же, как это делается в декодере приемной части системы, после чего декодированное изображение записывается в ЗУ. Таким образом, для предсказания используются изображения, содержащие ошибки, внесенные квантователем. Эти ошибки попадают в предсказанные изображения, а при формировании разности истинного и предсказанного изображений снова попадают в кодер, но уже с противоположным знаком. В результате получается отрицательная обратная связь, которая позволяет избежать накопления ошибок квантования. Для реализации всех возможных вариантов предсказания ЗУ должно содержать несколько (как минимум 4) предыдущих кадров.
|
|
|
Поток видеоданных MPEG-2
Упрощенная структура потока данных на выходе видеокодера MPEG-2 показана на рис. 2. Самой крупной структурной единицей потока видеоданных является видеопоследовательность (video sequence), в некоторых литературных источниках называемая рядом Видеопоследовательность может содержать произвольное число групп изображений (GOP), которые, в свою очередь, состоят из кадров (при кадровом кодировании) или полей (при полевом кодировании) разных типов (I, P, В). Каждое изображение состоит из слайсов, каждый из которых содержит некоторое количество макроблоков.
Каждая структурная единица потока видеоданных начинается с соответствующего стартового кода, позволяющего при декодировании выделять из потока нужные данные.
Передача видеоданных всегда начинается с заголовка видеопоследовательности (ВП), за которым следует расширение заголовка видеопоследовательности. В этих частях потока данных передается, в частности, следующая информация:
- ширина и высота изображения, выраженные количеством пикселей;
- отношение ширины к высоте;
- частота кадров;
- скорость передачи двоичных символов для этого потока видеоданных:
- признаки необходимости загрузки из потока видеоданных матриц коэфициентов квантования;
- признак чересстрочной развертки;
- формат дискретизации (4:2:0, 4:2:2 или 4:4:4).
Далее могут передаваться расширение и данные пользователя. Эта часть потока может отсутствовать, что показано стрелкой, идущей в обход блока. Расширение присутствует, в частности, если используется.
Рис 2. Структура потока данных MPEG-2
Выводы по главе 1
Стандарт MPEG-2 является развитием и расширением стандарта MPEG-1. Поток видеоданных MPEG-2 содержит составляющие, которых нет в MPEG-1. По-видимому, наиболее важным отличием двух стандартов является наличие в MPEG-2 масштабируемости и всех связанных с ней особенностей.
В стандарте MPEG-1 нет принципиальных ограничений на размеры кодируемых изображений и на использование чересстрочной развертки по сравнению с MPEG-2. Тем не менее, MPEG-1 предназначен для сжатия движущихся изображений с прогрессивной разверткой, частотой кадров до 30 Гц, количеством строк до 576 и количеством элементов в строке до 720. При этом получается поток данных со скоростью передачи двоичных символов до 1856000 бит/с.
Далее, MPEG-1 допускает кодирование телевизионных сигналов с чересстрочной разверткой только в кадровом режиме, а в MPEG-2 имеется полевой режим, более эффективный при наличии существенных изменений изображения от первого поля кадра ко второму.
В этом режиме два поля кадра кодируются независимо. Например, I-кадр может кодироваться как два I-поля или как I-поле и Р-поле. Эти возможности придают дополнительную гибкость кодированию, что позволяет достичь более высокой эффективности сжатия.
На практике MPEG-1 обычно используется для сжатия движущихся изображений размером 360x240 элементов с прогрессивной разверткой (формат SIF). Такое сжатие позволяет записывать видеопрограммы с некоторой потерей четкости на компакт-диски и воспроизводить их на ПК, выполняя декодирование в реальном времени чисто программными средствами. В то же время MPEG-2 является основой быстро развивающихся и распространяющихся систем цифрового телевизионного вещания, а также применяется для записи кинофильмов и другой видеоинформации на диски стандарта DVD, обеспечивающие высокое качество изображения и звука.
Группа MPEG начинала работу над стандартом MPEG-3, определяющим методы сжатия для телевидения высокой четкости (ТВЧ). Однако в процессе работ над стандартом MPEG-2 в него были включены уровни, соответствующие ТВЧ, поэтому необходимость в стандарте MPEG-3 отпала.
Глава 2. Видеоизображения в форматах MPEG 3, MPEG 4
Форматы MPEG-1 и MPEG-2 не обеспечивали реальной возможности трансляции видео по сети Internet и создания интерактивного телевидения на их основе – слишком уж большим был размер файлов. Для его радикального уменьшения, а также реализации других функций, необходимых для передачи потокового видео, была начата работа над спецификациями нового формата – MPEG-4. По сути, он ориентирован не столько на сжатие видео, сколько на создание так называемого "мультимедийного контента" – слияния интерактивного телевидения, 3D-графики, текста и т. д.
Формат MPEG-4 сочетает отличный звук и максимальное уплотнение видеосигнала (до 30-40% лучше чем у предшественника). Разница заключается в том, что кодируется последовательность более чем из трех кадров (обычно до 250 кадров). Тем самым достигается большее сжатие, и возможность смотреть в режиме реального времени качественное потоковое видео в интернет. Динамическое сжатие также эффективно использует ресурсы, и на обычный компакт-диск помещается 1,5 часа видео в достаточно хорошем качестве. Однако, в большинстве случаев, внимательный зритель сможет увидеть на хорошем экране разницу между изображением, закодированном в MPEG2 и MPEG4.
Интересной особенностью формата является то, что для типовых объектов даже разработаны отдельные алгоритмы предсказания и описания их движений – это касается, в частности, походки людей, наиболее распространенных жестов, мимики. Теперь такие изменения в кадрах нет нужды записывать вообще – их можно рассчитать программно.
В MPEG-4 поддерживается отображение текста различными шрифтами поверх видеоизображения. Более того, этот текст может быть озвучен с помощью синтезатора речи с возможностью имитации мужских и женских голосов. При необходимости голос синхронизируется с движениями лица диктора в соответствии с произносимыми фонемами. Также может синтезироваться звучание некоторых музыкальных инструментов. Сжатие оцифрованных звукозаписей осуществляется более эффективно с помощью специально разработанного кодека AAC (Advanced Audio Codec).
Некоторые видеокамеры позволяют записывать в формате MPEG-4 видео на собственную карту памяти или работать как web-камера, передавая по USB кабелю видео со звуком в формате MPEG-4.
Кроме того, современные технологии позволяют даже воспроизводить цифровое телевидение (сжатое в формате MPEG-4 или MPEG-2) с помощью мобильных телефонов, используя GPRS.
На сегодня, MPEG-4 – это наиболее популярный формат распространения видео в интернете и на персональных компьютерах. Рациональное использование памяти при хорошем качестве видео дают о себе знать. Каждая последующая версия кодека MPEG-4 (на сегодня используются 3.хх, 4.хх и 5.хх версии) привносит всё новые и новые прогрессивные улучшения. Большое количество бытовых плееров, КПК и прочих устройств без проблем работают с этим форматом. MPEG-4 будет актуален еще, как минимум, лет десять, пока ему на смену не придёт что-то принципиально новое.
MPEG-4 кардинально отличается от принимаемых ранее стандартов. Рассмотрим наиболее интересные и полезные нововведения.
|
|
|
