Семейство форматов сжатия видео MPEG

Слово «MPEG» является сокращением от Moving Picture Expert Group — на­звания экспертной группы ISO (Международной организации по стандартизации), действующей в направлении разработки стандартов кодирования и сжатия видео- и аудиоданных. Часто аббревиату­ру MPEG используют для ссылки на стандарты, разработанные этой груп­пой. Технология MPEG использует поточное сжатие видео, при котором обрабатывается не каждый кадр по отдельности (как это происходит при сжатии видео с помощью алгоритмов Motion-JPEG), а анализируется дина­мика изменений видеофрагментов и устраняются избыточные данные.

MPEG-1 — формат (телестандарт) для хранения и воспроизведения видео- и аудио­данных на мультимедианосителях данных. Качество сопоставимо с видео­записью VHS (разрешение 352? 228 (стандарт PAL) или 320? 240 (стандарт NTSC) при частоте 25 или 30 кадров в секунду соответственно). Формат используется для за­писи Video CD. Для кодирования видео в формат MPEG-1 используют специальные программы (кодеки).

MPEG-2 и MPEG-3 — стандарт MPEG-2 разработан как дополнение к стандарту MPEG-1 и под­держивает передачу высококачественного видео по высокоскоростным циф­ровым каналам. Интенсивность потока медиаданных до 50 Мбайт/с. В ре­зультате для фильмов, созданных в стандартах PAL и SECAM, поддержива­ется разрешение 720? 576 при 25 кадрах в секунду при качестве, практически не уступающем вещательному. Формат подходит для всех стандартов теле­видения, широко используется при записи DVD -дисков. MPEG-1 и MPEG-2 признаны международными стандартами для сжатия видео. В MPEG-2, по сравнению с MPEG-1, добавлена поддержка многоканального звука (Dolby Digital 5.1, DTS и т. п.).

Вопреки ожиданиям и прогнозам разработка стандарта MPEG-3 явилась всего лишь улучшенной версией MPEG-2. Формат MPEG-3 (не путайте с форматом сжатия аудиоданных МРЗ) сегодня стал частью стандарта MPEG-2 и отдельно теперь не упоминается.

MPEG-4 — формат MPEG-4 задает принципы работы с цифровым представлением медиаданных для трех областей: интерактивного мультимедиа (включая про­дукты, распространяемые на оптических дисках и через Интернет), графи­ческих приложений и цифрового телевидения (DTV). Он имеет дело не просто с потоками и массивами медиаданных, а с медиаобъектами, которые являются ключевым понятием этого стандарта.

При транспортировке видео­картинка разделяется на составные элементы — медиаобьекты, описывается структура этих объектов и их взаимосвязи, чтобы можно было собрать их в единую видеозвуковую сцену. Результирующая сцена составляется из медиаобъектов, объединенных в иерархическую структуру. В отличие от прежних MPEG -стандартов, которые делили кадр на квадратные блоки вне зависи­мости от содержимого, кодер по стандарту MPEG-4 оперирует целыми объ­ектами произвольной формы. Ключевые кадры не расставляются с заданной регулярностью, а выделяются кодером только в те моменты, в которые про­исходит смена сюжета. Такие разветвленные алгоритмы поиска и обработки объектов сложной формы, углубленного анализа последовательностей кад­ров требуют существенно больших вычислительных ресурсов для качествен­ного восстановления (декомпрессии) изображения этого формата, нежели в случае MPEG-1 или 2.

Эффективность компрессии видео в MPEG-4 позволяет размещать полно­метражный фильм длительностью полтора-два часа с хорошим качеством всего на одном стандартом компакт-диске в 700 Мбайт. Однако фильмы в MPEG-4 все-таки не дотягивают до качества DVD -видео в стандарте MPEG-2.

MPEG 7 и MPEG 21 — в отличие от предыдущих форматов сжатия семейства MPEG, MPEG 7 описывает информацию, представленную в любой форме и не зависит от среды передачи данных.

Формат сжатия MPEG 7 использует многоуровневую структуру описания аудио и видео информации. На высшем уровне прописываются свойства файла, такие как название, имя создателя, дата создания и т.д. На следующем уровне описания формат сжатия MPEG 7 указывает особенности сжимаемой аудио или видео информации – цвет, текстура, тон или скорость. Одной из отличительных особенностей MPEG 7 является его способность к определению типа сжимаемой информации. Если это аудио или видео файл, то он сначала сжимается с помощью алгоритмов MPEG 1, MPEG 2, MPEG 4, а затем описывается при помощи MPEG 7. Такая гибкость в выборе методов сжатия значительно снижает объем информации и ускоряет процесс сжатия. Основное преимущество формата сжатия MPEG 7 над его предшественниками состоит в применении уникальных дескрипторов и схем описания, которые, помимо всего прочего, делают возможным автоматическое выделение информации как по общим, так и по семантическим признакам, связанным с восприятием информации человеком. Процедура занесения в каталог и поиска данных находятся вне сферы рассмотрения этого формата сжатия.

Разработка формата сжатия MPEG 21 — это долговременный проект, который называется «Система мультимедийных средств» (Multimedia Framework). Над разработкой этого формата сжатия эксперты начали работать в июне 2000 г. На первых этапах планировалось провести расширение, унификацию и объединение форматов MPEG 4 и MPEG 7 в единую обобщающую структуру. Подразумевалось, что она будет обеспечивать глубокую поддержку управления правами и платежными системами, а также качеством предоставляемых услуг.

Характеристики

· Тип — семейство стандартов видео (включает медиаконтейнеры и кодеки)

· Совместимые кодеки — H.264 и другие (для видео) и AAC, MP3, WAV и другие (для аудио)

· Расширения файлов — .mpeg, .mpg, .mpe, .m1v; .dat и .m2v (форматы видео VideoCD (VSD) и Super VideoCD(SVCD) дисков – стандарт сжатия MPEG-1/2); .vob (формат видео DVD диска, содержит видео в MPEG2)

Matroska (Matr??ka) — проект, нацеленный на создание открытого, гибкого, кроссплатформенного формата мультимедийного контейнера и набора инструментов и библиотек для работы с данными в этом формате. Это открытый формат, который разрабатывался как альтернатива другим контейнерам AVI, QuickTime и MPEG. Отличительной особенностью этого формата является возможность использования в одном файле нескольких аудиопотоков.

Характеристики:

· Тип — медиаконтейнер

· Совместимые кодеки — H.264 и другие (для видео) и AAC, Vorbis, DTS, MP3 и другие (для аудио)

· Расширения файлов — .mkv (видео с субтитрами и звуком), .mka (аудиофайлы) и .mks (субтитры)

Flash Video — формат видео, используемый для передачи данных через Интернет. Используется в Youtube, Google Video, RuTube и др. Популярность этого формата во многом связана с тем, что он поддерживается Adobe Flash Player `ом, который распространяется и как кросплатформенное самостоятельное приложения и как браузерный плагин.

Характеристики:

· Тип — медиаконтейнер

· Совместимые кодеки — H.263 (FLV1), VP6 (FL4), H.264 (FLV5) (для видео) и AAC, MP3 (для аудио)

· Расширения файлов — .flv (как правило)

·
В этом разделе мы проанализируем характерные форматы представления цифрового видео, такие как QuickTime фирмы Apple, MPEG комитета Motion Picture Expert Group и AVI фирмы Microsoft.

· Общая черта всех популярных форматов цифровых видеофайлов состоит в том, что основная часть любого из них - это система сжатия и восстановления видеоданных (compression/decompression - сокращенно codec), называемая кодеком. Обычно программы, поддерживающие основные форматы видеофайлов, позволяют замещать старые кодеки на новые, более совершенные, по мере разработки последних. Такой подход позволил легко адаптировать форматы видеофайлов и поддерживающие их программы к новым технологиям, как только те становились доступными.

· Исходные релизы форматов QuickTime и VfW содержали очень простые кодеки, так как уровень развития компьютерной техники того периода не мог обеспечить применение более качественных методов, требовавших значительно более высоко уровня вычислительного ресурса. По мере совершенствования компьютерных технологий стало возможным использовать более эффективные методы сжатия и распаковки, что привело к применению новых кодеков.

· К наиболее известным и широко применяемым форматам следует отнести QuickTime фирмы Apple. Под этим именем объединены два различных понятия. Для пользователей - это стандартный способ работы с потоковыми данными, такими как видео и аудио. Для производителей - это гибкое средство разработки приложений, совершенствующееся по мере развития технологий. Формат пригоден для работы с любой времязависимой информацией. Видеофильмы в этом формате могут содержать несколько видео- и аудиодорожек. Таким образом, фильм в этом формате может иметь многоязыковую поддержку, а также содержать MIDI-информацию для управления внешним синтезатором. Продолжительность событий на каждой из дорожек также может быть различной. Можно также накладывать друг на друга несколько видеодорожек.

· Формат был создан первоначально для платформы Macintosh для хранения аудио- и видеоданных на магнитных и оптических носителях. Сейчас он используется и в оболочке Windows. Предусмотрен специальный набор средств, называемый Movie Toolbox, который обеспечивает редактирование и модификацию видеофильмов в данном формате, т. е. можно вклеивать, вырезать, копировать и редактировать отдельные видеофрагменты таким же образом, как это делается при профессиональном монтаже обычного кино. Данные в этом формате можно хранить на магнитном или компакт-диске в виде обычного файла, а также помещать на цифровой видеомагнитофон.

· Набор средств Movie Toolbox определяет шесть методов сжатия, используемых при хранении видеофильмов в этом формате. Перечислим эти методы.

· Photo Compressor - предназначен для сжатия отдельных изображений с глубиной цвета от 8 до 24 бит (для сжатия фреймов или видеокадров обычно используется метод JPEG).

· Video Compressor - метод сжатия видеопоследовательностей с потерями, основанный на преобразовании пространственного спектра и временном сжатии. Глубина цвета - 24 бита. Метод отличается высокой скоростью распаковки сжатого видеоряда.

· Compact Video Compressor - также метод сжатия с потерями, пригодный для 16 и 24-битного представления цвета. Отличается более высоким качеством и большим коэффициентом сжатия по сравнению с предыдущим, но требует значительных затрат времени на выполнение начального сжатия информации.

· Animation Compressor - метод сжатия анимационных последовательностей, основанный на применении алгоритма группового кодирования, рассмотренного в § 3.3. Используется как в варианте с потерями, так и без потерь. Работает с любой глубиной цвета.

· Graphic Compressor - предназначен для быстрого сжатия и распаковки 8-битовых неподвижных изображений и их последовательностей. Коэффициент сжатия невелик. Применяется при хранении информации на устройствах с низкой скоростью обмена данными, типа компакт- или DVD-дисков.

· Raw Compressor - программа предварительной обработки изображений, позволяющая получить нужную глубину цвета перед тем, как сжать его одним из описанных выше методов.

· Аудиоданные в этом формате кодируются в виде последовательности квантованных дискретных выборок в формате AIFF, как это было описано в § 3.4 или непосредственно в ресурсе звуковой среды видеофильма.

· Основная структурная единица файлов этого формата носит название атом. Различают атомы-контейнеры и атомы-листья. Контейнеры содержат другие атомы, в том числе и атомы-контейнеры. А атомы-листья содержат только данные. Каждый поток данных файла хранится в отдельном атоме дорожки. Дополнительные сведения о данном формате можно почерпнуть из книг и на сайтеwww.quicktime.apple.com.

· Комитет Motion Picture Expert Group, как уже ранее упоминалось, был создан международной ассоциацией по стандартизации специально для создания высококачественных стандартов сжатия цифрового видео. И действительно был разработан ряд стандартов, таких как MPEG-1, MPEG-2, MPEG-4 для воспроизведения видео с различной скоростью и качеством на платформах Windows, Macintosh и UNIX, а также рекомендован определенный набор методов сжатия видео- и аудиоданных.

· Формат MPEG-1 определяет файлы для хранения кодируемого видеоматериала (расширение mpv) и формат системного потока для объединения видео- и аудиоданных (расширение mps), а также три формата для кодирования только аудио (mpa, mp2и l3). Формат MPEG-2 предназначен для вещания и мало пригоден для персональных компьютеров. MPEG-4 предназначен для передачи низкокачественного видео для систем видеотелефонии и видеоконференций.

· Стандарты MPEG определяют только способ хранения данных, но не указывают, как были получены данные в этом формате. Все форматы MPEG с потерями. Для кодирования данных в этом формате вычислительных ресурсов ПК недостаточно. Корректная обработка MPEG на ПК без дополнительных аппаратных средств также связана с определенными трудностями. Они могут привести к задержкам или ухудшению качества воспроизведения.

· Формат MPEG хранит несколько типов кадров. Независимые или ключевые кадры (l-frames) не требуют никакой дополнительной информации для декодирования. При их сжатии используется методика, аналогичная JPEG-сжатию, но более эффективная. Предсказуемые кадры (P-frames) хранят различие между предыдущим независимым или предсказуемым кадром и текущим кадров (то, что в § 3.5.2 определялось как межфреймовое дельта-сжатие или компенсация движения). Дальнейшее улучшение качества сжатия достигается путем использования двунаправленных предсказаний движения или B-frames. В нем предсказание сохраняется как разности текущего как с предыдущим, так и с последующим кадрами, вследствие чего последовательность кадров может иногда нарушаться.

· При кодировании звука MPEG отбрасывает ряд избыточных данных, опираясь на особенности человеческого слуха, о которых уже говорилось в § 3.4. В результате достигается гораздо более высокий уровень сжатия по сравнению с РСМ и u-Law, о которых говорилось в предыдущем параграфе. Оценивая данный формат, следует отметить, что он гарантирует самое высокое качество как видео, так и аудио, но требует наличия большого количества вычислительных ресурсов.

· Формат Audio/Video Interleave (AVI) фирмы Microsoft получил свое название из-за того, что в нем аудио- и видеоданные расположены перемежающимися слоями. В заголовке файла хранится множество различной информации, в том числе, о частоте следования и размере кадров. Программа воспроизведения должна извлечь данные видеокадра и связанного с ним звукового сопровождения, затем передать звук на звуковую карту, а видеоданные распаковать и воспроизвести на экране монитора.

· Поддержка равномерного потока данных требует внимания ко всем частям системы воспроизведения для того, чтобы сохранить синхронизацию независимо от задержек при распаковке видеоданных.

· В структуре AVI-файла содержатся два блока LIST. Первый из них (LIST hdrl) содержит информацию о фильме в целом и каждом из его потоков, включая разрешение экрана и частоту кадров видеоданных, а также формат, частоту оцифровки и разрядность квантованных аудиоданных. Второй блок LIST movi хранит сами видео- и аудиоданные в виде отдельных потоков, сегментированных на блоки выборки. Интересно отметить, что в формате AVI звуковые данные опережают видео на 0,75 с.

6 Цифровая обработка аудио- и видеосигналов: преимущества и недостатки обработки аудио- и видеосигналов в форме.

7 Основные параметры звуковой волны: частота, длина, период колебаний, амплитуда.

Звуковыми (или акустическими) волнами называются распространяющиеся в среде волны, обладающие частотами; в пределах 16—20 000 Гц. Волны указанных частот, воздействуя на слуховой аппарат человека, вызывают ощущение звука. Волны с v < 16 Гц (инфразвуковые)и v >>20 кГц (ультразвуковые)органами слуха человека не воспринимаются. Звуковые волны в газах и жидкостях могут быть только продольными, так как эти среды обладают упругостью лишь по отношению к деформациям сжатия растяжения. В твердых телах звуковые волны могут быть как продольными, так поперечными, так как твердые тела обладаютупругостью по отношению к деформациям сжатия (растяжения) и сдвига. Интенсивностью звукаI (или силой звука –называется величина, определяемая средней по времени энергией, переносимой звуковой волной в единицу времени сквозь единичную площадку, перпендикулярную направлению распространения волны: . (23.1) Единица интенсивности звука в СИ — [ I ] =(Вт/м2). Чувствительность человеческого уха различна для разных частот. Для того чтобы вызвать звуковое ощущение, волна должна обладать некоторой минимальной интенсивностью, но если эта интенсивность превышает определенный предел, то звук не слышен и вызывает только болевое ощущение. Таким образом, для каждой частоты колебаний существует наименьшая (порог слышимости)и наибольшая (порог болевого ощущения)интенсивность звука, которая способна вызвать звуковое восприятие. На рис.23.1 представлена зависимость порогов слышимости и болевого ощущения от частоты звука. Область, расположенная между этими двумя кривыми, является областью слышимости. Если интенсивность звука является величиной, объективно характеризующей волновой процесс, то субъективной характеристикой звука, связанной с его интенсивностью, является громкость звука,зависящая от частоты. По физиологическому закону Вебера — Фехнера, с ростом интенсивности звука громкость возрастает по логарифмическому закону. На этом основании вводят объективную оценку громкости звука по измеренному значению его интенсивности: , (23.2) где I 0— интенсивность звука на пороге слышимости, принимаемая для всех звуков равной 10-12 Вт/м2. Величина L называется уровнем интенсивности звука и выражается в белах (в честь изобретателя телефона Белла). Обычно пользуются единицами, в 10 раз меньшими,— децибелами (дБ). Рис.23.1. Физиологической характеристикой звука является уровень громкости, который выражается в фонах (фон). Громкость для звука в 1000 Гц (частота стандартного чистого тона) равна 1 фон, если его уровень интенсивности равен 1 дБ. Например, шум в вагоне метро при большой скорости соответствует «90 фон, а шепот на расстоянии 1 м — 20 фон. Некоторые данные об интенсивности звука от различных источников, а также в примечании некоторые советы.

8Представление аудиосигнала в цифровой форме: преобразование звуковых волн в электрический сигнал, уровень электрического сигнала, моно и стерео запись звука, дискретизация и квантование звукового сигнала, цифровая обработка звуковых сигналов, системы сжатия цифровых аудиосигналов

Преобразование звуковых волн в электрический сигнал.

С самого детства мы сталкиваемся с записями музыки на разных носителях - грампластинках, кассетах, компакт-дисках и т.д. Сейчас существует два основных способа записи звука: аналоговый и цифровой. Но для того, чтобы записать звук на какой-нибудь носитель (например, магнитофонную кассету), его нужно преобразовать в электрический сигнал.

Это делается с помощью микрофона. Самые простые микрофоны имеют мембрану, которая колеблется под воздействием звуковых волн. К мембране присоединена катушка, перемещающаяся синхронно с мембраной в магнитном поле. А из школьных уроков физики вы, вероятно, помните, что в такой ситуации в катушке возникает переменный электрический ток. Изменения напряжения тока точно отражают изменения плотности воздуха в звуковых волнах.

Переменный электрический ток, который появляется на выходе микрофона, называется аналоговым сигналом. Слово "аналоговый", применительно к электрическому сигналу, обозначает, что этот сигнал непрерывен по времени и амплитуде. Он точно отражает форму звуковой волны, которая распространяется в воздухе.

Уровень электрического сигнала.

У любого бытового усилителя есть ручка громкости. С ее помощью вы изменяете уровень электрического сигнала, который подается на акустические системы, заставляя последние звучать тише или громче. Обычно в электронике для измерения уровня сигнала используются единицы напряжения: вольты или более мелкие единицы - милливольты. Однако в звуковых приложениях принято измерять уровень сигнала в уже знакомых вам по разделу «Уровень и громкость звука» логарифмических единицах - децибелах. Причем изменение уровня сигнала в усилителе на 5 дБ приводит к изменению уровня звука в акустических системах на те же самые 5 дБ. Это очень удобно, поэтому все измерители уровня как бытовых, так и профессиональных звуковых устройств показывают уровни в логарифмических единицах.

В электронике применяются отрицательные значения уровня, выраженного в децибелах. Шкала начинается с минус бесконечности (отсутствие напряжения) и доходит до нуля. Положительные значения уровня указывают на перегрузку звукового тракта и, соответственно, возникновение искажений. Если у вас есть кассетная дека с индикаторами уровня записи, то вы должны это знать: если уровень 0 дБ превышается, то светятся красные сегменты индикаторов.

Как и в случае со звуковыми волнами, значение изменения уровня переменного электрического сигнала в децибелах рассчитывается по формуле, знакомой вам из раздела «Уровень и громкость звука», только значения звукового давления (силы звука) меняются на значения напряжения: N=20lg U2/U1, где U2 и U1 - это конечное и начальное напряжение сигнала. За 0 дБ принято напряжение в 0.775 В.

Примерно до середины шестидесятых годов звук записывался на магнитофон при помощи одного микрофона, а воспроизводился с помощью одной колонки. Такой метод записи и воспроизведения - монофонический или моно - был хорош всем, кроме одного: в фонограмме отсутствовало привычное для нас пространственное звучание. Это создавало определенный дискомфорт при прослушивании, ведь наш слух имеет пространственную избирательность, то есть мы можем сосредоточиться на каком-то конкретном звуке. Когда же прослушивается монофонограмма, нам гораздо труднее выделить детали - они просто маскируются за наиболее громкими звуками. Поэтому сейчас стандартом является стереозапись и стереовоспроизведение фонограмм. В самом простом случае запись производится с двух широко расставленных микрофонов на два независимых канала магнитофона. То есть как бы имитируется процесс восприятия звука нашим слуховым аппаратом. При воспроизведении этой фонограммы через две широко расставленные колонки пространственная картина восстанавливается, при этом мы получаем гораздо лучшую детализацию. Наш слух получает более привычную звуковую картину, чем при монозаписи. Передаваемая в стереофонограмме пространственная «картинка» называется стереопанорамой. В панораме можно четко выделить три положения: левое, правое и центр. Звук, находящийся в центре, будет одинаково громко воспроизводиться из двух колонок. Звуки, находящиеся в левом и правом крайних положениях, будут слышны только в одной из колонок. Все остальные положения в панораме будут воспроизводиться соответственно.

Последнее время набирает обороты новая система пространственного представления звука, которая называется 3D Sound (трехмерный звук) или Surround sound (окружающий звук). Для воспроизведения трехмерного звука используется система, состоящая из четырех колонок (две фронтальные и две тыловые), которая имитирует реальное поле слуха человека. Однако для музыки она довольно бессмысленна, так как в реальных условиях музыка звучит со сцены. Для передачи ее пространственного звучания достаточно стереовоспроизведения. Единственное разумное применение тылового канала в музыкальных записях - это размещение там аплодисментов и реверберации зала. Зато уже не вызывает никакого сомнения, что такая система воспроизведения звука будет очень полезна для сопровождения кинофильмов и компьютерных игр, где ее потенциал может быть раскрыт полностью. Обычно фонограммы, которые предназначены для систем объемного звука, специальным образом закодированы (сейчас обычно кодируются звуковые дорожки фильмов). То есть вы можете их спокойно слушать на обычных стерео или моноаппаратах - никаких признаков объемного звука вы не услышите.

Для раскодирования фонограммы вам нужно приобрести специальное устройство - декодер. Только с его помощью вы получите искомое звучание. Но такие системы достаточно дороги. В более дешевых звуковых устройствах, в том числе и звуковых картах, применяется другая система объемного звучания, которая обрабатывает обычные стереофонограммы, разделяя сигнал на две части. Первая часть его поступает во фронтальные колонки без изменений, а вторая часть задерживается на небольшое время и направляется в тыловые каналы. Настоящего объемного звука с помощью таких систем вы не получите - это не больше чем его имитация.

Квантование

Квантование − процесс замены реальных значений сигнала приближёнными с определённой точностью. Таким образом, при оцифровке фиксируется амплитуда сигнала через определённые промежутки времени и регистрируются полученные значения амплитуды в виде округлённых цифровых значений.

Влияние недостаточного количества уровней квантования интуитивно понять легче, чем эффект неподходящей частоты дискретизации. Если мы можем задать только ограниченное число различных значений, мы не сможем различать те значения, которые находятся между ними.

Когда звук квантуется на слишком маленькое количество уровней амплитуды, результат воспринимается как некое искажение, которое иногда называют шумом квантования, поскольку его худшее проявление − неприятное шипение. Это также приводит к тому, что негромкие фрагменты не слышны, а сам звук становится нечётким (как в мобильном телефоне, когда вы попадаете в область слабого сигнала). Шум квантования хорошо различим тогда, когда звук дискретизируется с помощью 8 бит (256 уровней), а не с помощью 16 бит (65 536 уровней) (рис. 2.8), которые используются для звукозаписи на компакт-дисках.

Не нашли, что искали? Воспользуйтесь поиском: