Мультимедиа-технология

Основные данные о работе

Содержание

Введение

Термин «мультимедиа» возможно сопоставить с русским термином «множество сред» (порой переводят как множествоносителей). Традиционно, под термином мультимедиа предполагают взаимодействие зрительных и аудиоэффектов под управлением интерактивного программного обеспечивания.  
Понятие так обширно и расплывчато, что "мультимедиа" возможно включить громаднейший диапазон аппаратного и программного обеспечения, от 8 битной звуковой карты и накопителя для компакт-дисков с одинарной скоростью до специальных программ и компьютеров, применяемых при создании специальных эффектов причем даже целых компьютерных фильмов.  
Мультимедиа-продукты возможно поделить на немного категорий исходя из того, на какие категории покупателей либо пользователей они предусмотрены. Одни нацелены для тех, кто имеет здания компьютер, - данное обучающие, развивающие программы, графические программы, любые энциклопедии и справочники, несложные музыкальные редакторы и т.п. СD с программными средствами используют таковой известностью у пользователей бытовых систем мультимедиа, собственно число предполагаемых на базаре названий  компакт-дисков с любым годом удваивается. Другая группа– данное прибавления для бизнеса. Тут технологии мультимедиа работают для других целей. При их помощи возрождают демонстрации, делается вероятным организовать видео-презентации «в живую», а голосовая почта так хорошо сменяет офисную телефонную линию, собственно простой телефон начинает приниматься как архаизм. И, еще бы, сегодня для бухгалтера компьютер делается непременным, также для экономиста, клерка и множества иных экспертов, использующих его для трудных бухгалтерских и статистических расчетов. В наши дни персоналу, данные технологии, становятся непременными ассистентами, в отсутствии которых не довольствоваться ни маленькое предприятие, не разветвленные компании. 
Аналогично присутствует немногочисленная категория товаров, которая ориентирована только лишь на экспертов. Им употребляются средства производства видеофильмов, компьютерной графики, и еще разные музыкальные студии.

Основная часть

1 Что может звук

Мультимедиа технологии начались со звука , поэтому самое логичное , что этому направлению в первую очередь следует уделить внимание . В ходе эволюционного развития звуковые устройства значительно видоизменились . Сейчас очень интересно проследить изменение подхода к проектированию звуковых плат для компьютеров , а также определить цели , для которых они предназначались .

В самых первых компьютерах семейства PC IBM компания установила примитивный динамик . Что забавно , за более чем двадцатилетнюю историю персональных компьютеров устройство этого динамика практически не изменилось . Сколько выдумки и фантазии было проявлено , чтобы звуки , издаваемые изначальным средством , хоть как-то походили бы на прототипы из реального времени . И так было до тех пор , пока не явилась первая звуковая карта для PC под названием Ad Lib . Она могла только синтезировать звуки по командам центрального процессора , так как ни цифровой записи , ни воспроизведения не было . Синтезатор от фирмы "Yamaha" (OPL2, микросхема YM3812) , использовал метод частотной модуляции (FM - Frequency Modulation), то есть метод синтеза музыкальных звуков , при котором итоговый звук получается в результате взаимной модуляции синусоидальных сигналов, которые создавались несколькими генераторами . Звуковая карта Ad Lib, практически захватившая рынок в начале 1987 - конце 88 года , была столь популярна, что появившийся немного позднее - в ноябре 1989 года - первый Sound Blaster (SB) был сделан с нею совместимым. Кстати говоря, предтечами Sound Blaster были аудиокарта Creative Music System (C/MS), выпущенная в начале сентября 1987 года, и стереофоническая   карта Creative Game Blaster, появившаяся ровно годом позднее. Звуковая карта Sound Blaster (SB), от мало кому тогда известной фирмы Creative, никогда не добилась бы и части выпавшей на ее долю популярности, если бы не обладала одним особо важным свойством: это была первая звуковая карта для PC , которая, помимо FM-синтезатора , воспроизведением звука и функцией цифровой записи. Именно это устройство начинает отсчет времени существования того , что сегодня имеется почти в каждом компьютере и называется собственно звуковой картой. Разрядность оцифровки, которую обеспечивала Sound Blaster (SB), составляла 8 бит. Частота дискретизации составляла 4-11 КГц при записи и 4-21 КГц при воспроизведении, карта поддерживала только монорежимы. До качества , обеспечиваемого звуковыми компакт-дисками (16 бит, 44,1 КГц, стерео), конечно, далеко , но и это уже было кое-что. Феноменальный успех Sound Blaster (SB), сделал ее имя , чуть ли не нарицательным, и до сих пор многие в России и других странах называют так любую звуковую карту. Новейшие технологии стали тут же использовать производители компьютерных игр, и видеоряд дополнился звуковым.

После революции , совершенной Sound Blaster (SB) , развитие звуковых карт опреденное врем я шло эволюционно. В модели Sound Blaster версии 2.0 увеличилась частота дискретизации. При записи звука - до 15 КГц, а при воспроизведении - до 45,4 КГц. Затем в мае 1991 года появилась и стереофоническая карта - Sound Blaster Pro, в которой частота дискретизации в записывающем режиме догнала воспроизведение. Она составила 45,3 КГц, однако максимальная частота работы со стереозвуком была несколько меньше - 22,04 КГц. Так же развивались и методы синтеза. Sound Blaster Pro II имела синтезатор OPL3, обеспечивающий значительно более качественное звучание. Следующим шагом стала звуковая карта Sound Blaster 16, который был выпущен в июне 1992 года. Цифра 16 в названии означала основное достоинство карты: воспроизведение и запись цифрового звука в персональном компьютере стали 16-разрядными. Качество CD становилось все ближе и ближе, оставалось только разобраться с шумами (с ними разбираются и до сих пор) . Частота дискретизации новой карты в любом режиме составляла 4-45,5 КГц, были добавлены регуляторы тембра по высоким и низким частотам. Вариантов Sound Blaster 16 существовало столько, что перечислить их все просто нельзя, наверное, и сама фирма Creative. Sound Blaster 16 завершила эволюционный ряд первого поколения Sound Blaster и стала предтечей

В методах синтеза звука произошла революция, но прежде чем к ней перейти, отметим еще один момент . Sound Blaster  в чем-то повторила судьбу самого PC IBM , ставшей индустриальным стандартом и вызвавшей к жизни многочисленные клоны (в нашей стране были карты на чипах ESS - Enhanced Sound Source). Независимые производители стали обеспечивать совместимость большей части выпускаемых звуковых карт с принятым за основу Sound Blaster Pro. Почти любая звуковая карта выпущенная в 1999 году, даже рассчитанная на шину PCI и выполненная на самом новейшем звуковом чипсете , продолжает хотя бы декларироваться , как совместимая с Sound Blaster Pro. В дальнейшем производители материнских плат стали предусматривать на многих из них специальный разъем для обеспечения Sound Blaster-совместимости PCI-звуковых плат – так называемый Sound Blaster Link. Кроме того , часто обеспечивалась аппаратная и программная совместимость еще с одним представителем отрасли , хорошо зарекомендовавшим себя , прежде всего на корпоративном рынке , т.е. – звуковой картой Microsoft Windows Sound System , построенной на чипе AD1848 от фирмы Analog Devices. Качество FM-синтеза не было достаточно хорошим для музыкантов и очень скоро перестало удовлетворять рядовых пользователей. Как решение , был предложен метод WaveTable (волновая таблица) – воспроизведение заранее записанных в цифровом виде звуков реальных инструментов – сэмплов (samples). Для изменения высоты звука сэмпл воспроизводится с меньшей или большей скоростью по отношению к нормальной , то есть той, на которой он был записан. WaveTable быстро завоевал место под солнцем, вначале в виде дополнительных WaveTable-плат (Примером может являться Wave Blaster , дочерняя плата от фирмы Creative ). В ее основе лежат технологии фирмы E-mu. В отличие от предыдущей модели Wave Blaster II, поступила на рынок в январе 1995 года . Wave Blaster и ее аналоги подключались к отдельно предусмотренному разъему на Sound Blaster 16. Так же было и много других вариантов подключения. Затем нашла свое место и в технологии AWE (Advanced Wave Effects), реализованной в звуковой карте SB AWE32 , которая была создана в марте 1994 года. С этого момента цифра в названии звуковой карты от Creative обозначала не разрядность звуковой карты, а количество одновременно воспроизводимых голосов. Воспроизведение и запись цифрового звука на платах этого семейства реализованы аналогично Sound Blaster 16 Pro (Sound Blaster 16 + ASP), а WT-синтезатоp построеного на базе чипа EMU8000, обеспечивающего синтез 32 голосов на основе высококачественных 16-pазpядных сэмплов с частотой дискретизации до 45,5 КГц. EMU8000 также имел эффективный процессор , позволяющий создавать эффекты реверберации (многочисленные повторения звука , эхо для придания звучанию объемности), хорус (хор, "размножение инструментов", имитация ансамбля ) и некоторые другие. Sound Blaster AWE64 помимо 32 аппаратных голосов поддерживал еще и 32 программных, благодаря присутствию в своем составе программного WT-синтезатоpа WaveSynth / WaveGuide, использующего элементы новой технологии физического моделирования акустических инструментов. Это позволило повысить качество звучания струнных и духовых инструментов. Здесь специально делается акцент на звуковых картах фирмы Creative. В то время она выпускала безусловный мэйнстрим , а профессиональные и полупрофессиональные карты от Gravis Ultrasound, Voyetra Turtle Beach и других производителей хоть и обладали целым рядом современных характеристик, но не определяли развитие отрасли в целом. Это было прерогативой Creative , так как, в большей степени , конкурентов на рынке потребителей у нее не было . В результате случился застой , который длился целых четыре года с 1994 до 1998 года. В этот период даже новые модели аудиокарт являлись лишь модернизацией старых. Наиболее показательна в этом отношении AWE64 по отношению к AWE32. Возможно, такое положение продолжалось бы и в будущем, но назрел перехо д на шину PCI и 3D-звук. Все звуковые платы Sound Blaster  вплоть до AWE64 включительно были реализованы в конструктиве под ISA шину. Однако тенденция отказа от наследия PC IBM требовала перехода на шину PCI, значительно более скоростную, а также позволявшую распределять ресурсы персонального компьютера , что существенно упрощало его управление. Более того, переход на PCI легко решал вопрос организации хранения банков инструментов не в ОЗУ или ПЗУ на самой звуковой плате, а в системном ОЗУ компьютера. Немаловажно и то , что карты PCI были заметно дешевле. Первую реально работоспособную PCI - аудиокарту создала фирма Ensoniq , которую шустрая Creative тут же и купила. Произошло это в декабре 1997 года. После доработки и модернизации программного обеспечения карта стала называться довольно своеобразно - Creative Labs Ensoniq AudioPCI , выпущенная в апреле 1998 года.

1.1 3D-звук

Его части появлялись на звуковых платах уже давно, но , обычно, в реализации, аналогичной применяемой в бытовой аудиотехнике более низкой ценовой категории . Примером может служить расширение стереобазы (многие скажут, что к 3D это не имеет практически никакого отношения) и самые простые варианты Surround (звук вокруг). Никто и не мог подумать, что компьютерные игры простимулируют наряду с 3D-видео интерес к настоящему 3D-звуку , около которого и развернулась борьба за передел рынка.

Борьба за первые места в 3D-звуке развернулась между двумя крепостями , первая из которых звалась A3D , а вторая - EAX. Для начала несколько слов о самом 3D-звуке.     Суть в том , что под этим термином, обычно, понимается три различные технологии, таких как:

- Stereo Expansion (расширение стереобазы) - это технология , которая увеличивает ширину звукового пространства, используя избыточную информацию, содержащуюся в сигнале. Существует множество вариантов исполнения , из них самые известные – Sound Retrieval System (SRS) от фирмы SRS Labs и Spatializer 3-D от фирмы Spatializer Labs.

- Surround (звук вокруг) –  технология , в которой используется специально закодированные данные в формате surround для воспроизведения двух и более звуковых каналов в их пространственной перспективе на небольшом числе реальных источников звука , например, пяти звуковых каналов на двух аудио источниках (колонки). Одна из последних реализаций технологии в компьютерной технике это Creative Multi-Speaker Surround (CMSS).

- Positional 3D Audio (позиционируемый 3D-звук) – это технология, основывающаяся на особом местоположения в трехмерном пространстве каждого из нескольких звуковых потоков.

Де первые технологии обычно применяются при воспроизведении музыки как на персональных компьютерах , так и на  и профессиональной аудиоаппаратуре , специализированной бытовой , в домашних кинотеатрах и так далее. Отметим, что более новые варианты технологии Surround , которые широко распространены и в киноиндустрии. Третья технология прочно обосновалась в новых компьютерных играх. В общем виде эти технологии встречаются все реже и реже , поэтому в настоящее время появляется все больше видов реализации 3D-звука , где они комбинируются самым причудливым образом.

Но это еще не все. Для обеспечения реальности звучания , кроме точного позиционирования источников звука необходим и имитатор взаимодействия звука с окружающим пространством. То есть, имитация звуков , которые отразились от стен, пола или потолка (реверберация), проникших через препятствие (окклюзия) и поглощенных препятствием (обструкция). Также необходимо    произвести дистанционное моделирование , или учесть удаленность слушателя от источника звука.

Фирма Aureal выпускает дополнительный интерфейс API программирования под названием A3D. При подготовке этой технологии Aureal опиралась на разработки исследовательской лаборатории компьютерного звука (Computer Audio Research Laboratory) университета в Сан-Диего, выполненные под руководством Дика Мура (Dick Moore) в начале восьмидесятых годов. Кроме того , фирма Aureal приобрела компанию Crystal River , где трудился Скотт Фостер (Scott Foster), в свое время по заказу NASA разработавший Convolvotron – одну из первых реализаций технологии виртуальной реальности. Второй крепостью стала технология фирмы Creative под названием EAX (Environmental Audio Extensions), увеличивающая возможности прикладного интерфейса API программирования Microsoft Direct Sound 3D.

Компания Creative использовала результаты работ Джона Чоунингома (John Chowning) в Стэнфордском университете в конце семидесятых годов, а также четвертьвековой опыт компании E-mu Systems, в которой занимались созданием звукового оборудования для Голливуда, и вскоре в марте 1993 года была приобретена компанией Creative.

Вследствие того, что EAX не является полноценным звуковым API, так как в ней отсутствуют средства позиционирования 3D-звука (которые используют возможности Microsoft Direct Sound 3D, или DS3D), мы этот вопрос рассматривать не будем, а более подробно поговорим о методах имитации взаимодействия звука с окружающей средой. Единственное , отметим, что при позиционировании 3D-звука в настоящее время все чаще используются бинауральные процессы обработки звука, и, как правило, это функции Head Related Transfer Function (HRTF), посредством которых наши слуховые органы совместно с соответствующими центрами головного мозга определяют местоположение источника звука. Качество реализации 3D-позиционирования в DS3D и A3D схожи, хотя и существует мнение , что позиционирование звука в вертикальной плоскости реализовано в A3D лучше.

В чем же разница в подходах Creative   и Aureal к имитации взаимодействия звука в окружающей среде? Различия корнями уходят в науку университетов США.

Встречавшийся ранее Дик Мур разрабатывал методы, с помощью которых можно было бы точно вычислить все необходимые параметры звука в зависимости от физических свойств среды. Джон Чоунинг пошел другим путем , и в основе его метода моделирования акустической среды стал учет особенностей восприятия человеком звука. Фирма Aureal выбрала первый путь , а Creative – второй.

Технология EAX от фирмы Creative используется при моделирования акустических свойств среды в некую обобщенную модель (прежде всего, реверберации). При этом, заранее создается так называемый пресет, содержащий в себе набор параметров звука для каждого типа среды.

В компании Creative руководствовалась , скорее всего, следующими соображениями. Широко известно , что в кинематографии (кстати , вспомните об опыте создания звуковых студий для Голливуда, который имеет E-mu) звук почти никогда не записывается сразу при съемках, а добавляется уже позднее в студийных условиях. И дело не в том , что на натуре трудно получить высокое качество звучания. В искусстве практически всегда присутствует и некоторая доля условности , более того, она даже необходима. А необходима она   для увеличения степени воздействия на зрителя. Например, по замыслу режиссера нужно, чтобы в какой-то момент на плотном звуковом фоне (шум автомобилей и т. д.) стало хорошо слышно тиканье часов . В жизни такого не бывает. А по сюжету фильма – надо. Конечно же, звуковой фон и часы записываются отдельно, а уже потом сводятся вместе нужным способом. Все вышесказанное относят и к компьютерным играм, которые в своих лучших проявлениях, уже относятся скорее к категории интерактивных игровых компьютерных фильмов. Если так, то зачем заниматься расчетами путей прохождения звука в виртуальной акустической среде, когда можно, как в кинематографии , использовать заранее подготовленную высококачественную модель? Результат, утверждает компания Creative , не хуже, чем обеспечивает WaveTracing , а в большей части случаев и лучше. Но не все с этим согласны. Такой подход обычно критикуют за отсутствие интерактивности.