1.3 多媒体技术
1.3.1 媒体的概念与分类
媒体（Medium）是信息表示、传递和存储的载体。在计算机行业里有两种含义：其一是指传播信息的载体，如语言、文本、图像、视频、音频等；其二是指存储信息的载体，如ROM、RAM、磁带、磁盘、光盘等。
国际电话电报咨询委员会CCITT（Consultative Committee on International Telephone and Telegraph，国际电信联盟ITU的一个分会）把媒体分成以下5类。
（1）感觉媒体（Perception Medium）：指直接作用于人的感觉器官，使人产生直接感觉的媒体。例如，引起听觉反应的声音、引起视觉反应的图像等。
（2）表示媒体（Representation Medium）：指传输感觉媒体的中介媒体，即用于数据交换的编码。例如，图像编码、文本编码和声音编码等。
（3）表现媒体（Presentation Medium）：指进行信息输入和输出的媒体。例如，键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、音响等为输出媒体。
（4）存储媒体（Storage Medium）：指用于存储表示媒体的物理介质。例如，硬盘、软盘、磁盘、光盘、ROM及RAM等。
（5）传输媒体（Transmission Medium）：指传输表示媒体的物理介质。例如，电缆、光缆。
1.3.2 多媒体技术的含义和特点
1.多媒体技术的含义
多媒体技术是指能同时捕捉、处理、编辑和展示多种媒体信息，实现人-机交互的技术，其核心是利用计算机中的数字化技术和交互式处理能力，综合处理文字、声音、图形、图像等信息。将文字、声音、图像、视频等多种媒体的系统与计算机系统集成而形成的系统称为多媒体系统，由计算机系统对多媒体信息进行输入、存储、加工和输出处理等。
2.多媒体技术的特点
（1）多样性：一方面指信息表现媒体类型的多样性，另一方面指媒体输入、传播、再现和展示手段的多样性。
（2）集成性：多媒体技术将各类媒体的设备集成在一起，同时也将多媒体信息或表现形式以及手段集成在同一个系统之中。
（3）交互性：交互性指实现媒体信息的双向处理，即用户与计算机的多种媒体进行交互式操作，从而为用户提供更有效控制和使用信息的手段，也为应用开辟了更广阔的领域。
1.3.3 多媒体涉及的主要技术
多媒体技术是多学科、多技术交叉的综合性技术，主要涉及多媒体数据压缩技术、多媒体信息存储技术、多媒体网络通信技术、多媒体软件技术及虚拟现实技术等。
1.多媒体数据压缩技术
多媒体数据压缩技术是多媒体技术中最为关键的技术。数字化后的多媒体信息的数据量非常庞大，这给存储器的存储、带宽及计算机的处理速度都带来极大的压力，因此需要通过多媒体数据压缩技术来解决数据存储与信息传输的问题。
在多媒体应用中，常用的压缩方法有：PCM（脉冲编码调制）、预测编码、变换编码、插值和外推法、统计编码、矢量量化和子带编码等。混合编码是近年来广泛采用的方法。新一代的数据压缩方法，如分形压缩和小波变换方法等也已接近实用化水平。
衡量一个压缩编码方法优劣的重要指标为：压缩比要高，有几倍、几十倍，也有几百乃至几千倍；压缩与解压缩要快，算法要简单，硬件实现容易；解压缩后的质量要好。
目前已公布的数据压缩标准有：用于静止图像压缩的JPEG标准；用于视频和音频编码的MPEG系列标准（包括MPEG-1、MPEG-2、MPEG-4等）；用于视频和音频通信的H.261、H.263标准等。
（1）JPEG标准。1986年，CCITT和ISO两个国际组织组成了一个联合图片专家组（JointPhotographic Expert Group），其任务是建立第一个实用于连续色调图像压缩的国际标准，简称JPEG标准。JPEG以离散余弦变换（DCT）为核心算法，通过调整质量系数控制图像的精度和大小。对于照片等连续变化的灰度或彩色图像，JPEG在保证图像质量的前提下，一般可以将图像压缩到原大小的1/10～1/20，如果不考虑图像质量，JPEG甚至可以将图像压缩到“无限小”。2001年正式推出了JPEG 2000国际标准，在文件大小相同的情况下，JPEG 2000压缩的图像比JPEG质量更高，精度损失更小。
（2）MPEG标准。MPEG是“运动图像专家组”的简称，即国际标准化组织和国际电工委员会第一联合技术组第29分委会第11工作组，负责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定工作，制定的标准推动了VCD、DVD、数字电视、高清晰度数字电视等产品的发展。MPEG-1和MPEG-2是MPEG组织制定的第一代视、音频压缩标准，为VCD、DVD及数字电视和高清晰度电视等产业的飞速发展打下了牢固的基础。MPEG-4是基于第二代视音频编码技术制定的压缩标准，以视听媒体对象为基本单元，实现数字视音频和图形合成应用、交互式多媒体的集成，目前已经在流式媒体服务等领域开始得到应用。MPEG-7是多媒体内容的描述标准，支持对多媒体资源的组织管理、搜索、过滤、检索，已基本完成。正在制定的MPEG-21的重点是建立统一的多媒体框架，为从多媒体内容发布到消费所涉及的所有标准提供基础体系，支持连接全球网络的各种设备透明地访问各种多媒体资源。
2.多媒体信息存储技术
多媒体信息存储技术主要研究多媒体信息的逻辑组织，存储体的物理特性，逻辑组织到物理组织的映射关系，多媒体信息的存取访问方法、访问速度、存储可靠性等问题，具体技术包括磁盘存储技术、光存储技术以及其他存储技术。
3.多媒体网络通信技术
多媒体网络通信技术是指通过对多媒体信息特点和网络技术的研究，建立适合传输文本、图形、图像、声音、视频、动画等多媒体信息的信道、通信协议和交换方式等，解决多媒体信息传输中的实时与媒体同步等问题。
4.多媒体专用芯片技术
专用芯片是改善多媒体计算机硬件体系结构和提高其性能的关键。为了实现音频、视频信号的快速压缩、解压缩和实时播放，需要大量的快速计算。只有不断地研发高速专用芯片，才能取得满意的处理效果。专用芯片技术的发展依赖于大规模集成电路技术的发展。
5.多媒体软件技术
多媒体软件技术主要包括多媒体操作系统、多媒体数据库技术、多媒体信息处理与应用开发技术。多媒体操作系统是多媒体软件技术的核心，负责多媒体环境下多任务的调度，提供多媒体信息的各种基本操作和管理，保证音频、视频同步控制以及信息处理的实时性，具备综合处理和使用各种媒体的能力。多媒体数据库技术主要是研究分析多媒体数据对象的固有特性，在数据模型方面开展研究实现多媒体数据库管理，以及研究基于内容的多媒体信息检索策略。多媒体信息处理主要研究各种媒体信息（如文本、图形、图像等）的采集、编辑、处理、存储等技术。多媒体应用开发技术主要是在多媒体信息处理的基础上，研究和利用多媒体著作或编程工具，开发面向应用的多媒体系统，并通过光盘或网络发布。
6.虚拟现实技术
虚拟现实（Virtual Reality，VR）技术是一种可以创建和体验虚拟世界的计算机系统，一种模拟人在自然环境中视觉、听觉和运动等行为的高级人机交互（界面）技术。虚拟现实技术是多媒体技术的重要发展和应用方向，旨在为用户提供一种身临其境和多感觉通道的体验，寻求最佳的人机通信方式。
1.3.4 多媒体技术的应用
目前多媒体系统已经能够将数据、声音以及高清晰度的图像作为软件中的对象进行各种处理，各种编辑处理软件使人们可以更方便地使用素材，并达到理想的表现效果。
（1）教育培训：多媒体教学的模式可以使得教学内容更充实、更形象、更有吸引力，提高学生的学习兴趣和接受效率。
（2）通信工程：从通信角度来看，多媒体通信技术可以把计算机的交互性、通信的分布性及电视的真实性融为一体。虽然多媒体通信技术在通信系统的应用还处在起步阶段，但已经应用在了可视电话、视频会议、检索网络信息资源等多个方面。
（3）影音娱乐：配有较好声卡的多媒体计算机播放的效果要好于普通家庭音响，另外，立体声声卡配有的音乐设备数字接口，即MIDI接口，可以使用户将各种音乐设备和计算机连接起来，可自编曲演奏和存储编辑。多媒体技术与虚拟现实技术相结合，还可以向人们提供三维立体化的双向影视服务，使人们足不出户即能根据自己的意愿选择观赏的场景，在家里点播视听节目，选玩电子游戏，并实现居家购物、订票或检索信息等。
（4）电子出版：电子出版物是以数字代码方式将图、文、声、像等信息存储在磁、光、电介质上，通过计算机或类似设备阅读使用，并可复制发行的大众传播媒体。电子出版物有着多媒体的特点，尤其体现在集成性和交互性，使用媒体种类多、表现力强，信息检索和使用方式更加灵活方便，在提供信息给读者的同时也可以接收读者的反馈。
（5）医疗影像诊断：以多媒体技术为主体的综合医疗信息系统是医药卫生保健信息化、自动化的重要标志。目前，医疗诊断中经常采用的实时动态视频扫描、声影处理等技术等必将改善人类的医疗条件，提高医疗水平。
（6）工业及军事领域：多媒体技术可以对工业生产进行实时监控，尤其是在生产现场设备故障诊断和生产过程参数探测等方面实际应用价值很大，特别在危险环境和恶劣环境中作业，几乎都是由多媒体监控设备所取代，另外，在交通枢纽也可以设置多媒体监测系统，准确观测各重要交通路口和行人、车辆。
1.3.5 视觉媒体的数字化
多媒体创作最常用的视觉元素分静态图像和动态图像两大类。静态图像根据它们在计算机中生成的原理不同，又分为位图（光栅）图像和矢量图形两种。动态图像又分视频和动画。视频和动画之间的界限并不能完全确定，习惯上将通过摄像机拍摄得到的动态图像称为视频，而由计算机或绘画的方法生成的动态图像称为动画。
1.3.5.1 静态图形图像的数字化
1.图形与图像
在计算机中，图形（Graphics）与图像（Image）是一对既有联系又有区别的概念。它们都是一幅图，但图的产生、处理、存储方式不同。图形一般是指通过绘图软件绘制的，由直线、圆、圆弧、任意曲线等图元组成的画面，以矢量图形文件形式存储。矢量图文件中存储的是一组描述各个图元的大小、位置、形状、颜色、维数等属性的指令集合，通过相应的绘图软件读取这些指令，可将其转换为输出设备上显示的图形。因此，矢量图文件的最大优点是对图形中各图元进行缩放、移动、旋转而不失真，而且它占用的存储空间小。
图像是由扫描仪、数字照相机、摄像机等输入设备捕捉的真实场景画面产生的映像，数字化后以位图形式存储。位图图像又称为光栅图像或点阵图像，是由一个个像素点（能被独立赋予颜色和亮度的最小单位）排成矩阵组成的，位图文件中所涉及的图形元素均由像素点来表示，这些点可以进行不同的排列和染色以构成图样。位图文件中存储的是构成图像的每个像素点的亮度、颜色，位图文件的大小与分辨率和色彩的颜色种类有关，放大和缩小要失真，由于每一个像素都是单独染色的，因此位图图像适于表现逼真照片或要求精细细节的图像，占用的空间比矢量文件大。
矢量图形与位图图像可以转换，要将矢量图形转换成位图图像，只要在保存图形时，将其保存格式设置为位图图像格式即可；但反之则较困难，要借助其他软件来实现。
2.图像的数字化
图像的数字化是指将一幅真实的图像转变成为计算机能够接受的数字形式，这涉及对图像的采样、量化及编码等。图像采样就是将时间和空间上连续的图像转换成离散点的过程，采样的实质就是用若干个像素（Pixel）点来描述这一幅图像，称为图像的分辨率，用点的“列数×行数”表示，分辨率越高，图像越清晰，存储量也越大。量化则是在图像离散化后，将表示图像色彩浓淡的连续变化值离散化为整数值（即灰度级）的过程，从而实现图像的数字化。在多媒体计算机系统中，图像的色彩是用若干位二进制数表示的，被称为图像的颜色深度。把量化时可取整数值的个数称为量化级数，表示色彩（或亮度）所需的二进制位数称为量化字长。一般用8位、16位、24位、32位等来表示图像的颜色，24位可以表示224=16777216种颜色，称为真彩色。
1.3.5.2 动态图像的数字化
动态图像也称视频，视频是由一系列的静态图像按一定的顺序排列组成的，每一幅称为帧（Frame）。电影、电视通过快速播放每帧画面，再加上人眼视觉效应便产生了连续运动的效果。当帧速率达到12帧/秒以上时，可以产生连续的视频显示效果。
视频有两类：模拟视频和数字视频。早期的电视等视频信号的记录、存储和传输都是采用模拟方式；现在出现的VCD、SVCD、DVD、数字式便携摄像机都是数字视频。在模拟视频中，常用两种视频标准：NTSC制式（30帧/秒，525行/帧）和PAL制式（25帧/秒，625行/帧），我国采用PAL制式。
视频数字化过程同音频相似，在一定的时间内以一定的速度对单帧视频信号进行采样、量化、编码等过程，实现模数转换、彩色空间变换和编码压缩等，这通过视频捕捉卡和相应的软件来实现。在数字化后，如果视频信号不加以压缩，数据量的大小是帧乘以每幅图像的数据量。例如，要在计算机连续显示分辨率为1280×1024的24位真彩色高质量的电视图像，按每秒30帧计算，显示1 min，则需要：1280（列）×1024（行）×3（B）×30（帧/s）×60（s）=6.6 GB。一张650 MB的光盘只能存放6 s左右的电视图像，显然，这样大的数据量不仅超出了计算机的存储和处理能力，更是当前通信信道的传输速率所不及的。因此，为了存储、处理和传输这些数据，必须对数据进行压缩。