视频基础技术

视频是什么：

• 视频由一组图像组成；

  • 视频的基本单元是图像。

• 为了传输、占用更小的空间，常常被压缩存储与传输；

• 最终需要解压位图像在显示设备上展示。

码流计算

• 分辨率。X轴像素个数×Y轴像素个数。

• 颜色分量（分量个数、分量大小）

• 帧率。每秒采集/播放图像的个数。

未编码视频的RGB码流
= 宽×高 // 分辨率
×3 // 颜色分量，每个像素3字节大小
×帧率
(×8 // 按位计算)

编码、解码、转码

编码（encode）

通过特定的压缩技术，将某个视频的视频流格式转换成另一种视频格式的视频流方式。

视频：

• YUV420/422 -> H264
• RGB888 -> H264
• YUV420 -> H265

音频：

• PCM -> AAC
• PCM -> G726
• PCM -> G711

解码（decode）

通过特定的解压缩技术，将某个视频格式的视频流转换成另一种视频格式的视频流方式。

视频编码针对图片序列

视频：

• H264 -> YUV420/422
• H264 -> RGB888
• H265 -> YUV420

音频：

• AAC -> PCM
• G726 -> PCM
• G711 -> PCM

转码（transcode）：视频转码技术将视频信号从一种格式转换成另一种格式。

转码

视频：

• 改变分辨率（resolution）

• 改变帧率（frame rate）

• 改变比特率（bit rate）等编码参数

音频：

• 改变采样率（sample rate）

• 改变通道数（channels）

• 改变位宽（sample format）

封装、解封装

封装（mux）：复用，按一定格式组织原音视频流

解封装（demux）：分解，解复用，按一定格式解析出原始音视频流