音视频基础知识

音视频

比特率 = 码率 文件大小(b) = 码率(b/s) × 时长(s)

适用未压缩的情况

音视频帧

视频帧

yuv 原始视频数据

• I 关键帧
• P (前)差别帧
• B 双向差别帧

音频帧

pcm 原始音频数据

音频帧的概念没有视频帧那么清晰，几乎所有视频编码格式都可以简单的认为一帧就是编码后的一副图像， 而音频帧会因编码格式的不同而不同，如 pcm 音频流可以直接进行播放。

音频编码

• pcm 原始音频数据

pcm 经过 音频encoder编码器 encode编码 得到 音频包，相反 可以用 音频decoder解码器 decode解码

编码格式

• amr 每20ms为1帧，帧独立
• mp3 有损压缩，体积小。最广泛。分帧头和数据实体，帧头记录比特率、采样率、版本等信息，帧独立
• aac 有损压缩，失真小
• wav 几乎不压缩，体积大，不失真

蓝牙传输编码

• SBC 最通用的蓝牙传输协议，99%的蓝牙耳机都支持，支持 44 khz / 16 bit 的音频，最高码率 328 kbps，延时约 220 ms，音质相对较普通
• AAC 苹果主推，Android 和 iOS 通用，支持 44 khz / 16 bit 的音频，最高码率 512 kbps，延时约 100 ms，音质略好于 SBC。
• aptX 高通专利，最高码率 352 kbps，延时约 40 ms，音质略好于 SBC。
• LDAC 无损高音质，索尼主推，支持 96 khz / 24 bit 的音频，最高码率 990 kbps
• LHDC 无损高音质，支持 96 kHz / 24 bit 音频，最高码率 900 kbps

视频编码

• yuv 原始视频数据

yuv 经过 视频encoder编码器 encode编码 得到 视频包，相反 可以用 视频decoder解码器 decode解码

编码格式

• avc (h264) 主流，广泛。每个宏块固定16x16像素
• hevc (h265) 高压缩。每个宏块编码单位可以自适应选择从最小的8x8到最大的64x64像素
• av1 开源、免版税。战未来。

音视频经过混合的格式

编码后的音频和视频muxe混合成的封装格式，相反 可以 demuxe解复用

• muxer 复用器，混合器
• demuxer 解复用器，解混合器

如

• aac + h264 经过 flv复用器 混合 得到 flv文件
• mp3 + h265 经过 mp4复用器 混合 得到 mp4文件

混合格式

• mp4
• flv
• mkv
• mov
• avi

原生 Android 的音视频

Surface 处理被屏幕排序的原生的Buffer

SurfaceView 内嵌了一个专门用于绘制的Surface，可以理解为Surface是管理数据的地方，SurfaceView是展示数据的地方

SufaceTexture 跟SurfaceView很像，可在视频解码里面获取图像流，但可以不需要显示到屏幕上， 可以取得图像帧的副本进行处理再传给SurfaceView用于显示

SurfaceHolder 是一个管理Surface的容器

##

---

参考

菜鸟修炼笔记-音视频开发基础知识-音频帧、视频帧及其同步