直播间新手常见技术问题解答--音画不同步

    对于播放器而言，它判断一帧视频和一帧音频是否要在同一个时间渲染和播放，依靠的完全是该数据携带的时间戳信息。

如果内容的生产端给音视频数据打的时间戳本身就有问题的话，播放器也往往无能为力了，因此，音画不同步问题，更多的时候，应该从生产端去排查原因。

1 采集源距离太远

如果音频源离麦克风距离太远，那么，摄像头采集到画面后给出的时间戳，肯定要远小于麦克风采集到同一时刻音频给出的时间戳，因此会产生音画不同步问题。

解决方案：音频源尽可能离麦克风设备近一点。

2采集设备内部问题

摄像头和麦克风采集音视频，在硬件上都会经过一些信号处理模块，如果处理延时不稳定，则会导致输出数据的时间不稳定，从而导致应用层获取时间戳的时候产生误差，带来音画不同步问题。

解决方案：极少数硬件/机型才会有，需要根据采集参数（如采样率）做一些 Jitter 抖动的矫正。

3 未使用采集的时间戳

如果在后续的某个环节修改了采集的时间戳，则非常大概率地会出现音视频不同步问题。

• 音视频算法处理模块

比如：视频经过美颜、编码后，重新更新为了处理后的的时间戳。

• 缓冲区导致的不同步

多线程程序中，往往会在不同线程之间共享一些帧缓冲区，缓冲区会导致音视频对应关系发生变化，如果从缓冲区取数据后，抛弃掉了原有的时间戳，重新使用新的当前时间，那么，肯定会出现问题。

• 网络传输导致的不同步

由于网络的传输的延时、丢包等原因，同一时刻的音视频包不会正好同时准确到达，如果在接收到了数据后再打上当前的时间戳，肯定也会出现不同步问题。

4 时间戳出现回退或者紊乱

如果时间戳出现了回退，这样的流，会导致播放器出现卡顿，因为播放器的 master 主时钟一般是单调递增的，当出现小于主时钟的视频帧后，一般会做丢弃处理，画面不更新但是音频还是在继续播放，从而导致看起来声音和画面并没有匹配上的问题。

解决方案：排查推流端时间戳是否单调线性递增，或者排查服务端是否有对流的时间戳有过修改导致回退。

5 播放端性能问题

比如低端机型软解 1080P 的高清码流，会存在解码不够及时的问题，导致部分视频解码完成后，已经远慢于当前的音频时钟，只能丢弃，从而导致画面更新不及时，与正在播放的音频无法匹配上，从而产生音画不同步的现象。

解决方案：使用硬解，选择较低清的码流，增大播放缓冲，等等。

6 马赛克严重

马赛克主要是指画面中出现多处类似小方块的图像，导致画面的局部或者整体看不清楚的情况。

7 视频编码参数配置原因

视频的画质，是由它的编码质量决定的，压缩得越厉害，画质损失就越严重，马赛克就越多。

编码器最重要的五个参数：画质级别、码率、帧率、GOP 大小、码控方式。

画质级别：H.264 有四种画质级别，Baseline profile，Extended profile，Main profile，High profile。级别越高，压缩的效果越好，但算法复杂度更高，导致功耗也更高。

码率：决定了视频被压缩的程度，码率越低，丢失的信息也就越多，画质也就越差。但是，带来的好处是占用的网络带宽会比较小，容易在互联网上传输，不容易出现卡顿。

帧率：决定了视频的流畅性，帧率越高，视频越流畅，但每秒钟编码器要处理的数据量也就越大，同等码率下压缩出来的视频质量就越差。

GOP 大小：决定了视频的延时，GOP 越小，延时就越小，但 GOP 小带来的问题是关键帧数量多，数据量变大，因此，同等码率下压缩出来的视频质量就会越差。

码控方式：一般编码器都有固定码率（CBR） 和 动态码率（VBR） 两种码控方式，前者是指码率优先，为了保证码率尽可能稳定，会主动降低画质，因此容易出现马赛克，后者是指画质优先，会优先保证画质，减少马赛克，但码率会浮动很大。

当然，还有一个重要的因素，就是编码器本身的实现质量，软编一般可以保证在不同手机上效果一致，而硬编则完全依赖手机所使用的硬件平台了。

8 推荐的编码器参数配置

一般直播场景中，考虑到手机性能和功耗，一般画质级别采用的是 Baseline profile，GOP 通常设置为 1～3s，帧率一般在 15～24 帧，而码率的配置，则需要根据推流的分辨率来决定，推荐的分辨率和码率配置关系如下图所示：

总之，关于视频编码与马赛克的关系，我们只需要记住一个原则：送入编码器的数据量越大，编码压缩得越厉害，丢失的图像信息也就越多，数据解码后的产生马赛克也就越厉害。

9 图像尺寸原因

一般摄像头采集的图像分辨率，跟最终推流的尺寸不一定完全匹配，当摄像头采集的分辨率大于推流尺寸的时候，需要先对画面进行剪裁处理，而当摄像头采集的分辨率小于推流尺寸的时候，则需要先对画面进行拉伸处理，然后再送入编码器中编码压缩。

例如：小尺寸的画面（比如：640 x 480），拉伸到大的尺寸（比如：1280 x 720），则很容易会产生模糊和马赛克，这样的画面再送入编码器中编码，无论怎样配置都无法再改善已经产生的马赛克了。

所以，为了降低马赛克，我们必须要保证，摄像头采集的分辨率，一定要大于最终推流的分辨率。

10 客观条件原因

如果主播在光线非常暗的环境下，本身送入编码器的图像质量也不会特别好，因此，同等条件下马赛克也会相对严重些。

同样，如果拍摄的是剧烈晃动的画面，剧烈变化的画面信息量也要大很多，因此，编码的复杂度会明显增大，如果要保证码率不会浮动太大，就必然要降低输出的图像质量，从而产生马赛克现象。

如果直播应用是主打这种光线暗的场景或者剧烈运动的画面场景的话，为了降低马赛克，可以考虑适当将编码参数配置得高 一点（比如：码率高一点，帧率低一点等等），以抵抗环境因素带来的影响。

11 关键帧丢失

还有一种马赛克现象，是由于视频流中丢失了关键帧，导致播放器解码后花屏，从现象来看有点像马赛克，但实际上跟上面讨论的不是同一个问题。

————————————————

版权声明：本文为CSDN博主「步基」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/wangbuji/article/details/121661187

================================

【新闻】

   中国e直播带货供应链金融13306003307(V同），
一件代发共享云仓：主播减去了自己先采购囤货的问题，可以无压力的开播卖货。主播只要选定生厂商的抖音小店产品链接或快手小店产品链接，在自己直播间上了链接就可以卖，卖完由厂家小店订单结算，厂家网店直接收款；直播带货主播直接分佣金；MCN机构直接分管理费。

     中国E直播带货供应链机构协调厂家按规则48小时内一件代发！