如何使用网络电视直播系统提高直播质量

随着抖音直播用户持续增加，生态日渐丰富，在经历亿万规模化增长的过程之中，体验优化是必须要面对的问题，如何建立不同阶段的优化体系？如何抓住过程中的优化重点？另外面对业务增长诉求，面对新技术发展趋势，体验优化如何体现业务价值？新技术如何落地在业务之中？LiveVideoStackCon 2022北京站邀请到火山引擎直播技术负责人周一楠，分享抖音体验优化过程的一些探索与实践。

文/周一楠

编辑/LiveVideoStack

第二部分主要介绍下抖音直播体验优化的体系构建。我们会从业务和场景出发做直播技术升级，关注用户的核心体验。同时，我们也会结合当前技术的成熟度、可能性、条件要求，对技术应用进行判断，期望寻找发挥技术价值最大化杠杆的地方。

在技术判断之后，我们会进行线下性能、体验的验证体系建设，设置好准入准出条件，并设计数据指标来做度量参考。最后线上部分以QoE为牵引，进行线上AB实验指标做持续调优，最终验证收益和价值回收。基于以上的循环模式，持续构建直播体验优化的体系，以上是我们构建的整体方法论。

具象来看，在整个世界杯期间，用户最关注的核心体验之一是低延时。过往我们在很多场景也在做低延时优化，解决秀场中主播反馈慢，电商中介绍商品不及时，以及教育场景中老师授课的交互性差等问题，都取得了不错的用户正向反馈和业务收益。

这次竞技比赛对于延时的意义会更重要，最差的一种体验是观看比赛直播的过程中，这边还没看到进球，就已收到其他App的进球消息了。虽然有些夸张，但比赛的及时性是用户能够明显感知到的。因此低延时的技术判断和业务价值我们是确定的。在此之后，就进入到技术方案环节，我们需要了解延时到底发生在哪个环节？

从全链路角度来看，原流上行到接入节点，再通过源站到转码处理，之后分发到边缘最后在通过不同的协议，到用户最后1公里。在整个过程中，如链路图所示，每个环节都会产生延时。但其中播放器的缓存对延迟影响最大，在直播过程中，为了对抗卡顿，常规做法都会设置一定的buffer缓冲区，一般防抖buffer会设置在5~8秒，进而引入了延时产生。

下面介绍下具体的优化方法。我们把FLV延迟进行了分类，分为初始静态延迟和动态消费延迟。针对不同的延迟有不同的优化策略。对于初始静态延迟，可以调低Gop、转码延迟优化以及降低CDN GopCache。对于动态消费延迟出现的IO消费慢、解码消费慢和渲染消费慢问题，采用不同的优化策略。其中IO消费慢可以采用卡顿优化、倍速播放和丢帧跳片。解码消费慢可以采用性能优化、动态码率和丢帧跳片。渲染消费慢会采用倍速播放、性能优化、动态码率和丢帧跳片。

针对RTM传输协议，虽然RTC和RTM有一定的复用性，但也有一定差异性。直播场景中更加看重首帧的成功率和长时间看播的音画强同步率。

RTC应用最多的是会议模式和教育小班课，技术层面，RTC会维护一个网络长链接，无论socketio还是websocket采用哪一种方式实现，都会保证信令消息的可靠性和即时性，进而保障成功率和体验。RTM的数据和信令也是分离的，但无长链接，需要做定向技术改造，比如使用预加载策略降低首帧，还有一些用户的网络不支持UDP传输，如果UDP不通，也会影响连接的成功率，需要做端口检测。为了提升成功率，因为SDP有冗余信息存在，所以也会把SDP进行压缩，变成miniSDP进行传输，通过0rtt或者一个rtt处理来提升成功率。另外因为抖音默认采用feed流模式，所以需要最大程度的去降低首帧时间。

在整个直播过程中，需要保证实时地强音画同步，尤其是在高清晰度的情况下，音频先触达，需要减少起播倍数播放，另外在分发环节上，RTM的分发模式通过CDN的边缘节点进行分发，我们在服务端、客户端侧的组帧、解帧需要做定向优化，提升秒开的成功率和降低时间，这里不详细展开了。

最后来看一下整体业务收益。两年前，抖音的直播延时大约在7.9s。我们持续地在两个方向上进行延时优化，目前技术数据上来看，大盘均值可以降低到3秒内，RTM场景在1秒内，均投入到了常规放量状态。业务价值上来看，无论是直播的看播渗透率还是看播时长、评论，亦或电商都有显著正向收益。同时因为减小缓冲区可以减少网络浪费率，从而降低95峰值进而影响直播成本单价，我们除了用户体验的收益之外，也获得了成本上的收益。

除了低延时，我们发现在整个世界杯直播期间，用户对于画质的要求也是最高的。

首先我们先看下视频全链路的技术结构。从生产端编辑处理和视频编码，再上传到云端。在云端和转码环节上会进行视频的分析和理解，然后进行策略优化，进行极致超清的转码。相关的处理完成之后，会把处理好的数据通过边缘节点进行分发，最后再传输到消费端。消费端会对直播流进行播放控制，视频解码以及效果增强。整体看下来涉及端上行，云端编辑&转码，云端分发，最后到端上消费，涉及到的环节多而复杂，往往需要跨多领域配合以达到最优体验。

现在抖音直播的分辨率大部分是1080p和720p。世界杯期间我们期望带来4k的大升级，提供更高的清晰度。另外因为足球比赛的特性，运动激烈、纹理复杂、场景切换多，需要提供50fps加HDR模式，最大程度的还原比赛的临近感和冲击性。但这些画质升级的背后，也会带来视频数据量大、实时处理难度大等问题，我们又不希望引入额外的延时，同时使用尽可能低的码率，这些都有非常大的挑战。

我们采取了以下优化思路来解决上述问题。首先进行策略优化的选型，比如判断软件编码还是硬件编码，档位配置，并对画质进行整体评分。策略决定好之后，再进行内部编码内核的优化，以及具体前后处理优化策略，最终保证画质最优。

拆开策略优化一共有三个动作：

首先评估是用硬件编码的模式，还是软件编码的模式，在足球比赛这样特殊的场景中，综合判断软件编码的效果往往比硬件编码效果更好，也更具定制化改造和优化开放性。

其次进行前处理的预估，世界杯信号源支持HDR，我们要把HDR的效果带给所有的观众，就需要在转码侧、分发侧以及端上都具备支持4K HDR的能力，否则就会出现图像偏暗的问题。但同时我们也要考虑到一些用户因为手机性能或者网络的原因，没有办法播放HDR视频，这就需要同时具备HDR转换成SDR的能力。在转换过程中会发现传统的ToneMapping算法，不论是Reinhard、Filmic或者Hable，其本质都是固定映射曲线实现从HDR到SDR的转换，不可避免会产生一些信息损失，导致效果不好。我们设计了自适应ToneMapping，通过统计视频内容的实际光照情况动态地进行ToneMapping，从而得到更优的效果。

另外，抖音世界杯直播支持多机位、多档位、多分辨率。我们通过多轮评测，制定档位码率的甜点值是多少，目的是为了能够用最低的码率达到最优的画质体验。

前处理的环节中，重点讲一下时域ROI技术，为了兼顾视频码率和主观画质，我们采用基于LSTM（长短期记忆网络）的时域ROI技术。通过人眼显著性区域检测和编码相结合的方式，让码率在画面上的分配更加合理。

但目前市面上没有专门针对足球场景的saliency(显著性物体检测)数据集，通用的saliency数据集在世界杯这类特定场景中表现并不理想。针对这一问题，团队专门制作了足球场景的saliency数据集，通过眼动仪追踪球迷观看球赛时的关注区域得到足球比赛的专用saliency数据集，从而极大增加了模型的准确性。针对足球场景中显著性物体较多，显著性区域分散的特点，团队对检测模型进行了专门的优化，在保证检测速度的前提下，提高了模型的召回率和不同场景的鲁棒性，从而实现更优的主观质量。

编码器内核优化环节， 我们结合世界杯，梳理了过往比赛的测试序列，并根据特征选择包括球场、观众、特写等等，精简视频数量，目的是加快测试迭代，进而在控制码率、动作估计等进行定向优化。最终的效果从图中可以看出，在PSNR、Vmaf对比下，码率持续降低，同时速度在大幅度的提升，最终我们的码控偏差值也控制在1%范围之内。另外与开源项目X265对比，比X265的最快档位，速度还快。最慢档位，码率还低。

-03-

下一步的优化空间

第三部分，我们聊聊下一步的优化空间，这里更多的是一些对未来的探索和想法。

在过往的直播体验优化的过程中，我们做了例如节点优化、极致高清、超分、音量均衡、分辨率升级和HDR等等。在业务情况不断发生变化的同时，用户的网络情况、设备情况也在不断发生变化。做了这么多优化，我们到底想要达成什么样的目的呢？我们最终沉淀了什么？或者有方式能达成灵活的策略吗？

未来我们依然希望能够把音视频技术和数据驱动相结合，沉淀到策略中心中去。能够在不同的业务场景、不同的用户需求，提供针对性的优化策略，精细化打磨。另外业务每天都在变化，突发情况特别的多，也需要我们具备这样的技术手段，否则很难保证灵活的模式支持业务发展。

最后，我认为直播体验优化是一个持续的过程，随着场景的新增，新技术的产生，我们一直在优化的路上。如果把稳定性看作60分的基础分，那么如果想拿满分，就必须在直播各个环节持续的优化。需要更低的延迟，更高的画质，更低的成本，甚至需要跳出直播流本身，与业务侧进行动态配合，以保证整个直播的最优效果。

感谢大家，这是我今天的分享。

LiveVideoStackCon 2023上海讲师招募中

LiveVideoStackCon是每个人的舞台，如果你在团队、公司中独当一面，在某一领域或技术拥有多年实践，并热衷于技术交流，欢迎申请成为LiveVideoStackCon的讲师。请提交演讲内容至邮箱：speaker@livevideostack.com。