2018年7月28日,又拍云Open Talk | 2018音视频技术沙龙·北京站正式亮相Techcode太库孵化器,这是又拍云Open Talk | 2018音视频技术沙龙继深圳站、上海站之后的第三站。

又拍云Open Talk | 2018音视频技术沙龙是又拍云Open Talk推出的专题活动,专注分享音视频技术、方案的落地经验;北京站集合了新浪、又拍云、谷人云、纹路科技等多家公司的优秀讲师,为现场和直播观众分享了满满的干货。

点这里回顾又拍云Open Talk | 2018音视频技术沙龙 深圳站上海站 的详情。

细节是互动音视频的诉求核心

谷人云CEO李志杰已经是第二次参加Open Talk的分享。在本次Open Talk中,李志杰介绍了《互动音视频开发必须了解的那点小东西》。李志杰曾就职于腾讯无线、盛大、阿里数娱、苏州蜗牛等企业,后创立谷人云。

WX20180827-180153.png

谷人云作为互动视音频领域的领先平台,在视频连麦、即时通讯、实时语音方面拥有丰富的开发经验。自2017年开始,吃鸡游戏、狼人杀、抓娃娃、在线答题等各类音视频互动应用的爆发,令互动音视频逐渐成为互联网社交、娱乐应用的标配之一,甚至微信小程序都开放了音视频组件。“乐器陪练、远程教育、视频麻将、直播、陪聊等娱乐、教育、社交等各类互联网应用,都需要互动音视频的加入。”

李志杰认为,各类互联网应用对互动音视频的核心诉求,都体现在细节里面:延迟、图像处理、音效、音质、网络容错、信令、方向等。从图像采集、图像处理、传输等环节出发,李志杰详细分享了互动音视频开发容易遇见的坑,包括采集、采样率、噪声抑制、混音、编码、音质提升、传输等。

窄带高清原理大解析

又拍云是国内较早推出“窄带高清”功能的云服务商。又拍云多媒体开发资深工程师朱高锋负责又拍云音视频云处理相关的研发工作,参与了又拍云“窄带高清”功能的研发,在Open Talk现场分享了又拍云开发“窄带高清”的思路。

视频转码的成本远远小于带宽的成本,“窄带高清”可以在视频主观质量损失没有感知、编码和文件格式不变的情况下,节省30%码率,可以大大降低带宽的成本。

朱高峰介绍了“窄带高清”的基本原理:通过分析视频内容,选择部分肉眼不会注意到的内容压缩码率,进而节约码率。“比如说2兆的情况下,运动剧烈的可以达到40DB,静止的可以达到45DB,相同的码率下,运动剧烈和不剧烈的视频质量也是不一样的,这就给我们一个操作的空间。在人眼感知不到视频质量失真情况下,保持相同编码标准和封装格式,减少视频的码率。”

2.png

 “窄带高清”首先会输入视频转码的分片,分析视频的复杂度和分场景,比如运动缓慢或者是剧烈的,不同场景会有不同的编码参数,这之中还会有码率控制的算法来调节编码器的输出,最终得到编码后的视频。

微博搭建视频转码系统的三个目标

短视频行业的兴起,微博的视频转码作为基础服务,承载着百万级的用户视频处理。在使用微服务架构下,会遇到不少挑战,比如任务调度、多码率下发等。新浪微博视频转码系统研发负责人负责微博视频转码系统的架构设计及研发,专注于音视频处理及高并发的架构设计方向。

3.png

在《微博视频转码系统架构实践》的分享中,杜东澄从构建可靠、快速、灵活的转码系统架构出发,分享了基于DAG 的任务调度,以及如何通过 DAG 框架灵活的支持分片转码和基于 DASH 的多码率下发等高级功能。

杜东澄总结了微博搭建视频转码系统时的三个目标:灵活、快速、稳定。

第一个,转码系统需要满足微博业务需求、产品需求,以及内部系统优化、任务迭代等需求,“在这个方面,我们要做的是灵活支持业务需求,比如说有一个新的产品需求,我们要很方便的支持他,避免做一次大改的情况。”

第二,从任务调度的维度,我们要降低任务延迟,要提高吞吐量。

第三,从服务架构的角度,要能够很容易的监控任务,这个维度是稳定。

杜东澄在分享中,介绍了微博在搭建视频转码系统时,如何一步步实现灵活、快速、稳定这三个目标。

多格视频互动的不足和解决

纹路科技CTO赵凌在服务系统构建、流媒体、社交产品及内容推荐方面有丰富的技术经验和深入的技术研究。为本次Open Talk带来了《多格视频互动的技术实现》的分享,以“动次App”为例介绍了移动平台实现视频多格拼接过程中的问题,和相应的解决方案。

4.png

短视频已经从一个单独的App形态,成为许多App内置的应用场景。纹路科技旗下的“动次App”基于多格视频的用户间互动,希望能从众多产品中突围。

赵凌从音视频处理的公共问题、通用方案的不足,以及个性化问题等角度出发,介绍了“动次App”如何有针对性地解决以上问题,以及个性化问题的技术实现。

对于未来的方案演进,赵凌发给出了三个建议:基于对画面的实时场景分析,自动调整滤镜的参数;基于对于音频内容的分析,自动进行转场及叠加特效;强化一键修音、校准音高、节奏、多轨同步等音频处理。

关于 又拍云Open Talk | 2018音视频技术沙龙·北京站的分享详情,请持续关注又拍云微信公众号(ID:upaiyun),也可移步 Open Talk 官网。