视频爆炸时代,谁在支撑视频生态网高速运行?

专注IP定位
• 阅读 432

近年来,随着互联网技术和视频技术的飞速发展,互联网已逐步进入到大视频时代。视频业务和流量目前都在快速增长,无论视频业务走向多样化,还是走向超高清化,这其实都将是运营商宽带网络的承载能力带来更严峻的挑战。

目前,国内视频业务呈现出多元化的特点。OTT视频、互联网自制剧、娱乐直播、秀场直播、UGC、短视频等业务百花齐放。优酷、爱奇艺和腾讯视频凭借不同的业务优势,市场份额逐年攀升,目前已经位居国内同行的前三名。

优酷和土豆正式合并后,已经占据UGC模式的领先地位。腾讯视频除了独家版权外,其社交网络对视频流量的强支撑作用日益显现。爱奇艺则在付费会员方面成效显著。芒果TV背靠湖南卫视,势头迅猛。乐视、搜狐视频、PPTV、暴风影音等逐渐形成自己的风格特色。总而言之,国内在线视频业务正处在风生水起的时代。

各类超高清视频终端已经步入千家万户,各类机顶盒已经全部支持4K(3840×2160)分辨率,市场上4K制式的电视已经成为主流,8K电视正逐步开始大规模商用。以现在市场来看,国内整个大视频生态链已经非常完备,无论是视频内容、应用、处理终端、显示终端、市场规模等均已经成熟,构成良性发展的产业生态圈。

视频爆炸时代,谁在支撑视频生态网高速运行?

在市场激烈竞争的态势下,视频内容服务商迫切提升旗下视频业务质量感知,打造优质视频品牌的需求。为了缓解互联网流量的增长压力,三大运营商都在不停地扩容。目前中国电信已经在对骨干163网实施第19次扩容,扩容后全国省际带宽将在100Tbit/s以上。视频爆炸时代,到底是谁在支撑视频生态链的提升与运行?

早期我们使用的是传统的流量协议SNMP流量监测协议。但是由于SNMP的数据采集是直接通过网络设备端口采集数据流量,从而无法提供具体的点到点会话连接的信息,因此对网络数据流量具体流向的统计方法实现起来较为复杂且不够准确。基于SNMP的流量监测与分析系统存在着系统性能瓶颈,SNMP在大型网络中进行部署存在一定困难。

现如今视频流量爆炸增长,为克服现有网管系统对网络流量和流向分析功能的技术局限性。需要一种成熟稳定的新技术对现有管理系统中管理信息的采集和分析方式进行改造和升级。新的信息采集和分析技术还需要对运营商的运行网络影响小,无需对网络拓扑进行改变就能平滑升级。而且新的信息采集和分析技术应该可以对网络中各个链路的带宽使用率进行统计,也可以对每条链路上传输不同类型业务的流量和流向进行分析和统计。同时应能适应中国宽带互联网网络规模迅速扩展,链路带宽快速增长的实际状况。可以根据需要支持采用数据采集的抽样模式或对采集到的原始数据进行自动汇聚的方式,减少和压缩网管中心管理服务器需要处理的数据量,确保管理系统的处理能力能够适应网络规模的增长。

以 NetFlow 为代表的Flow技术正是为响应这种挑战而出现的新型解决途径。

什么是 Flow?

在最开始Flow是网络设备厂商为了在网元设备内部提高路由转发速度而引入的一个技术概念。其本意是将高 CPU 消耗的路由表软件查询匹配作业部分转移到硬件实现的快速转发模块上(如Cisco的CEF模式)。在这种功能模式中,数据包将通过几个给定的特征定义归并到特定的集合中,这个集合就是 Flow每个Flow的第一个数据包。除了促使该 Flow记录的产生以外还要驱动网元三层模块完成路由查询并将查询结果。同期放入Flow记录中而该Flow集合的后续数据包将直接在Flow的已有记录中获得路由转发信息,从而提高了网元设备的路由转发效率。

作为网元设备内部路由机制优化的副产物,Flow记录能够提供传统SNMP MIB无法比拟的丰富信息,因此Flow数据被广泛用于高端网络流量测量技术的支撑以提供网络监控流量图式分析、应用业务定位、网络规划、快速排错、安全分析如(DDoS)、域间记账等数据挖掘功能。

相对于会话( Session )而言,Flow具备更细致的标识特征在传统的TCP/IP5 元组的基础上增加了一些新的域值至少包括以下几个字段 1.源IP地址2.目的IP地址3.源端口 4.目的端口5. IP层协议类型6 .ToS 服务类型7.输入物理端口。以上7个字段可以唯一地确定任意一个数据包属于哪个特定的Flow,换而言之任何一个字段出现了差异都意味着一个新Flow的发生。

视频爆炸时代,谁在支撑视频生态网高速运行?

NetFlow流量分析协议

NetFlow是IP网络专用的流交换协议,目前广泛应用于网络上流量的统计分析。NetFlow采用三层体系结构,包括数据输出设备(NDE)、数据收集器(NFC)和数据分析器(NDA),分别用于流数据的采集、汇聚、输出、接收、过滤、存储、分析。

NetFlow中定义了从特定的源主机到目的主机的单向数据包集合,主要有以下7个参数标识:源IP地址、目的IP地址、协议类型、源传输层端口、目的传输层端口、业务类型TOS以及设备的输入接口。利用NetFlow可以统计流量流向及占比大小等情况,包含5W1H等关键信息,可以解决Who(源IP地址),When,Where(目的IP地址端口),What(协议类型),Why(正常阈值基线),How(情况、流量大小)等问题。

NetFlow由两个核心组件组成:NetFlow 缓存和NetFlow的数据传输机制。NetFlow缓存用来存储来自输入接口采集的IP数据流信息;NetFlow的数据输机制主要根据预先定义的策略规则,将数据发送到网络管理采集器,便于数据采集。

NetFlow流量分析系统组通过在省级核心路由器上旁挂部NetFlow流量分析系统即可对网络流量流向进行统计分析。综上所述,利用NetFlow协议可以统计分析出某个时段访问目的地流量的大小情况,即可以统计分析出视频内容服务商流量的大小情况。

如何将NetFlow协议的效果最大化?

视频爆炸时代,谁在支撑视频生态网高速运行?

首先在核心设备上启用NetFlow协议,通过NetFlow采集服务器收集、分析、查找出当前区域用户访问流量排名TOP的IP地址。再根据IP地址,用IP应用场景、DNS遍历、在线工具、搜索引擎、探测等手段获取到真正视频内容服务商的信息。最终利用系统获取到当前网络下用户访问量最大的视频内容服务商信息。

随着Internet的迅速发展,不单单是视频行业,互联网规模都在不断扩张且环境日渐复杂。一个好的IP流量和流向分析统计方法,对运营商及时了解自身网络的负载状况和重要业务的带宽占用率,骨干网建设、扩容、升级,提高宽带速度、流向分析统计都有巨大的作用。

点赞
收藏
评论区
推荐文章
直播CDN调度技术关键挑战与架构设计
作者:胡济麟1、背景介绍1.1直播业务特点互联网视频直播是一种消息媒介形态,提供时产时消的内容,经过多年,已经发展出秀场、游戏、电商、体育等多种业务形态。主要特点是:内容实时产生实时消费,对时效性要求更高;流媒体内容占用带宽大
仲远 仲远
1年前
Downie 4 for Mac(最好用的视频下载软件) 4.6.13直装版
支持国内的优酷、腾讯视频、bilibili、土豆、爱奇艺、网易、搜狐、微博以及国外的Youtube等在线视频网站视频下载,功能强大使用简单。
巨量星图发布直播间业务流程让买卖更简易
巨量星图直播间业务流程将聚集抖音短视频、今日今日头条和西瓜小视频所有主播资源。此次发布为1.0版本号,早期对外开放抖音主播。现阶段,第一批抖音短视频Top直播间大咖已进驻。顾客根据「我的星图」「直播主播」「抖音主播」点一下,就可以进到。直播间买卖步骤和小视频买卖同样,顾客在网络主播城市广场挑选大咖、选购网络主播并填好每日任务规定,即进行提交订单。履单全过程中
Wesley13 Wesley13
3年前
CDN+MEC风口来袭,落寞的老牌厂商能否乘风而起?
编者按:CDN行业经历腥风血雨的价格战后,市场格局重新洗牌,在价格战中被大肆围剿传统CDN厂商又该何去何从?MEC会是他们在CDN赛道下半场的取胜之钥吗?随着万物互联,移动直播、短视频、AR及AI等新型互联网服务的兴起,流量迎来海量增长,对现有网络的承载能力带来了严峻的挑战,在5G和物联网时代,CDN作为“互联网网速加速器”也迎来了新的发展
Wesley13 Wesley13
3年前
5G 时代,从视频互动特效技术看未来趋势
疫情期带来了在线娱乐行业的爆棚式发展,也让行业本身更加审视在交互体验上的突破价值。优酷团队开始了对互动视频体验的全新升级,升级集中体现在三个方面:直播化、游戏化、特效化。_本文根据阿里巴巴的资深算法专家李静,在云栖大会的《5G时代,优酷新型视频互动特效技术实践》的演讲整理而成,为大家分享优酷在互动视频领域的创新技术。__
Wesley13 Wesley13
3年前
RTC业务中的视频编解码引擎构建
!(https://oscimg.oschina.net/oscnet/c96a72cd17d8482fbbac064f068df208.png)正文字数:6146 阅读时长:9分钟视频编解码技术一直是视频内容应用中的核心业务,基于各个平台和各个渠道的视频内容采集与分发都涉及到视频编解码技术的介入。在RTC业务场景下,如何构建高效
Wesley13 Wesley13
3年前
2018年视频云服务市场格局进入整合阶段,阿里云视频云位居市场竞争力领导者的位置...
据计世资讯(CCWResearch)的研究结果表明:一、中国视频云市场进入高速发展阶段据计世资讯(CCWResearch)的研究结果表明,近年来国内视频云市场保持了高速的增长势头,特别是2016年以来,视频云市场进入高速发展阶段,直播的火爆带动视频云服务需求快速增长。2018年中国视频云服务市场规模已经达到31.2亿元,同比增长36.2%。随着
Stella981 Stella981
3年前
LiveVideoStack线上分享第五季(十三):高性能视频硬件编码
面向4G/5G场景下视频业务的爆发以及用户对于更高画质的要求(直播、短视频、视频点播等业务),更高清的画质意味着需要更大的计算资源以及网络带宽资源,而海量用户侧的画质提升/宽带降低,会导致前端以及视频平台厂商带宽的线性增长,增加运营开销。基于高性能视频编解码技术的解决方案,可以实现高清画质更快的压缩速度、更少的带宽消耗,使得视频内容生产方及运营平台,在满足用
Stella981 Stella981
3年前
RTSP摄像头实现H265 H264 Web端无插件直播流媒体服务EasyNVR在集成iframe无法自动播放问题解决方法
背景说明由于互联网的飞速发展,传统安防摄像头的视频监控直播与互联网直播相结合是大势所趋。传统安防的直播大多在一个局域网内,在播放的客户端上也是有所限制,一般都需要OCXWeb插件进行直播。对于安防监控的视频直播需求,根据不同的业务需求,对视频直播需求也不尽相同。针对这样的行业大环境背景,立足于开源社区的EasyDarwin团队推出了EasyN