【编者Peter Ye按】
本篇文章的主体部分是腾讯云美女技术专家Vivian Lei在2017年11月8日第二届日知录企业存储峰会上的演讲《EB级别云存储是如何涨成的？》，本篇文章在日知录首发。转载经Vivian和日知录授权。本文标题略有改动，也即《腾讯云存储深度解读》。不过正文开始之前，也对我关于SDS分类图更新做一个说明。另外，微信公众号-乐生活与爱IT 曾在2018年1月19日发表过 《阿里专有云深度解读》。
我觉得，云存储，尤其是以对象接口形式呈现的，仍可以视为软件定义存储的一部分。换句话说，软件定义的存储，可以理解为API定义的存储。实际上，存储对OpenStack Cinder的支持就和这个类似。不过，最最厉害的莫过于VMware SDS，直接把API以标准(SPBM，基于存储策略的管理)或协议(Virtual Volumes)的方式做进图形界面，使得存储自动化能够以异常简便的操作方式在私有云落地。
在订阅微信公众号-乐生活与爱IT的用户中，细心的朋友可能会发现2017年11月29日，我曾发过“软件定义存储（SDS）的分类（更新）”的图。
这其实是应了我之前在《软件定义存储：原理、实践与生态》，也在2017-02-22发表的微信文章《5分钟快速了解SDS和HCI》里曾提到的：
“软件定义的存储（SDS）是一个不断进化的概念，在现阶段看来，是指存储资源由软件自动控制，通过抽象、池化和自动化，将标准服务器内置存储、直连存储，外置存储，或云存储等存储资源整合起来，实现应用感知，或者基于策略驱动的部署、变更和管理，最终达到存储即服务的目标”
与之相应的，分类图也将不断更新。如下图所示，与2016年7月出版的SDS书相比，增加了：
1、前端应用（Hypervisor或者Cloud）增加了AWS, Azure, GCE, Aliyun, TencentCloud；
2、在控制平面层（Software Defined Storage Control Plane）增加了OpenStack Manila (for NAS的)，华为的OpenSDS；
3、在数据平面层的Cloud/Object Storage，列出了：AWS S3， Ali OSS, Tencent COS；
对于上述分类图，我相信未来还有可能更新，也欢迎读者、朋友们私信，或者留言给我，指出哪一部分可以补充或者修改，并告知有说服力的理由。
---Begin of 《腾讯云存储深度解读》---
作者：Vivian Lei
前言
腾讯云存储服务，从开放至今，已支撑EB级存储规模。面对存储规模快速增长、应用数据多样化等的挑战如何应对？大数据AI如火如荼，用户对数据存储的诉求从基本的稳定性、可靠性、性能到现在又发生了怎样的变化？对于未来，云存储服务又会为用户带来哪些新的机遇，和大家一起分享和探讨。
腾讯云存储的发展离不开每一个互联网用户的支持。已成必需品的微信、便利出行的滴滴、放松心情的QQ音乐，休闲时刻的腾讯视频等等，这些应用的极致服务背后都离不开腾讯云存储的支撑。
早在2006年，腾讯分布式存储系统平台TFS，就开始为腾讯集团所有的业务提供数据存储的服务。至2015年，规模已达EB级(编者备注：1EB=1024PB) 、用户数已达数十亿级别。TFS服务的对外开放，也就是今天大家熟知的腾讯云存储。
云存储的发展历程
虽然腾讯云存储对外提供服务时，已历经数十亿用户访问高并发、规模海量、业务多样化的考验，但不同的时代对云存储的诉求会有所不同。
2013年左右，国内最初使用云存储的用户较多是用于网站的静态数据存放和加速，如网站的图片、视频存储等。这个阶段可以理解为是基础的将数据存储并访问的诉求，故称为“数据访问”时代。
到2015年左右，随着基础设施的逐渐成熟，如4G网络的普及、智能手机高清摄像头的普遍、互联网社交及便利的手机支持方式带动了视频直播、视频点播的高速发展。云存储中的视频、图片比重逐步增长，为便于适配多样化的终端设备，图片需要裁剪、视频需要转码。自然而然，云存储也提供了这些通用服务。我们称其为“数据处理”时代。
近两年来，互联网的发展引发数据量的暴涨，也引发了大家对数据价值的探索和思考，大数据框架和生态工具的逐步成熟也让这一探索变得逐渐清晰。精准营销，风险控制，用户行为分析等等，这些都对存储提出了新的挑战，与大数据、机器学习框架是否能无缝对接，分析后的数据逐渐增长但很少使用，是否可以降低存储成本。称为“数据激活”时代。
数据访问时代
数据访问时代，腾讯云的CDN+云存储是一组完美搭档，CDN提供高速访问服务，存储作为源站，便于中心层节点未命中时，可以快速从源站拉取数据。即使在CDN回源率较高的情况下，也能支撑住大量的并发访问。
对于用户已有源站的情况下，如何将源站内容快速迁移到云存储，也应生出“回源设置”的功能。即当发现数据在云存储缺失时，返回HTTP状态码302重定向到源站，同时，将源站数据拷贝云存储中。这样也保证有效数据的迁移，并降低数据存储成本，实现快速高效的数据迁移。
数据处理时代
数据处理时代，为了适配不同的使用场景，大量的视频和图片需要进行视频转码、图片缩放、裁剪等，将这些常用功能可以直接在云端完成，可以减少用户的计算成本，降低下载视频和图片的带宽成本。为此，腾讯云也及时推出万象优图和视频处理服务，可以支持丰富的图片和视频处理功能，如图片压缩编辑及智能裁剪，视频多转码格式及水印设置等，并能方便的和云存储进行对接。
数据激活时代
数据激活时代，常见的场景有各垂直行业对日志的大数据分析，对视频监控和社交图片/视频的识别和分析等。以大数据分析的场景为例，除了云存储需要能和大数据框架无缝对接。很重要但也容易被忽视的一点是，已有数据的迁移上云。
不同用户的网络环境和数据规模有所差异，所以也有着不同的诉求。对于已和云机房有专线或数据规模大且希望快速上云的客户，可以通过专线+迁移工具的方式，直接从HDFS中迁移；对于网络环境有限的客户，可以通过提供的专有物理迁移设备进行数据搬迁上云；对于数据量较小的客户，也可以通过现有网络环境+迁移工具的方式直接上云。针对客户的场景，腾讯云提供了丰富的线上工具和线下设备迁移的方式。
对于常见的大数据分析场景，腾讯云存储提供了多种方式，基于文件存储CFS的实时分析，或基于对象存储COS的离线分析，对象存储COS提供了对接hadoop的插件，通过此插件，hadoop框架可以直接使用云存储。
微信存储使用案例
不同时代对云存储的诉求，促进了腾讯云存储的不断发展，包括在高可靠性、高性能、更丰富的功能、更完善的方案。但如何能让应用和存储完美结合，仅从存储端着手，是远远不够的。以微信的场景为例：
首先，是性能问题。如何支撑近10亿的活跃用户的消息、图片、视频的频繁发送与接送。当网络环境发生改变时，从移动网络到无线，多运营商之间切换时，怎么保证信息和文件传输畅通。在发送端，微信通过断点续传、结合云存储的分片上传等来保障性能和完整性，并通过预分发的机制来保证接收性能。
其次，是可靠性。除了副本策略，数据还通过多地备份异地容灾来保障数据的高可靠和服务的高可用性。
另外，成本非常关键，也是个永无止境的话题。从数据存储之前的图片/视频压缩、到存储引擎层的冷热数据分离、到硬件层的高密度设备引入。
其中，值得一提的是，由腾讯音视频实验室自研的TPG图片压缩格式，压缩效率比WebP还要高出25%，目前在手Q、微信H5页面、QQ空间、腾讯视频等应用中已经广泛使用，并为QQ空间相册业务节省了40%的流量成本。同时，TPG也将会在近期内通过腾讯云的万象优图、CDN对外提供服务。
这些为微信服务的云存储能力，现已通过腾讯云存储一一对外开放：如用于提高可靠性的多版本管理及跨区域复制；提升性能的分片上传；降低成本的生命周期管理、多种存储类别（热冷存储与归档存储）；保障安全的密钥鉴权、数据加密服务等。
总结
存储作为基础平台核心的一部分，为应用而服务。除了需要自身具备稳定、可靠、高性能的基础能力，更是需要结合应用的场景和特性来丰富功能和完善细节。
所幸的是，腾讯云存储基于自身对应用的深入理解，为方便用户更好的使用，已针对各种场景推出完整的方案：如智能安防监控方案、大数据方案、企业云盘方案、混合云存储方案、数据备份方案、视频直播点播方案、医疗影像云存储方案、广电非编媒资方案等。
---End of 《腾讯云存储深度解读》---
微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享软件定义存储(SDS)，及VMware vSAN相关的文章，偶尔也会分享虚拟化、云计算、大数据、人工智能、IoT、区块链等IT类文章，甚至生活类的好文章。欢迎投稿，特别是原创文章。如果原创文章属于首次发布，根据质量和阅读量的不同，能获得20~500元的稿费。我的QQ号：9269216。另外，如果还有赞赏收入，**作者可获得60%**。
欢迎对SDS感兴趣的朋友，加入软件定义存储讨论 QQ群:122295009，可下载原创的一些文章，及其他有参考价值的文档。可直接搜索群号，或者扫描如下二维码：
同时，欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群，并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号，建议添加管理员时，告知你的公司名和姓名，方便备注保存。
sdg8848
**libo9538
**
yangzhuan
dts0103
欢迎您通过扫描关注微信公众号：“乐生活与爱IT”。
关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。
点击左下角“阅读原文”，可以跳转到日知录的原文《EB级别云存储是如何涨成的？》。
