关于ats缓存的热迁和冷迁

天翼云开发者社区
• 阅读 3

本文分享自天翼云开发者社区《关于ats缓存的热迁和冷迁》,作者:LeonHao。

在CDN的服务中,有些内容访问会比较频繁,这种资源在性能更好的SSD中,会带来更好的访问体验。另外一些内容访问较少,作为相对冷的资源,只需要在HDD磁盘获取内容,即可达到较好的性能。这时就需要有策略的实现缓存的冷热迁移。

ats缓存在写入磁盘时,会将内容拆成1兆一个fragment的方式,链式的写入到单个磁盘中。如果某个大文件命中到HDD磁盘,但访问时却只按照Range方式访问了其中一部分,这样只加热了单个文件的某一部分。如果因为单个部分的访问就将全部文件迁入到ssd中,消耗的代价会比较大。但是如果只迁移单个fragment,就会破坏ats原有的单文件单磁盘的访问方式。

在SSD缓存被覆盖前,资源需要被迁入到hdd盘,保证冷资源不会被很快的淘汰。但也是在大文件场景中,如果将完整文件冷迁到HDD盘,那就需要保证在迁移完成后,资源不会被覆盖掉。这样的话,单磁盘的锁被独占,资源写入被搁置,性价比太差。如果只迁移单个fragment,也是相同的原因:破坏了ats原有的单文件单磁盘的访问方式。

基于以上原因,需要对ats的单文件单磁盘模式重新进行设计,实现单个fragment重新做磁盘映射hash,大文件的存储就像Range请求一样,分散在不同的磁盘,迁移不再依赖首片的磁盘索引。

点赞
收藏
评论区
推荐文章
云平台监控指标的设定
本文分享自天翼云开发者社区@《》,作者:AE86上山了为了确保存储和服务器能应付不断增长的业务需求,对磁盘资源、内存和CPU资源、宿主操作系统进行监控是必要的。1.磁盘资源服务器硬盘是磁盘资源中最慢的组件,在企业数据中心,仔细设计存储子系统,不要让它成为主
WAAP对提升网站访问速度有什么作用?
本文分享自天翼云开发者社区《》,作者:amberWAAP(WebApplicationandAPIProtection)对提升网站访问速度具有显著作用,主要体现在以下几个方面:1.网络性能优化:WAAP通过优化网络性能来提升用户体验。网络攻击可能导致网站和
构建多维打标签算法
本文分享自天翼云开发者社区《》,作者:石泽涛针对各类主题,通过对用户DPI访问数据深度解析,体现数据价值,丰富云产品形态与应用范围;建立行业的标签,能够对用户访问各类APP和网站的行为和内容有深入细致的刻画,为主题运营工作提供必要的数据支撑。在获客成本越来
Rust 中的 Tokio 线程同步机制
本文分享自天翼云开发者社区《》,作者:lnRust中的Tokio线程同步机制在并发编程中,线程同步是一个重要的概念,用于确保多个线程在访问共享资源时能够正确地协调。Tokio是一个强大的异步运行时库,为Rust提供了多种线程同步机制。以下是一些常见的同步机
在nginx中实现回源日志的功能
本文分享自天翼云开发者社区《》.作者:尹聪nginx中已经提供了访问日志的功能,主要对客户端的访问状态等进行记录,比如响应给客户端的状态码,请求uri,请求协议等。而对于回源(或者回后端)的请求状态记录较少,如后端的地址、端口、状态码等这些有记录。在反向代
openresty共享内存的使用
本文分享自天翼云开发者社区《》.作者:王兰在OpenResty中,ngx.shared用于访问共享内存区域,这在处理高并发请求时非常有用。以下是一些常见的使用场景和示例代码。首先,需要在Nginx配置文件中定义一个共享内存区域。例如,在http块中添加以下
CDN热点扩散原理
本文分享自天翼云开发者社区《》.作者:周鹤图一:正常请求流程图图二:热点请求流程图当前CDN部署架构是一个节点内多台服务器,服务器同时部署网关及ATS缓存组件,请求通过四层负载均衡方式打到网关组件,网关根据url做一致性哈希算法到指定的ATS组件获取缓存资
CDN加速图片内容审核原理
本文分享自天翼云开发者社区《》.作者:周鹤由于CDN系统同时服务成千上万的客户,对系统性能要求较高,在CDN系统上做内容审核要求实时高效,故采用了异步资源审核及上报封禁的机制。具体流程如下:内容审核流程:用户发起请求到边缘节点,首次请求资源miss回源,源
关于在ATS实现分片缓存的一些思考
本文分享自天翼云开发者社区《》,作者:LeonHao在CDN的HTTP缓存服务中,支持HTTPRange请求缓存是至关重要的。随着网络视频、大文件下载等需求的增加,用户往往会通过Range请求来部分获取文件内容,以实现断点续传或并行下载等功能。ATS(Ap
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
1.0k
粉丝
16
获赞
40