一种面向混合云平台基于LSTM预测模型的资源池配额方法。

天翼云开发者社区
• 阅读 129

本文分享自天翼云开发者社区《一种面向混合云平台基于LSTM预测模型的资源池配额方法。》,作者:l****n

基于用户的历史配额申请情况和实际资源使用情况组成数据集搭建LSTM时序预测模型。当前用户提出资源配额申请时,基于该用户的历史资源实际使用情况结合LSTM模型来预测该次配额申请的实际使用量来动态调整实际分配给用户的配额量从而减少资源滥用的可能性。

针对用户是否所属于组织或者部门来限定用户可分得的最大资源配额数量,进一步实现资源配额公平性。

步骤1 选取包含用户的资源实际使用数和对应申请额度数的数据集。将用户u在日期d申请的资源配额数表示为,本次配额申请最终用户实际使用的资源配额数表示为,计算 并以日期d作为索引,若同样的日期d用户u提交了多个资源配额申请则对所有资源的取平均值作为索引d的值,将索引以此类推以时间从早到晚为序列顺序组成数据集。

步骤2 依据时间索引,将数据集前百分之八十的数据划分为训练集,末尾百分之二十划分为测试集。导入keras包构建LSTM模型,即通过Sequential顺序模型以及添加图层layer,卷积层Conv2D,最大池化层MaxPooling等搭建LSTM模型,通过RMSE判断模型实际表现并进行优化。

步骤3 用户提出资源配额申请,判断资源申请为增加还是减少配额,若为增加该资源配额量则跳转至步骤4,否则直接减少配额至申请数量。

步骤4 判断该用户是否有历史配额使用记录,如有跳转至步骤5,否则跳转至步骤6。

步骤5 将用户本次申请前一个月的历史资源实际使用率作为预测数据,得到预测的资源实际使用率为,假设用户提交的配额申请数为,则调整本次配额申请该用户实际可分得的配额数为

步骤6 依据用户是否选择将该配额申请与组织挂钩来确定该资源申请的最大限额标准,如该申请与组织相关则执行步骤7,否则跳转至步骤8。

步骤7 根据配额申请以及用户信息获取用户所属组织中该资源剩余可支配的配额数,若当前实际可分得配额数Q大于组织中该资源剩余配额,则将剩余配额作为资源实际可分得配额数,否则依据Q值分配相应资源给该用户。

步骤8 根据配额申请获取该资源对应资源池中该资源剩余可分配的最大配额数,若当前可分配配额数Q大于该资源对应资源池中的余额,则将最大限额分配给该用户,否则依据Q值分配相应资源给该用户。

当用户在混合云平台上提交配额申请时,首先依据历史使用记录判断用户是否为首次提交资源配额申请,如为首次: 判断当前用户是否隶属于相关组织。如与组织关联则跳转至步骤2,否则跳转至步骤3。 获取当前资源配额申请的资源类型在该组织中剩余额度,如果当前申请的资源数超过剩余额度则将剩余额度分配给该用户,否则分配申请的相应资源数给当前用户。 获取当前资源配额申请的资源类型在资源池中剩余额度,如果当前申请的资源数超过剩余额度则将剩余额度分配给该用户,否则分配申请的相应资源数给当前用户。

若为非首次申请资源配额的用户,则如图2所示: 判断当前配额申请是增加还是减少资源数,如为增加跳转至步骤2,否则直接释放资源至用户要求。 通过LSTM模型依据用户历史资源使用情况预测当前实际资源使用率并结合当前用户提交的资源配额数量调整用户当前实际可分得的资源配额数。 判断当前用户是否隶属于相关组织。如与组织关联则获取当前资源配额申请的资源类型在该组织中剩余额度,如果当前申请的资源数超过剩余额度则将剩余额度分配给该用户,否则分配预测的资源配额数给当前用户,若不隶属于组织则跳转至步骤4。 获取当前资源配额申请的资源类型在资源池中剩余额度,如果当前申请的资源数超过剩余额度则将剩余额度分配给该用户,否则分配预测的资源配额数给当前用户。

点赞
收藏
评论区
推荐文章
Easter79 Easter79
3年前
supervisor守护服务遇见的几个坑
近期在ubunt系列服务器上遇见了supervisor的几个坑,所以将服务守护都已经切换到systemd。坑一、资源限制配额不跟随limits.conf1.我们在用supervisor守护一个服务A的时候,发现由supervisor拉起的服务文件描述符未跟随系统limits设置。\program:servicea\username
不是海碗 不是海碗
1年前
反欺诈(羊毛盾)API有什么作用?
反欺诈(羊毛盾)API基于大数据分析和模型产品,通过检测异常IP、异常手机号,帮助客户识别大量存在恶意的账号。在金融理财奖励、红包奖励、营销活动等场景下,帮助用户节约大量营销资源,将资源留给真正的用户
Prodan Labs Prodan Labs
3年前
Kubernetes自定义调度器 — 初窥门径
通过上一篇文章对schedulerframework调度框架已经有了大致了解,根据我们的实际生产的一些问题(如计算服务没有被调度到实际CPU最优的节点)和需求,来实现一个简单的基于CPU指标的自定义调度器。自定义调度器通过kubernetes资源指标服务metricsserver来获取各节点的当前的资源情况,并进行打分,然后把Pod调度到分数最高的节
Easter79 Easter79
3年前
Vue 探索与实践
!(https://oscimg.oschina.net/oscnet/1249ab902e1c575911b0afa27729ddbcc70.jpg)本文主要讲了实际业务在结合vue开发的过程中的探索与实践。业务介绍基于目标用户的孩子画像,打通、聚合京东现有体系关联资源,建立共生关系的开放式生态平台,涵盖满足家庭陪伴孩子成长过
Stella981 Stella981
3年前
MapReduce On YARN的资源申请
MapReduceOnYARN的资源申请MapReduce资源分配原理MapReduce所需要的资源包含三类:1.mappertask所需要的资源2.reducertask所需的资源3.JobTracker(AM)所需要的资源mappermapper的数量由输入的splits个数决定.有
Wesley13 Wesley13
3年前
Uber 业务预测系统实践
Forecastingisubiquitous如何利用预测来构建更好的产品和服务定量预测方法可分为:基于模型(modelbased)或因果关系,统计方法(statisticalmethods)和机器学习方法(machinelearningapproaches)Forecasti
IaaS预留实例在线交易策略详解
近年来,公有云占据的云计算市场份额逐年上升。Canalys显示,2023年第一季度,全球IaaS云服务支出达到了664亿美元,同比增长19%。由于IaaS云服务支出的不断增加,成本优化对于用户而言变得尤为重要。通过对IaaS云服务资源交易策略的研究,可以帮助用户根据其工作负载的实际运行情况,来适当调整手中的服务资源,从而降低用户使用IaaS云服务的成本。
十月飞翔 十月飞翔
2年前
k8s之PV、PVC、StorageClass
PV是对底层网络共享存储的抽象,将共享存储定义为一种“资源”,比如Node也是容器应用可以消费的资源。PV由管理员创建和配置,与共享存储的具体实现直接相关。PVC则是用户对存储资源的一个“申请”,就像Pod消费Node资源一样,PVC能够消费PV资源。PVC可以申请特定的存储空间和访问模式。StorageClass,用于标记存储资源的特性和性能,管理员可以将
京东云开发者|提高IT运维效率,深度解读京东云AIOps落地实践
基于深度学习对运维时序指标进行异常检测,快速发现线上业务问题时间序列的异常检测是实际应用中的一个关键问题,尤其是在IT行业。我们没有采用传统的基于阈值的方法来实现异常检测,而是通过深度学习提出了一种无阈值方法:基于LSTM网络的基线(一
性能提升,成本降低,原生数据库的崛起
腾讯高级工程师杨宇基介绍,作为国内首个云原生无服务器数据库,TDSQLC实现了自动伸缩三大目标,可以根据业务负载进行伸缩。开发者不需要提前预测负载和扩展资源;按使用量计费,按实际使用负载计费,开发者不需要为未使用的资源付费;没有使用,没有付款,没有数据请求
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
722
粉丝
15
获赞
40