Stella981 Stella981
3年前
SparkML(1)环境构建
工欲善其事必先利其器,我们先搭建好我们的开发环境。安装配置好Docker首先,我们需要Docker。毕竟我们的重点并不是在安装配置spark上面,怎么简便,怎么做是最好的啦。不过为了适用尽量多的场景,我们会配置一个单机集群,同时配置Pycharm远程调试。安装Docker的步骤,网上已经有很多了,我们这里贴一个基于Cent
Stella981 Stella981
3年前
OPPO百万级高并发mongodb集群性能数十倍提升优化实践(下篇)
 mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新):https://github.com/y123456yz/readingandannotatemongodb3.6.1(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2
Stella981 Stella981
3年前
Kubernetes — 我的第一个容器化应用
而在这篇文章中,我们就来扮演一个应用开发者的角色,使用这个Kubernetes集群发布第一个容器化应用。在开始实践之前,我先给你讲解一下Kubernetes里面与开发者关系最密切的几个概念。作为一个应用开发者,你首先要做的,是制作容器的镜像。而有了容器镜像之后,你需要按照Kubernetes项目的规范和要求,将你的镜像组织为它能够“认识”
Stella981 Stella981
3年前
ASP.NET Core应用程序容器化、持续集成与Kubernetes集群部署(二)
在上文中(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fsunnycoding.cn%2F2018%2F10%2F07%2Fdockerizeaspnetcorecicdwithazuredevopsandkubernetespart1%2F)我介绍了ASP.NET
Stella981 Stella981
3年前
Kubernetes Pod OOM 排查日记
一、发现问题在一次系统上线后,我们发现某几个节点在长时间运行后会出现内存持续飙升的问题,导致的结果就是Kubernetes集群的这个节点会把所在的Pod进行驱逐OOM;如果调度到同样问题的节点上,也会出现Pod一直起不来的问题。我们尝试了杀死Pod后手动调度的办法(label),当然也可以排除调度节点。但是在一段时间后还会复现,我们通过监控
Stella981 Stella981
3年前
Gru:一个单节点支持10W+的长连接集群解决方案
Github项目名称为Gru,取自《卑鄙的我》项目地址:https://github.com/sumory/gru(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fsumory%2Fgru)示例webchat:https://git
Stella981 Stella981
3年前
Elasticsearch、MongoDB和Hadoop比较
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太远,我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎,它们存储着JSON文档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中
Stella981 Stella981
3年前
Redis官网——如何利用Redis做服务器集群的分布式锁
链接:http://redis.io/topics/distlock(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fredis.io%2Ftopics%2Fdistlock)原理很简单,一段时间内轮询加锁的key重点,不同语言的开源实现Beforedescribingth
如何使Codis存储成本降低90%?个推:去吧,Pika!
作为一家数据智能公司,个推不仅拥有海量的关系型数据,也积累了丰富的keyvalue等非关系型数据资源。个推采用Codis保存大规模的keyvalue数据,随着公司kv类型数据的不断增加,使用原生的Codis搭建的集群所花费的成本越来越高。在一些对性能响应要求不高的场景中,个推计划采用新的存储和管理方案以有效兼顾成本与性能。经过选型,个推引入了360开源的存储
天翼云完成首个国产化万卡训练,MFU达到国内领先水平!
天翼云自研国内首个单集群万卡国产化全功能预训练云服务平台发布上线,并完成万卡规模Llama3.1405B大模型训练。Llama3.1405B作为4000亿参数的模型,在息壤训推服务平台的支持下经过多轮优化,MFU达到国内领先水平;另外,700亿参数模型Llama270B在万卡规模下完成训练,MFU也处于业界领先水平。