HDFS介绍HDFS是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。HDFS的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到

Memcach什么是MemcacheMemcache集群环境下缓存解决方案Memcache是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。Memcache是d

工欲善其事必先利其器，我们先搭建好我们的开发环境。安装配置好Docker首先，我们需要Docker。毕竟我们的重点并不是在安装配置spark上面，怎么简便，怎么做是最好的啦。不过为了适用尽量多的场景，我们会配置一个单机集群，同时配置Pycharm远程调试。安装Docker的步骤，网上已经有很多了，我们这里贴一个基于Cent

分布式与集群什么是锁在单进程的系统中，当存在多个线程可以同时改变某个变量（可变共享变量）时，就需要对变量或代码块做同步，使其在修改这种变量时能够线性执行消除并发修改变量。而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行，那么需要在某个地方做个标记，这个标记必须

<p如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。可以将所有message都设置为持久化，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的问题：因为message在发送之后和被写入磁盘并执行f

本文是《CentOS7环境部署kubenetes1.12版本五部曲》系列的第四篇，前面的实站已经搭建了kubernetes1.12集群，操作都是在控制台用kubectl命令来完成的，今天咱们一起将WEB管理页面部署上去；前提本次实战需要科学上网，才能kubernetes相关的操作用于学习和实践；实战1.在master节点的

Kubernetes工作负载最常用YAML格式的文件来定义。YAML的问题之一就是很难描述清单文件之间的约束或关系。如果你希望检查是否已从受信任的注册表中提取部署到群集中的所有映像，该怎么办？如何防止没有Pod安全策略的工作负载提交到集群？集成静态检查可以在更接近开发生命周期的时间内捕获错误和违反策略的行为。并且由于改善了资源定义

一、发现问题在一次系统上线后，我们发现某几个节点在长时间运行后会出现内存持续飙升的问题，导致的结果就是Kubernetes集群的这个节点会把所在的Pod进行驱逐OOM；如果调度到同样问题的节点上，也会出现Pod一直起不来的问题。我们尝试了杀死Pod后手动调度的办法（label），当然也可以排除调度节点。但是在一段时间后还会复现，我们通过监控

链接：http://redis.io/topics/distlock(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fredis.io%2Ftopics%2Fdistlock)原理很简单，一段时间内轮询加锁的key重点，不同语言的开源实现Beforedescribingth

天翼云自研国内首个单集群万卡国产化全功能预训练云服务平台发布上线，并完成万卡规模Llama3.1405B大模型训练。Llama3.1405B作为4000亿参数的模型，在息壤训推服务平台的支持下经过多轮优化，MFU达到国内领先水平；另外，700亿参数模型Llama270B在万卡规模下完成训练，MFU也处于业界领先水平。