浅谈HPC中的Lustre

天翼云开发者社区
• 阅读 283

本文分享自天翼云开发者社区《浅谈HPC中的Lustre》,作者:n****m

1.什么是 lustre? Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计, Lustre 是在 HPC 领域应用最广的文件系统, 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2.Lustre 的文件系统有哪些组件? Lustre 文件系统的主要组件有: MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

浅谈HPC中的Lustre

3.MDS、 MDT、 OSS、 OST 是什么?

MDS(Metadata Server): MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息, MDS 生成的元数据存储在一个或者多个 MDT 上, 并为每个 Client提供服务。 MDS 可以有多个, 但只有一个为主 MDS, 其余 MDS 工作在备份模式。

MDT(Metadata Target): 每个文件系统都有一个 MDT, MDT 可以是 MDS 本地硬盘(只有一个 MDS 时)、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机, 供多个 MDS 进行访问, 但同一时刻只能有一个 MDS 进行访问, 通过这种方式可以实现 MDS 的高可用性。

OSS(Object Storage Servers): OSS 为 Client 提供文件 I/O 服务, 客户端从 MDS 获取元数据信息后, 从 OSS 访问文件数据, 文件数据最终存储在与 OSS 相连的 OST 上。

OST(Object Storage Target): 用户文件存储在一个或者多个对象中, 每个对象对应一个独立的 OST, 每个文件可以存储在一个 OST 上, 也可以跨越多个 OST 进行存储。 一个OST 可以通过同时映射给两台主机实现 OSS 的高可用性。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
11张图了解HDFS的架构设计
HDFS介绍HDFS是一个适合部署在廉价机器上的,具有高度容错性的,高吞吐量的分布式文件系统。HDFS的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此,HDFS被设计成支持大文件存储,能在一个集群里扩展到
Stella981 Stella981
3年前
MapReduce统计单词
一、HDFS个人理解      HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解
Wesley13 Wesley13
3年前
HDFS知识学习
HDFS设计前提与目标1.硬件错误是常态而不是异常。HDFS被设计为运行在普通硬件上,所以硬件故障时正常的,HDFS可能由成百上千的服务器节点构成,每个服务器节点上都存储着文件系统的部分数据,而HDFS的每个组件随时都有可能出现故障。因此,错误检测并快速自动恢复是HDFS的最核心的设计目标。2.流式数据访问。运行在HDFS上的应用主要是
Stella981 Stella981
3年前
Docker 镜像
我们都知道,操作系统分为内核和用户空间。对于Linux而言,内核启动后,会挂载 root 文件系统为其提供用户空间支持。而Docker镜像(Image),就相当于是一个 root 文件系统。比如官方镜像 ubuntu:18.04 就包含了完整的一套Ubuntu18.04最小系统的 root 文件系统。Docker镜像是一个
Wesley13 Wesley13
3年前
NFS部署教程
NFS(NetworkFileSystem)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。简单的来说:它就是是可以透过网络,让不同的主机、不同的操作系统可以共享存储。NFS在文件传送或信
Wesley13 Wesley13
3年前
MySQL基础学习笔记——MyISAM存储引擎
MyISAM存储引擎MyISAM基于ISAM存储引擎,并对其进行扩展。它是在Web、数据仓库和其他应用环境下最常用的存储引擎之一。MyISAM拥有较高的插入、查询速度,但不支持事务。MyISAM主要特性有:1.大文件(达到63位文件长度)在支持大文件的文件系统和操作系统上被支
Stella981 Stella981
3年前
Docker镜像优化:从1.16GB到22.4MB
Docker是一个供软件开发人员和系统管理员使用容器构建、运行和与分享应用程序的平台。容器是在独立环境中运行的进程,它运行在自己的文件系统上,该文件系统是使用docker镜像构建的。镜像中包含运行应用程序所需的一切(编译后的代码、依赖项、库等等)。镜像使用Dockerfile文件定义。术语dockerization或containeriz
HPC调度基础:slurm集群的部署
本文分享自天翼云开发者社区@《》,作者:才开始学技术的小白0.引言HPC(HighPerformanceComputing,以下简称HPC)是一个领域,试图在任何时间点和技术上对于相关技术、方法和应用等多种方面实现最大的计算能力;换而言之其目的就是求解一类
HPC中常见的调度器介绍
在高性能计算(HPC)环境中,调度器是负责管理和分配计算资源(如计算节点、处理器核心、内存等)给待执行任务的重要组件。不同的HPC系统可能使用不同的调度器,根据系统架构和用户需求的不同,调度器有各自的特点和区别。以下是一些常见的HPC调度器及其区别:
浅谈网络文件系统原理
什么是网络文件系统?网络文件系统(NetworkFileSystem,NFS)实现了一种软件协议,能将远端的文件系统映射到本地,使用者访问网络上的文件就像在使用自己的计算机一样。远端是专属存储系统,通常称为NAS存储。比较出名的网络文件系统的实现包括Sun公司的NFS,微软的CIFS(CommonInternetFileSystem)等,网络文件系统的访问示意图如下:
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
722
粉丝
15
获赞
40