本文分享自天翼云开发者社区《Centos系统云主机中nvme盘不可用解决方法》，作者：P****n

问题描述 Linux系统的云主机使用NVMe盘后，出现非预期的慢IO读写，导致系统或者应用程序对于NVMe磁盘的IO操作失败。系统将nvme盘踢出，在系统中通过lsblk查看不到nvme盘，后续的读写操作均失败，从而导致系统和应用程序异常或者业务中断。 问题原因 NVMe驱动中的 io_timeout参数控制了最大能够容忍的IO超时时间，在大部分Linux发行版本中默认配置为30秒。如果IO读写操作的延迟过高，超过了该参数的配置值，则NVMe驱动会返回IO失败。在特定情况下，系统或者应用程序可以对IO操作进行重试。但在某些情况下，可能导致系统或者应用程序对于NVMe磁盘的IO操作失败。系统将nvme盘踢出，在系统中通过lsblk查看不到nvme盘，后续的读写操作均失败，从而导致系统和应用程序异常或者业务中断。 为了减少NVMe磁盘的IO操作超时出现的异常情况，通常会将 io_timeout参数设置为可能的最大值，提高对于IO延迟的容忍度。在新版本的内核中，io_timeout参数的最大值为4,294,967,295，较早版本中为255。不同的版本的内核中，NVMe驱动的内核模块也有所不同，部分内核模块为nvme.ko ，或者部分内核模块为nvme_core.ko，从而完整的参数名称也存在nvme.io_timeout和nvme_core.io_timeout两种可能。 解决方案 1、远程连接CentOS云主机。 2、执行以下命令，查看系统内核是否已经加载了NVMe驱动。 cat /boot/config-uname -r | grep -i nvme | grep -v "^#" 系统显示类似如下，如果存在CONFIG_BLK_DEV_NVME=y，则表示该镜像已经加载NVMe驱动。 CONFIG_NVME_CORE=m CONFIG_BLK_DEV_NVME=y CONFIG_BLK_DEV_NVME_SCSI=y CONFIG_NVME_FABRICS=m CONFIG_NVME_RDMA=m CONFIG_NVME_FC=m CONFIG_NVME_TARGET=m CONFIG_NVME_TARGET_LOOP=m CONFIG_NVME_TARGET_RDMA=m CONFIG_NVME_TARGET_FC=m CONFIG_NVME_TARGET_FCLOOP=m CONFIG_NVMEM=y 3、在GRUB中添加NVMe相关的nvme timeout参数。 1）执行以下命令，打开grub文件。 vi /etc/default/grub 2）按i键进入编辑模式，确认io_timeout参数的完整参数名称和所能接受的最大值。例如，完整参数名称为nvme_core.io_timeout，所能接受的最大值为 4,294,967,295。则请在GRUB_CMDLINE_LINUX=一行中，添加nvme_core.io_timeout=4294967295 nvme_core.admin_timeout=4294967295参数信息。 添加参数后，文件内容如下图所示：

3）按Esc键退出编辑模式，输入:wq并按Enter键，保存退出文件。 4）根据操作系统的启动方式不同，执行以下适用于您的操作系统的命令，使配置的GRUB生效： Legacy启动方式 grub2-mkconfig -o /boot/grub2/grub.cfg UEFI启动方式 grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg 5）执行以下命令，重启实例，使配置生效。 reboot 6）执行以下命令，确认相关配置已正确传递给内核。 cat /proc/cmdline 系统显示类似如下。 ... nvme_core.io_timeout=4294967295 nvme_core.admin_timeout=4294967295 7）执行以下命令，确认NVMe驱动参数已正确配置IO超时参数。 cat /sys/module/nvme_core/parameters/io_timeout 系统显示类似如下。 4294967295