本文分享自天翼云开发者社区《nvme磁盘故障注入方法》，作者：曹****飞

在存储系统中，磁盘的故障是很可能出现的问题。存储软件的设计需要对故障进行处理，提高系统的健壮性。然而磁盘的故障是不可控的，当我们想测试软件故障处理的分支时，不是很方便。用软件模拟的方法能覆盖的场景比较少，而且和实际故障的差距会比较大。因此，如果能让故障下沉到磁盘，尽可能的靠近磁盘，才能构造出尽可能真实的故障场景。本文针对nvme磁盘，在磁盘驱动这一层调研了几种可以注入磁盘故障的方法。

1. write uncorrectable 通过向nvme控制器发送write uncor命令，标记指定的LBA范围为invalid，当读到这个LBA范围时，ctrl会返回Unrecovered Read Error错误。可以用于模拟读的media error。如果要清除invalid状态，需要向这个LBA范围写入数据，覆盖调invalid标记。 不过，write uncor命令不是所有厂家的盘都支持。如果不支持，会返回invalid op code错误。查看是否支持的方法，可以看controller数据结构中的oncs->write_unc是否为1。 还有一个缺点是只能注入读故障。

2. write protect 通过设置namespace的属性，可以让namespace写保护，当这个namespace收到写请求时，会返回write error。 缺点是有的厂商的盘不支持这个属性，而且只能注入写故障。

3. 驱动层模拟故障 这是最通用的一种方法，可以构造出各种故障。spdk的代码中就实现了这一功能。下面详细介绍下它的接口。 /**

• \brief Inject an error for the next request with a given opcode.
• \param ctrlr NVMe controller.
• \param qpair I/O queue pair to add the error command,
• NULL for Admin queue pair.
• \param opc Opcode for Admin or I/O commands.
• \param do_not_submit True if matching requests should not be submitted
• to the controller, but instead completed manually
• after timeout_in_us has expired. False if matching
• requests should be submitted to the controller and
• have their completion status modified after the
• controller completes the request.
• \param timeout_in_us Wait specified microseconds when do_not_submit is true.
• \param err_count Number of matching requests to inject errors.
• \param sct Status code type.
• \param sc Status code.
• \return 0 if successfully enabled, ENOMEM if an error command
• structure cannot be allocated.
• The function can be called multiple times to inject errors for different
• commands. If the opcode matches an existing entry, the existing entry
• will be updated with the values specified.
• / int spdk_nvme_qpair_add_cmd_error_injection(struct spdk_nvme_ctrlr *ctrlr, struct spdk_nvme_qpair *qpair, uint8_t opc, bool do_not_submit, uint64_t timeout_in_us, uint32_t err_count, uint8_t sct, uint8_t sc)； ctrlr: nvme盘的控制器数据结构，每个盘有一个； qpair: 注入故障的qpair，可以是io qpair，也可以是admin qpair。使用哪一种取决于希望在IO路径上还是在管理路径上产生故障； opc: 操作类型，比如read，write等； do_not_submit：如果是true，则这个opc的cmd不会提交到ctrl，而是在 timeout_in_us 到期后手动返回指定的sct，sc。如果是false，则这个opc的cmd会提交到ctrl，等ctrl返回cpl后，将sct和sc改成指定的sct，sc,回调的时候用改过的cpl。命令实际上是执行成功的； timeout_in_us：do_not_submit=true时有效，等待timeout_in_us后再返回sct，sc。范围是(0-18446744073709551615) err_count: 表示注入故障后，此后的多少个该opc的cmd会按照注入的故障来处理，每返回一个注入的故障，err_count减1。减为0的时候不再注入故障，但cmd也不会从 qpair->err_cmd_head 中摘除； sct: 返回的状态码类型； sc: 返回的状态码；

实现的原理是向指定qpair的err_cmd_head链表中添加一个错误的cmd，当下个该类型的cmd提交到该qpair的时候在 _nvme_qpair_submit_request 中遍历这个链表，处理这个cmd，强制修改cpl中的返回值，然后再调用回调，从而模拟故障。

使用此接口可以模拟出读写错误，IO hang住或超时的错误等，在开发测试中比较实用。