【问题修复】mds0: Metadata damage detected

时间:2022-07-22
本文章向大家介绍【问题修复】mds0: Metadata damage detected，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

1. 故障现场

  • 通过监控发现集群状态是HEALTH_ERR状态， 并且发现mds0: Metadata damage detected。 顾名思义，猜测应该是元信息损坏导致的。

2. 分析damage是啥原因导致

大概意思是：

  • 从元数据存储池读取时，遇到了元数据损坏或丢失的情况。这条消息表明损坏之处已经被妥善隔离了，以使 MDS 继续运作，如此一来，若有客户端访问损坏的子树就返回 IO 错误。关于损坏的细节信息可用 damage ls 管理套接字命令获取。只要一遇到受损元数据，此消息就会立即出现。

3. 查看damage ls

  • 通过指令查询到damage ls 显示的信息，可以发现里面有个ino编号。

4. 通过转换拿到十六进制ino

  • 通过ino:1099519182934 -> ino: 10000734856

5. 检查是否属于目录(10000734856)

  • 通过指令查找发现该ino确定是目录

6. 确定目录名

7. 该目录下面的所有文件

8. 查看fs挂载的目录是否匹配

ceph fs ls -f json-pretty

9. 修复这个目录元信息

ceph --admin-daemon /var/run/ceph/ceph-mds.00.asok  scrub_path /dir repair

10. 跟踪代码

参考文件：

11. 总结

11.1 问题过程回顾

  • 集群ERR
  • 发现mds0: Metadata damage detected
  • 查看damage ino
  • 根据ino定位跟踪目录
  • 根据目录名知道业务存储的数据
  • 修复问题

12. 修复方案

12.1方案一：删除ino对应的目录（生产环境实战演练过)

1.业务方备份迁移数据 2.查看damage ls

3.检查该ino确实没有对应的目录

4.删除damage rm信息

5.检查集群状态(集群状态从ERR恢复到WARN)

12.2 方案二：修复该目录元信息

1.通过指令修复目录

ceph --admin-daemon /var/run/ceph/ceph-mds.ceph-newpublic-osd02.py.asok scrub_path /dir/xxx repair

随机文章
本站知识点必读
最近更新