频道栏目
首页 > 网络 > 云计算 > 正文

检查HDFS的健康状态

2017-02-21 14:26:00         来源:早睡早起的Hadooper  
收藏   我要投稿

首先需要明确的问题是:HDFS健康的标准是什么样的呢?
如果所有的文件满足最小副本的要求,那么就认为文件系统是健康的。
(HDFS is considered healthy if—and only if—all files have a minimum number of replicas available)
如何检查HDFS的健康情况呢?
hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。
低版本的命令为:sudo -u hdfs hadoop fsck /
高版本的命令为:sudo -u hdfs hdfs fsck /

hdfs fsck输出的解释:
Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]

      start checking from this path 指定要进行检查的路径
    -move   move corrupted files to /lost+found 将有问题的文件move到 /lost+found
    -delete delete corrupted files 删除有问题的文件
    -files  print out files being checked 打印出正在被检查的文件
    -openforwrite   print out files opened for write 打印出正在被写入的文件
    -includeSnapshots       include snapshot data if the given path indicates a snapshottable directory or there are snapshottable directories under it
    -list-corruptfileblocks print out list of missing blocks and files they belong to 打印出missing的block,以及其对应的文件
    -blocks print out block report 打印block报告 (需要和-files参数一起使用)
    -locations      print out locations for every block 打印每个block的位置信息(需要和-files参数一起使用)
    -racks  print out network topology for data-node locations   打印位置信息的网络拓扑图 (需要和-files参数一起使用)

Please Note:
1. By default fsck ignores files opened for write, use -openforwrite to report such files. They are usually tagged CORRUPT or HEALTHY depending on their block allocation status
2. Option -includeSnapshots should not be used for comparing stats, should be used only for HEALTH check, as this may contain duplicates if the same file present in both original fs tree and inside snapshots.

fsck工具只会列出有问题的文件和block,但是它并不会对它们进行修复。

相关TAG标签 HDFS
上一篇:数据挖掘10大算法及详解
下一篇:elasticsearchclient异常
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站