首页 > 网络 > 云计算 > 正文
hadoopha故障问题处理
2017-04-27       个评论    来源:u010316405的专栏  
收藏    我要投稿

hadoopha故障问题处理。问题描述:journalnode节点的editlog日志目录被其它应用日志占满;导致active nn 无法向 journalnode写入editlog,导致集群宕机;

解决思路:

HA的工作流程:集群启动后一个NN处于active状态,并提供服务,处理客户端和datanode的请求,并把editlog写到本地和share editlog(jounalnode)。另外一个NN处于Standby状态,它启动的时候加载fsimage,然后周期性的从share editlog中获取editlog,保持与active的状态同步。并且为了实现热备,增加FailoverController和ZK,FailoverController与ZK通信,通过ZK选主,ZK上会为active nn生成一个znode,FailoverController通过RPC让NN转换为active或standby。

1、确认集群宕机之前谁是active nn,查看两个nn节点的editlog哪个的txid更大(每条editlog都有一个txid,且连续的),更大的则为最好的宕机前的active NN

2、确认完第一步后,将active NN的所有editlog 拷贝到另一个nn节点的editlog目录;并且将editlog拷贝到所有的journalnode节点目录

3、清除ha在zk上的znode节点

sudo -u hdfshdfszkfc-formatZK

4、重启hadoop后,将nn退出安全模式

5、集群开始恢复,有丢失的块,可以删除或者恢复。具体网上查

6、启动hbase,修复分区

备注:解决过程中可能会遇到很多坑,每个组件都可能启不来,具体可查看namenode、datanode、journalnode,FailoverController的日志来确认问题并逐一解决。

点击复制链接 与好友分享!回本站首页
上一篇:腾讯云Ubuntu 14.04 & Apache 2.4.7 $ CI框架 之 如何去掉index.php后缀
下一篇:Dockerfile的编写
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站