频道栏目
首页 > 程序开发 > 软件开发 > Java > 正文
关于Java/Scala访问启用kerberos验证的Hadoop集群的代码实例
2018-07-11 10:22:43      个评论    来源:走向程序的康庄大道  
收藏   我要投稿

通过keytab的方式访问HDFS

Configuration config = new Configuration();
        FileSystem hdfs = null;
        try {
            if (isKerberosEnable){
                System.setProperty("java.security.krb5.conf", "./config/kerberos/krb5.conf");
                config.set("hadoop.security.authentication","kerberos");
                config.addResource("./config/cluster/hadoop/core-site.xml");
                config.addResource("./config/cluster/hadoop/hdfs-site.xml");
                UserGroupInformation.setConfiguration(config);
                UserGroupInformation.loginUserFromKeytab(kerberosLoginUser, "./config/kerberos/hdfs.keytab");
                UserGroupInformation userGroupInformation = UserGroupInformation.getLoginUser();
            }
            hdfs = FileSystem.get(URI.create(hdfsUri), config);
            FSDataOutputStream outputStream = hdfs.create(new Path(hdfsFile), true);
            IOUtils.copyBytes(inputStream, outputStream, 4096, true);

通过keytab方式访问HBASE

	def setKerberosConf(conf: Configuration, sparkConf: SparkConf): Unit = {
		conf.set("hbase.zookeeper.quorum", s"${zkaddress}")
		conf.setInt("hbase.zookeeper.property.clientPort", 2181)
		conf.set("zookeeper.znode.parent", "/hbase")
		System.setProperty("java.security.krb5.conf", "conf/kerberos/krb5.conf")
		conf.set("hadoop.security.authentication", "kerberos")
		conf.set("hbase.security.authentication", "kerberos")
		conf.set("keytab.file", Contants.HBASE_KERBEROS_KEYTAB_FILE)
		conf.set("kerberos.principal",
			sparkConf.get("hbase.kerberos.principal", Contants.HBASE_KERBEROS_PRINCIPAL))
		conf.set("hbase.master.kerberos.principal",
			sparkConf.get("hbase.master.kerberos.principal", Contants.HBASE_MASTER_KERBEROS_PRINCIPAL))
		conf.set("hbase.regionserver.kerberos.principal",
			sparkConf.get("hbase.regionserver.kerberos.principal", Contants.HBASE_REGIONSERVER_KERBEROS_PRINCIPAL))
		UserGroupInformation.setConfiguration(conf)
		UserGroupInformation.loginUserFromKeytab(
			sparkConf.get("hbase.kerberos.user", Contants.HBASE_KERBEROS_USER),
			Contants.HBASE_KERBEROS_KEYTAB_FILE)
	}
点击复制链接 与好友分享!回本站首页
上一篇:JDBC基础之DBCP数据源讲解
下一篇:jvm参数详解(Mark)集群配置教程
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站