频道栏目
首页 > 网络 > 云计算 > 正文

SparkSql——jdbc两种连接和转储表的方式

2018-05-16 14:01:57      个评论    来源:yyf960126的博客  
收藏   我要投稿

SparkSql——jdbc两种连接和转储表的方式。

package spark.SparkSql

import java.util.Properties

import org.apache.spark.sql.SparkSession

object sparkSql3 {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[3]").appName("aa").getOrCreate()
    import spark.implicits._
    /**
      * 两种spark读取jdbc的方法
      */
      //1
    //    spark.read.format("jdbc")
//      .option("url", "jdbc:mysql://localhost:3306/scala")
//      .option("dbtable","user")
//      .option("user","root")
//      .option("password","root")
//      .load().show()
  //2
    val props = new Properties()
    props.put("user","root")
    props.put("password","root")

   val userDS = spark.read.jdbc("jdbc:mysql://localhost:3306/scala","user",props).show()
    //把userDS读出来的表存储为user1(转储数据库表)
//    userDS.write.jdbc("jdbc:mysql://localhost:3306/scala","user1",props)
    //把userDS读出来的表存储为持久表users
//    userDS.createOrReplaceTempView("users")
    //按条件查询出的结果存储为user3
    /*spark.sql("select userId,userName from users")
          .write.jdbc("jdbc:mysql://localhost:3306/scala","user3",props)*/
  }
}
上一篇:Scala高阶函数(HIGHER-ORDERFUNCTIONS)解析
下一篇:Hive通过查询语句向表中插入数据注意事项
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站