暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【大数据开发】Spark SQL的SparkSession介绍(二)

数据信息化 2020-05-12
427

2


Part

2

Spark SQL的SparkSession介绍(二)

SparkSession的介绍

Java&Scala代码示例



SparkSession的介绍

    从Spark 2.0开始,一个最大的改变就是Spark SQL的统一入口就是SparkSession, SQL Context和Hive Context未来会被淘汰。

    可以通过SparkSession.builder()来创建一个SparkSession,如下代码所示。SparkSession内置就支持Hive,包括使用Hive SQL语句查询Hive中的数据,使用Hive的UDF函数,以及从Hive表中读取数据等。



Java&Scala代码示例

//Java
import org.apache.spark.sql.SparkSession;


public class SqlExampleJava {
public static void main(String[] args) {
SparkSession spark = SparkSession.builder()
.appName("test")
.master("local")
.config("spark.sql.warehouse.dir","/Users/zhangjingyu/Desktop/Spark架构/spark-warehouse")
.getOrCreate();
}
}


//Scala
import org.apache.spark.sql.SparkSession


object SqlExampleScala {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("test")
.master("local")
.config("spark.sql.warehouse.dir", "/Users/zhangjingyu/Desktop/Spark架构/spark-warehouse")
.getOrCreate()
}


}




微信号 : BIGDT_IN

● 扫码关注我们



文章转载自数据信息化,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论