Hive + sql(数据类型) + 参数配置(SparkConf, SparkContext)
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql._
import org.apache.spark.{SparkConf, SparkContext}
为了让Spark能够访问Hive,必须为Spark添加Hive支持。Spark官方提供的预编译版本,通常是不包含Hive支持的,需要采用源码编译,编译得到一个包含Hive支持的Spark版本。
Spark的所有数据类型都定义在包org.apache.spark.sql中,你可以通过import org.apache.spark.sql._访问它们。
每个Spark程序都是需要导入SparkContext的. SparkContext使得Spark驱动的程序access the cluster through a resource manager(YARN, or Spark’s cluster manager)。为了建立SparkContext首先需要创建SparkConf.SparkConf存储构造器参数,这些参数将由你编写的程序传入SparkContext。
'. _ '用于隐式导入包中全部内容
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




