Spark SQL数据通用加载/保存方法_大数据培训

1、通用加载/保存方法

1.1 加载数据

1）read直接加载数据

scala> spark.read.

csv jdbc json orc parquet textFile… …

注意：加载数据的相关参数需写到上述方法中。如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。

2）format指定加载数据类型

scala> spark.read.format(“…”)[.option(“…”)].load(“…”)

用法详解：

（1）format(“…”)：指定加载的数据类型，包括”csv”、”jdbc”、”json”、”orc”、”parquet”和”textFile”。

（2）load(“…”)：在”csv”、”orc”、”parquet”和”textFile”格式下需要传入加载数据的路径。

（3）option(“…”)：在”jdbc”格式下需要传入JDBC相应参数，url、user、password和dbtable。

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训，尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。

热门视频