依赖

窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用。换句话说，一个父RDD的分区对应于一个子RDD的分区，或者多个父RDD的分区对应于一个子RDD的分区。所以窄依赖又可以分为两种情况：

• 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子
• 1个子RDD的分区对应于N个父RDD的分区，比如co-partioned join

宽依赖

宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区(O(n)，与数据规模有关)，宽依赖有分为两种情况

• 1个父RDD对应非全部多个子RDD分区，比如groupByKey，reduceByKey，sortByKey

• 1个父RDD对应所有子RDD分区，比如未经协同划分的join

简单来说， 就是窄依赖是一对一或者多对一， 宽依赖就是多对多或者一对多

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训，尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习