Kylin中Cube的Build过程,是将所有的维度组合事先计算,存储于HBase中,以空间换时间,HTable对应的RowKey,就是各种维度组合,指标存在Column中,这样,将不同维度组合查询SQL,转换成基于RowKey的范围扫描,然后对指标进行汇总计算,以实现快速分析查询。
Cube 的构建方式有两种:全量构建和增量构建。两者的构建过程完全一样,区别在于构建时读取的数据源是全集还是子集。
Cube的构建步骤:
1.创建临时的 Hive 平表。
2.计算各维度的不同值,并收集各 Cuboid 的统计数据。
3.创建并保存维度字典。
4.保存Cuboid统计信息。
5.创建HTable。
6.用Spark引擎构建Cube
7.将Cube的计算结果转成HFile。
8.导HFile入HBase表。
9.更新Cube元数据。
10.垃圾回收。
想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习
上一篇: Java培训课程JavaWeb之web知识体系
下一篇: 大数据培训面试题分析-Kylin 对维度表的的要求