教程简介:
Kafka是高吞吐量的分布式消息发布和订阅系统,作为大数据领域全面且开源的分布式事件流平台,已成为大数据从业人员的必备技能。
Kafka在实时数据处理、消息队列、流处理等领域具有广泛的应用场景,由于其高性能、高可靠、高吞吐的特点,被广泛应用于高性能的数据管道、流分析和数据集成等不同场景,在海量实时数据传输和事件驱动的微服务架构中也被广泛使用。
本套教程基于Kafka 3.6.1版本设计,零基础入门,将理论、演示、源码融合在一起讲解,通过源码演示效果,通过效果印证理论,再通过理论梳理源码,让整个Kafka的技术架构,更加清晰地呈现在你的面前。
教程采用简单直白的语言,以及图形化与操作相结合的形式,快速直观地讲解Kafka核心功能,降低软件本身的学习难度,缩减学习周期。你可以通过本套教程的学习,快速掌握Kafka核心组件的用法,理清核心数据的处理流程,并将Kafka应用于自己的项目中。
教程内容按照数据在Kafka中传输流转的过程设置:
一,服务集群启动,讲解软件启动过程中各服务组件的关系;
二,创建主题,用于对传输数据进行分类;
三,生产数据,讲解业务系统数据或待处理的数据传输到Kafka的流程,以及底层的实现原理;
四,Kafka在接收到数据后,存储数据的核心操作及流程;
五,消费者从Kafka中获取数据的方式及底层的操作流程。
-------------------------------------------
教程目录:
01.Kafka-课程介绍
02.kafka-文件目录说明
03.Kafka-软件介绍
04.Kafka-JMS介绍
05.Kafka-组件
06.Kafka-安装与启动
07.kafka-命令行操作-主题创建
08.kafka-命令行操作-生产者和消费者
09.kafka-代码-生产者
10.kafka-代码-消费者
11.kafka-客户端便利小工具
12.kafka-构建源码环境
13.kafka-基础架构图形推演
14.kafka-基础组件图形推演
15.kafka-windows集群部署
16.kafka-启动服务-ZooKeeper的核心功能
17.kafka-启动服务-Broker启动后ZooKeeper节点的变化
18.kafka-启动服务-Controller的选举
19.kafka-启动服务-Controller和Broker的通信原理及底层通信机制
20.kafka-启动服务-Broker组件对象介绍
21.kafka-主题创建-代码简析
22.kafka-主题创建-主题分区副本分配策略
23.kafka-主题创建-底层流程分析
24.kafka-生产数据-生产者流程分析
25.kafka-生产数据-拦截器和序列化处理
26.kafka-生产数据-分区器及分区计算策略
27.kafka-生产数据-数据收集器和Sender发送线程
28.kafka-生产数据-数据的异步发送和同步发送
29.kafka-生产数据-ACKS数据接收应答处理机制
30.kafka-生产数据-数据重复及乱序的原因及原理
31.kafka-生产数据-幂等性操作
32.kafka-生产数据-事务操作
33.kafka-生产数据-事务流程
34.kafka-存储数据-数据存储文件类型介绍
35.kafka-存储数据-数据存储流程
36.kafka-存储数据-数据文件内容及数据定位
37.kafka-存储数据-数据文件字节计算方式
38.kafka-存储数据-数据同步一致性问题
39.kafka-存储数据-副本同步时的水位线变化
40.kafka-存储数据-ISR列表变化和传播
41.kafka-存储数据-日志清理策略
42.kafka-消费数据-消费数据的基本流程
43.kafka-消费数据-数据消费的偏移量问题
44.kafka-消费数据-偏移量同步提交和异步提交
45.kafka-消费数据-事务数据的隔离级别
46.kafka-消费数据-消费者组介绍
47.kafka-消费数据-消费者偏移量内部主题
48.kafka-消费数据-分区分配策略介绍
49.kafka-消费数据-分区分配策略演示
50.kafka-消费数据-消费者Leader选举
51.kafka-扩展-分布式集群脑裂问题
52.kafka-扩展-零拷贝
53.kafka-扩展-顺写日志
54.kafka-扩展-KafkaLinux集群部署-虚拟机安装
55.kafka-扩展-KafkaLinux集群部署-Java安装
56.kafka-扩展-KafkaLinux集群部署-ZooKeeper安装
57.kafka-扩展-KafkaLinux集群部署-Kafka安装
58.kafka-扩展-KafkaLinux集群部署-监控软件安装
59.kafka-扩展-KafkaLinux集群部署-KRaft模式安装
60.kafka-集成-大数据场景-Flume
61.kafka-集成-大数据场景-Spark
62.kafka-集成-大数据场景-Flink
63.kafka-集成-Java场景-SpringBoot
64.kafka-优化简介
65.kafka-常见问题