尚硅谷大数据技术之Kafka第7章 扩展
7.3.2 Producer配置信息
|
属性 |
默认值 |
描述 |
|
metadata.broker.list |
|
启动时producer查询brokers的列表，可以是集群中所有brokers的一个子集。注意，这个参数只是用来获取topic的元信息用，producer会从元信息中挑选合适的broker并与之建立socket连接。格式是：host1:port1,host2:port2。 |
|
request.required.acks |
0 |
参见3.2节介绍 |
|
request.timeout.ms |
10000 |
Broker等待ack的超时时间，若等待时间超过此值，会返回客户端错误信息。 |
|
producer.type |
sync |
同步异步模式。async表示异步，sync表示同步。如果设置成异步模式，可以允许生产者以batch的形式push数据，这样会极大的提高broker性能，推荐设置为异步。 |
|
serializer.class |
kafka.serializer.DefaultEncoder |
序列号类，.默认序列化成 byte[] 。 |
|
key.serializer.class |
|
Key的序列化类，默认同上。 |
|
partitioner.class |
kafka.producer.DefaultPartitioner |
Partition类，默认对key进行hash。 |
|
compression.codec |
none |
指定producer消息的压缩格式，可选参数为： “none”, “gzip” and “snappy”。关于压缩参见4.1节 |
|
compressed.topics |
null |
启用压缩的topic名称。若上面参数选择了一个压缩格式，那么压缩仅对本参数指定的topic有效，若本参数为空，则对所有topic有效。 |
|
message.send.max.retries |
3 |
Producer发送失败时重试次数。若网络出现问题，可能会导致不断重试。 |
|
retry.backoff.ms |
100 |
Before each retry, the producer refreshes the metadata of relevant topics to see if a new leader has been elected. Since leader election takes a bit of time, this property specifies the amount of time that the producer waits before refreshing the metadata. |
|
topic.metadata.refresh.interval.ms |
600 * 1000 |
The producer generally refreshes the topic metadata from brokers when there is a failure (partition missing, leader not available…). It will also poll regularly (default: every 10min so 600000ms). If you set this to a negative value, metadata will only get refreshed on failure. If you set this to zero, the metadata will get refreshed after each message sent (not recommended). Important note: the refresh happen only AFTER the message is sent, so if the producer never sends a message the metadata is never refreshed |
|
queue.buffering.max.ms |
5000 |
启用异步模式时，producer缓存消息的时间。比如我们设置成1000时，它会缓存1秒的数据再一次发送出去，这样可以极大的增加broker吞吐量，但也会造成时效性的降低。 |
|
queue.buffering.max.messages |
10000 |
采用异步模式时producer buffer 队列里最大缓存的消息数量，如果超过这个数值，producer就会阻塞或者丢掉消息。 |
|
queue.enqueue.timeout.ms |
-1 |
当达到上面参数值时producer阻塞等待的时间。如果值设置为0，buffer队列满时producer不会阻塞，消息直接被丢掉。若值设置为-1，producer会被阻塞，不会丢消息。 |
|
batch.num.messages |
200 |
采用异步模式时，一个batch缓存的消息数量。达到这个数量值时producer才会发送消息。 |
|
send.buffer.bytes |
100 * 1024 |
Socket write buffer size |
|
client.id |
“” |
The client id is a user-specified string sent in each request to help trace calls. It should logically identify the application making the request. |
