pulsar
pulsar sink用于发送数据至pulsar存储。
该sink为beta试用状态,请谨慎使用于生产环境。
Example
sink:
type: pulsar
url: pulsar://localhost:6650
topic: my-topic
url
字段 |
类型 |
是否必填 |
默认值 |
含义 |
url |
string |
必填 |
无 |
日志发送端pulsar连接地址 |
topic
字段 |
类型 |
是否必填 |
默认值 |
含义 |
topic |
string |
必填 |
无 |
发送日志至pulsar的topic |
producerName
字段 |
类型 |
是否必填 |
默认值 |
含义 |
producerName |
string |
非必填 |
无 |
specifies a name for the producer |
properties
字段 |
类型 |
是否必填 |
默认值 |
含义 |
producerName |
map |
非必填 |
无 |
Properties specifies a set of application defined properties for the producer |
operationTimeoutSeconds
字段 |
类型 |
是否必填 |
默认值 |
含义 |
operationTimeoutSeconds |
time.Duration |
非必填 |
30s |
Producer-create, subscribe and unsubscribe operations will be retried until this interval, after which the operation will be marked as failed |
connectionTimeout
字段 |
类型 |
是否必填 |
默认值 |
含义 |
connectionTimeout |
time.Duration |
非必填 |
5s |
Timeout for the establishment of a TCP connection |
sendTimeout
字段 |
类型 |
是否必填 |
默认值 |
含义 |
sendTimeout |
time.Duration |
非必填 |
30s |
SendTimeout set the timeout for a message that is not acknowledged by the server 30s |
maxPendingMessages
字段 |
类型 |
是否必填 |
默认值 |
含义 |
sendTimeout |
time.Duration |
非必填 |
无 |
MaxPendingMessages specifies the max size of the queue holding the messages pending to receive an acknowledgment from the broker |
hashingSchema
字段 |
类型 |
是否必填 |
默认值 |
含义 |
hashingSchema |
int |
非必填 |
0 |
HashingScheme is used to define the partition on where to publish a particular message. 0:JavaStringHash,1:Murmur3_32Hash |
compressionType
字段 |
类型 |
是否必填 |
默认值 |
含义 |
compressionType |
int |
非必填 |
0 |
0:NoCompression, 1:LZ4, 2:ZLIB, 3:ZSTD |
compressionLevel
字段 |
类型 |
是否必填 |
默认值 |
含义 |
compressionLevel |
int |
非必填 |
0 |
0:Default, 1:Faster, 2:Better |
logLevel
字段 |
类型 |
是否必填 |
默认值 |
含义 |
logLevel |
string |
非必填 |
0 |
日志级别: "info","debug", "error" |
batchingMaxSize
字段 |
类型 |
是否必填 |
默认值 |
含义 |
batchingMaxSize |
int |
非必填 |
2048(KB) |
BatchingMaxSize specifies the maximum number of bytes permitted in a batch |
batchingMaxMessages
字段 |
类型 |
是否必填 |
默认值 |
含义 |
batchingMaxMessages |
int |
非必填 |
1000 |
BatchingMaxMessages specifies the maximum number of messages permitted in a batch |
batchingMaxPublishDelay
字段 |
类型 |
是否必填 |
默认值 |
含义 |
batchingMaxPublishDelay |
time.Duration |
非必填 |
10ms |
BatchingMaxPublishDelay specifies the time period within which the messages sent will be batched |
useTLS
字段 |
类型 |
是否必填 |
默认值 |
含义 |
useTLS |
bool |
非必填 |
false |
是否使用TLS认证 |
tlsTrustCertsFilePath
字段 |
类型 |
是否必填 |
默认值 |
含义 |
tlsTrustCertsFilePath |
string |
非必填 |
无 |
the path to the trusted TLS certificate file |
tlsAllowInsecureConnection
字段 |
类型 |
是否必填 |
默认值 |
含义 |
tlsAllowInsecureConnection |
bool |
非必填 |
false |
Configure whether the Pulsar client accept untrusted TLS certificate from broker |
certificatePath
字段 |
类型 |
是否必填 |
默认值 |
含义 |
certificatePath |
string |
非必填 |
无 |
TLS证书路径 |
privateKeyPath
字段 |
类型 |
是否必填 |
默认值 |
含义 |
privateKeyPath |
string |
非必填 |
无 |
TLS privateKey路径 |
token
字段 |
类型 |
是否必填 |
默认值 |
含义 |
token |
string |
非必填 |
无 |
如果使用token认证鉴权pulsar,请填写此项 |
tokenFilePath
字段 |
类型 |
是否必填 |
默认值 |
含义 |
tokenFilePath |
string |
非必填 |
无 |
auth token from a file |