pulsar
pulsar sink用于发送数据至pulsar存储。
该sink为beta试用状态,请谨慎使用于生产环境。
Example
sink:
  type: pulsar
  url: pulsar://localhost:6650
  topic: my-topic
 
 
url
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| url | 
string | 
必填 | 
无 | 
日志发送端pulsar连接地址 | 
topic
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| topic | 
string | 
必填 | 
无 | 
发送日志至pulsar的topic | 
producerName
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| producerName | 
string | 
非必填 | 
无 | 
specifies a name for the producer | 
properties
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| producerName | 
map | 
非必填 | 
无 | 
Properties specifies a set of application defined properties for the producer | 
operationTimeoutSeconds
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| operationTimeoutSeconds | 
time.Duration | 
非必填 | 
30s | 
Producer-create, subscribe and unsubscribe operations will be retried until this interval, after which the operation will be marked as failed | 
connectionTimeout
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| connectionTimeout | 
time.Duration | 
非必填 | 
5s | 
Timeout for the establishment of a TCP connection | 
sendTimeout
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| sendTimeout | 
time.Duration | 
非必填 | 
30s | 
SendTimeout set the timeout for a message that is not acknowledged by the server 30s | 
maxPendingMessages
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| sendTimeout | 
time.Duration | 
非必填 | 
无 | 
MaxPendingMessages specifies the max size of the queue holding the messages pending to receive an acknowledgment from the broker | 
hashingSchema
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| hashingSchema | 
int | 
非必填 | 
0 | 
HashingScheme is used to define the partition on where to publish a particular message. 0:JavaStringHash,1:Murmur3_32Hash | 
compressionType
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| compressionType | 
int | 
非必填 | 
0 | 
0:NoCompression, 1:LZ4, 2:ZLIB, 3:ZSTD | 
compressionLevel
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| compressionLevel | 
int | 
非必填 | 
0 | 
0:Default, 1:Faster, 2:Better | 
logLevel
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| logLevel | 
string | 
非必填 | 
0 | 
日志级别: "info","debug", "error" | 
batchingMaxSize
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| batchingMaxSize | 
int | 
非必填 | 
2048(KB) | 
BatchingMaxSize specifies the maximum number of bytes permitted in a batch | 
batchingMaxMessages
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| batchingMaxMessages | 
int | 
非必填 | 
1000 | 
BatchingMaxMessages specifies the maximum number of messages permitted in a batch | 
batchingMaxPublishDelay
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| batchingMaxPublishDelay | 
time.Duration | 
非必填 | 
10ms | 
BatchingMaxPublishDelay specifies the time period within which the messages sent will be batched | 
useTLS
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| useTLS | 
bool | 
非必填 | 
false | 
是否使用TLS认证 | 
tlsTrustCertsFilePath
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| tlsTrustCertsFilePath | 
string | 
非必填 | 
无 | 
the path to the trusted TLS certificate file | 
tlsAllowInsecureConnection
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| tlsAllowInsecureConnection | 
bool | 
非必填 | 
false | 
Configure whether the Pulsar client accept untrusted TLS certificate from broker | 
certificatePath
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| certificatePath | 
string | 
非必填 | 
无 | 
TLS证书路径 | 
privateKeyPath
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| privateKeyPath | 
string | 
非必填 | 
无 | 
TLS privateKey路径 | 
token
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| token | 
string | 
非必填 | 
无 | 
如果使用token认证鉴权pulsar,请填写此项 | 
tokenFilePath
字段 | 
类型 | 
是否必填 | 
默认值 | 
含义 | 
| tokenFilePath | 
string | 
非必填 | 
无 | 
auth token from a file |