跳转至

pulsar

pulsar sink用于发送数据至pulsar存储。
该sink为beta试用状态,请谨慎使用于生产环境。

Example

sink:
  type: pulsar
  url: pulsar://localhost:6650
  topic: my-topic

url

字段 类型 是否必填 默认值 含义
url string 必填 日志发送端pulsar连接地址

topic

字段 类型 是否必填 默认值 含义
topic string 必填 发送日志至pulsar的topic

producerName

字段 类型 是否必填 默认值 含义
producerName string 非必填 specifies a name for the producer

properties

字段 类型 是否必填 默认值 含义
producerName map 非必填 Properties specifies a set of application defined properties for the producer

operationTimeoutSeconds

字段 类型 是否必填 默认值 含义
operationTimeoutSeconds time.Duration 非必填 30s Producer-create, subscribe and unsubscribe operations will be retried until this interval, after which the operation will be marked as failed

connectionTimeout

字段 类型 是否必填 默认值 含义
connectionTimeout time.Duration 非必填 5s Timeout for the establishment of a TCP connection

sendTimeout

字段 类型 是否必填 默认值 含义
sendTimeout time.Duration 非必填 30s SendTimeout set the timeout for a message that is not acknowledged by the server 30s

maxPendingMessages

字段 类型 是否必填 默认值 含义
sendTimeout time.Duration 非必填 MaxPendingMessages specifies the max size of the queue holding the messages pending to receive an acknowledgment from the broker

hashingSchema

字段 类型 是否必填 默认值 含义
hashingSchema int 非必填 0 HashingScheme is used to define the partition on where to publish a particular message. 0:JavaStringHash,1:Murmur3_32Hash

compressionType

字段 类型 是否必填 默认值 含义
compressionType int 非必填 0 0:NoCompression, 1:LZ4, 2:ZLIB, 3:ZSTD

compressionLevel

字段 类型 是否必填 默认值 含义
compressionLevel int 非必填 0 0:Default, 1:Faster, 2:Better

logLevel

字段 类型 是否必填 默认值 含义
logLevel string 非必填 0 日志级别: "info","debug", "error"

batchingMaxSize

字段 类型 是否必填 默认值 含义
batchingMaxSize int 非必填 2048(KB) BatchingMaxSize specifies the maximum number of bytes permitted in a batch

batchingMaxMessages

字段 类型 是否必填 默认值 含义
batchingMaxMessages int 非必填 1000 BatchingMaxMessages specifies the maximum number of messages permitted in a batch

batchingMaxPublishDelay

字段 类型 是否必填 默认值 含义
batchingMaxPublishDelay time.Duration 非必填 10ms BatchingMaxPublishDelay specifies the time period within which the messages sent will be batched

useTLS

字段 类型 是否必填 默认值 含义
useTLS bool 非必填 false 是否使用TLS认证

tlsTrustCertsFilePath

字段 类型 是否必填 默认值 含义
tlsTrustCertsFilePath string 非必填 the path to the trusted TLS certificate file

tlsAllowInsecureConnection

字段 类型 是否必填 默认值 含义
tlsAllowInsecureConnection bool 非必填 false Configure whether the Pulsar client accept untrusted TLS certificate from broker

certificatePath

字段 类型 是否必填 默认值 含义
certificatePath string 非必填 TLS证书路径

privateKeyPath

字段 类型 是否必填 默认值 含义
privateKeyPath string 非必填 TLS privateKey路径

token

字段 类型 是否必填 默认值 含义
token string 非必填 如果使用token认证鉴权pulsar,请填写此项

tokenFilePath

字段 类型 是否必填 默认值 含义
tokenFilePath string 非必填 auth token from a file