Kafka Reader

Kafka reader 是logkit提供的从Kafka读取数据的配置方式。

典型配置如下

    "reader":{
        "mode": "kafka",
        "kafka_groupid":"mac1",
        "kafka_topic":"test_topic1，test_topic2",
        "kafka_zookeeper":"localhost:2181, localhost:2181, localhost:2181",
        "read_from":"oldest"
    },

• Kafka reader 输出的是raw data，可根据具体情况自定义parser进行解析。
• mode 是读取方式，使用Kafka Reader必须填写kafka。
• kafka_topic kafka的topic名称列表
• kafka_groupid kafka的consumer group名称。
• kafka_zookeeper zookeeper地址列表
• kafka_zookeeper_chroot kafka在zookeeper根路径中的地址
• read_from 可选，oldest：从partition最开始的位置，newest：从partition最新的位置。默认从oldest位置开始消费。
• tag_file可选项，可以读取一个json格式的文件，并把json的数据作为标签附着在所有数据之上。典型的应用场景为一些机器或者容器相关的元数据存以json格式放在文件中，logkit发送的数据都带上这些元数据，以便查询时可以快速定位机器元数据，并根据元数据做报警等后续事宜。