轻量级日志收集转发工具：fluent-bit外部插件详解（第三部分）

"本文主要对fluent-bit 1.3版本外部插件做详细介绍，关注后回复【pdf】获得文档"

1、回顾

随着集群规模不断扩大，日志收集问题将一直萦绕在我们耳边，前段时间我用六篇文章安利了使用fluentd及fluent-bit好处，具体可以参考如下链接：

• Kubernetes日志收集解决方案
• Kubernetes集群环境下fluentd日志收集方案介绍
• 日志收集工具fluentd安装配置及使用介绍
• 一文了解日志收集工具fluent-bit
• 轻量级日志收集转发 | fluent-bit指令详解（一）
• 轻量级日志收集转发 | fluent-bit配置详解（二）

下面我就直接介绍fluent-bit整体收集架构和插件，如果对整体有不理解的部分，可以参考如上链接。

2、外部输入插件

fluent-bit可以收集事件、日志、度量指标等数据，它可以通过一个网络接口，无线电硬件或一些内置的度量。以下是各个版本支持数据收集表格：

3、外部输出插件

以下是fluent-bit可用的输出插件，具体见表格：

4、使用示例

4.1、 tail插件（输入）

输入插件tail允许监视一个或多个文本文件。它具有类似于tail -f shell命令的行为。该插件读取路径模式中的每个匹配文件，并为找到的每个新行（用\ n分隔）生成一条新记录。（可选）可以使用数据库文件，以便插件可以具有跟踪文件的历史记录和偏移状态，这对于重新启动服务时恢复状态非常有用。

配置参数：

该插件支持以下参数配置，如下表所示：

注意，如果未指定数据库参数db，则默认情况下，插件将从头开始读取每个目标文件。

Docker日志收集模式配置参数：

由于行长度限制，通过docker模式收集docker守护进程产生json日志，如果需要使用此模式。需要解析器配置tail插件，然后启用docker模式。

入门：

为了尾随文本或日志文件，您可以从命令行或通过配置文件运行插件。

命令行：

$ fluent-bit -i tail -p path=/var/log/syslog -o stdout

配置：

[INPUT]
    Name        tail
    Path        /var/log/syslog


[OUTPUT]
    Name   stdout
    Match  *

文件获取状态保持：

该tail插件功能输入保存跟踪文件的状态，强烈建议您启用此。为此，可以使用db属性，例如：

 fluent-bit -i tail -p path=/var/log/syslog -p db=/path/to/logs.db -o stdout

4.2、file文件介绍（输出）

配置参数：

该插件支持以下配置参数：

格式：

输出时间，标签和json记录，如下所示：

tag: [time, {"key1":"value1", "key2":"value2", "key3":"value3"}]

将记录输出为JSON（没有其他和属性），如下所示：

{"key1":"value1", "key2":"value2", "key3":"value3"}

将记录输出为CSV，CSV支持其他配置参数，如下所示：

time[delimiter]"value1"[delimiter]"value2"[delimiter]"value3"

模板格式

使用自定义格式模板输出记录配置参数如下：

例如，如果您按如下模板所示设置配置：

[INPUT]
  Name mem


[OUTPUT]
  Name file
  Format template
  Template {time} used={Mem.used} free={Mem.free} total={Mem.total}

输出：

1564462620.000254 used=1045448 free=31760160 total=32805608

入门介绍：

您可以从命令行或通过配置文件运行插件；

命令行模式收集cpu运行指标信息：

fluent-bit -i cpu -o file -p path=output.txt

配置文件运行：

[INPUT]
    Name cpu
    Tag  cpu


[OUTPUT]
    Name file
    Match *
    Path output.txt

5、总结

本文主要介绍了各个版本插件支持进行列举以及对部分插件的使用做了简单介绍，如果对上述运行有疑问的地方，可以参考前几节的介绍；下文我会继续分享fluent-bit结合docker和Kubernetes使用介绍，敬请期待。关注、公众号后台回复【pdf】可获得详细文档。

原创不易，随手关注或者”在看“，诚挚感谢！

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删