Beats 入门实战(2)-

本文主要介绍 Filebeat 的相关概念及基本使用，相关的环境及软件信息如下：CentOS 7.9、FileBeat 8.2.2、Logstash 8.2.2、Elasticsearch 8.2.2。

1、Filebeat 简介

1.1、Filebeat 总览

Filebeat 是用于转发和集中日志数据的轻量级传送程序。 作为服务器上的代理安装，Filebeat 监视你指定的日志文件或位置，收集日志事件，并将它们转发到 Elasticsearch 或 Logstash 以进行索引。

Filebeat 具有如下的一些特性：

• 正确处理日志旋转：针对每隔一个时间段生产一个新的日志的案例，Filebeat 可以帮我们正确地处理新生产的日志，并重新启动对新生成日志的处理
• 背压敏感：如果日志生成的速度过快，从而导致 Filebeat 生产的速度超过 Elasticsearch 处理的速度，那么 Filebeat 可以自动调节处理的速度，以达到 Elasticsearch 可以处理的范围内
• “至少一次”保证：每个日志生成的事件至少被处理一次
• 结构化日志：可以处理结构化的日志数据数据
• 多行事件：如果一个日志有多行信息，也可以被正确处理，比如错误信息往往是多行数据
• 条件过滤：可以有条件地过滤一些事件

Filebeat 的工作方式如下：启动 Filebeat 时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。 对于 Filebeat 所找到的每个日志，Filebeat 都会启动收集器（havester）。 每个收集器都读取一个日志以获取新内容，并将新日志数据发送到 libbeat。libbeat 会汇总事件，并将汇总的数据发送到为 Filebeat 配置的输出。

从上面有可以看出来在 spooler 里有一些缓存，这个可以用于重新发送以确保至少一次的事件消费，同时也可以用于背压敏感。一旦 Filebeat 生成的事件的速度超过 Elasticsearch 能够处理的极限，这个缓存可以用于存储一些事件。每个 Filebeat 可以配置多个 input，并且每个 input 可以配置来采集一个或多个文件路径的文件。 就像上面的图显示的那样，Filebeat 支持多种输入方式。Filbeat 支持如下的一些输出：

• Elasticsearch
• Logstash
• Kafka
• Redis
• File
• Console
• Cloud

1.2、Filebeat 模块

一个 Filebeat 模块通常由如下的部分组成：

Filebeat 模块简化了常见日志格式的收集，解析和可视化。文件集包含以下内容：

• Filebeat 输入配置，其中包含在其中查找日志文件的默认路径。 这些默认路径取决于操作系统。 Filebeat 配置还负责在需要时将多行事件缝合在一起。
• Elasticsearch Ingest Node 管道定义，用于解析日志行。
• 字段定义，用于为每个字段配置具有正确的 Elasticsearch 类型，它们还包含每个字段的简短说明。
• 示例 Kibana 仪表板（如果有）可用于可视化日志文件。

Filebeat 会根据你的环境自动调整这些配置，并将它们加载到相应的 Elastic Stack 组件中。

一个典型的模块（例如，对于 Nginx 日志）由一个或多个文件集（对于 Nginx，访问和错误日志）组成，比如，Nginx 模块解析 NGINX HTTP 服务器创建的访问和错误日志。它在幕后执行如下的一些任务：

• 设置日志文件的默认路径（你可以更改）
• 确保每个多行日志事件都作为单个事件发送
• 使用 ingest node 来解析和处理日志行
• 将数据塑造成适合在 Kibana 中进行可视化的结构
• 部署仪表板以可视化日志数据

 针对其它的 Beats 模块来说，基本和 Filebeat 一样。目前针对 Elasticsearch 所提供的模块来说，有非常多的模块可以供使用：

 关于 Filbeat 的模块信息，可查看官网文档：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html。

2、Filebeat 安装

根据环境下载对应的安装包：https://www.elastic.co/cn/downloads/beats/filebeat，这里选择 Linux x86_64 版本；下载完成后在服务器上解压即可：

tar zxvf filebeat-8.2.2-linux-x86_64.tar.gz