什么是 syslog-ng？
最后更新于：本页内容
Syslog-ng：概述
Syslog-ng，也称为 syslog-new generation，是一个强大且开源的日志工具。它作为一个灵活且功能强大的守护进程，收集、解析、转换并转发来自各种 sources 的日志消息到多个目标。它以超越传统 syslog tools 的功能著称，例如支持 TCP、TLS 加密和基于内容的过滤器。
syslog-ng 的演变
系统日志的历史始于基础的 syslog 协议和 syslogd 守护进程。传统的 syslogd 主要使用 UDP 进行日志传输，这带来了日志消息在传输过程中丢失的风险。此外，其复杂且僵硬的配置限制了消息处理能力。
作为新一代守护进程的 syslog-ng 建立在 syslogd 框架之上，重点增强了可靠的日志传输。通过引入 TCP 和增强的过滤功能，彻底改变了 syslog 收集方式。syslog-ng 包含高级的基于内容的过滤、实时日志关联以及对多种 syslog formats（如 JSON 和 Journald）的支持。它还具备登录数据库的能力，确保高度的可移植性。
syslog-ng 的同时代产品之一是 rsyslog，一个开源的高性能日志守护进程。它支持独特的可靠事件日志协议（RELP），以及 TCP/TLS，实现高度可靠的日志转发且无数据丢失。它还以极速、模块化架构以及强大的过滤和路由能力闻名。
syslog-ng 的重要性
syslog-ng 的运行效率源于其高度模块化的架构和先进的消息处理管道。
可靠传输： 与仅支持 UDP 的原始 syslogd 不同，syslog-ng 引入了 TCP，实现了可靠的面向连接的日志传输，确保无丢失传输。
增强安全性： Syslog-ng 集成了 TLS/SSL 加密，支持在不受信网络中安全传输敏感日志数据至中央日志服务器。
高级日志解析： Syslog-ng 不仅能收集日志，还能主动处理日志。它支持日志解析，将非结构化日志消息拆分为结构化的名称-值对，这对数据规范化至关重要。
Syslogd 与 syslog-ng 与 rsyslog 的比较
下表基于一些重要标准区分了 syslogd、syslog-ng 和 rsyslog。
| 标准 | Syslogd | Syslog-ng | Rsyslog |
|---|---|---|---|
| 重点 | 简单且基础的日志记录 | 具有高级路由和解析功能的模块化日志记录 | 具有大量输入和输出模块，支持多样的来源和目标的模块化日志记录 |
| 日志传输 | 主要通过 UDP | 通过 UDP 和 TCP/TLS | 通过 UDP、TCP、TLS 以及独特的 RELP 协议 |
| 传输 | 不可靠，存在数据丢失风险 | 通过 TCP 和 TLS 支持实现可靠传输 | 通过 RELP 和 TCP/TLS 保证可靠性 |
| 配置 | 简单、基于行且僵硬 | 基于源、过滤器、目标和日志块的面向对象 | 使用强大的 RainerScript，一种结构化且多功能的配置语言 |
| 日志解析 | 无原生支持 | 高度灵活的解析以获取名称-值对 | 强大且结构化的日志功能，配备广泛的解析模块 |
| 架构 | 单线程 | 多线程且模块化 | 多线程且模块化，支持海量数据量 |
| 可移植性 | 有限（标准 Unix） | 高度可移植（Linux、BSDs、AIX、Solaris） | 高度可移植，且通常是主要 Linux 发行版（RHEL，Ubuntu，Debian）上的默认日志系统 |
syslog-ng 的工作原理
syslog-ng 的操作基于结构化的模块化流水线，按定义的顺序处理日志消息。
第 1 步：源头消息摄取
该过程始于 syslog-ng 从配置的源读取日志消息。源驱动程序是负责读取特定消息类型的模块。常见驱动包括：
system(): 用于读取本地操作系统日志。
network(): 用于通过 UDP/TCP 接收远程消息。
第 2 步：解析与分类
一旦从源接收到日志数据，消息进入处理流水线。消息被发送到解析器，解析器根据时间戳、主机名、设施、严重性和消息正文对日志消息进行分段。对于复杂的非结构化日志消息，先进的解析器提取关键字段并将消息转换为结构化格式。
第 3 步：过滤与重写
在转发之前，消息会根据配置的过滤器和规则进行检查。过滤器是基于设施、严重性、程序、主机名或消息正文内容的逻辑表达式，用于确定消息是否与特定日志路径相关。
过滤后，如有必要，可以使用重写规则选项修改消息。该选项允许添加标签、清理数据或更改主机名字段，以确保与目标系统的更好集成。
第 4 步：路由
路由过程始于日志语句，它作为定义整个日志路径的连接器。在应用过滤器和必要规则后，将源连接到目标。单条消息可以通过多个独立的日志路径路由。例如，消息可以路由到加密文件，并通过网络转发到 SIEM 系统，实现灵活路由。
第 5 步：目标处的消息输出
最终处理后的消息被发送到配置的目标驱动程序，这些驱动程序基本上是处理输出消息的模块。常见的目标驱动包括：
file(): 用于写入本地文件。
network(): 用于将日志转发到远程日志服务器。
sql(): 用于直接存储日志到 MySQL 和 PostgreSQL 等数据库。
syslog-ng 的优势
Syslog-ng 相较传统日志方法提供显著优势，使其成为复杂网络环境中 日志管理 的首选。
优化的性能与可扩展性
Syslog-ng 采用多线程架构设计，能够同时高效处理大量日志数据。这避免了瓶颈，并确保日志系统可以水平扩展以适应 IT 基础设施的增长。
保证日志传递
通过支持 TCP/TLS 和实现磁盘缓冲，守护进程确保日志消息安全传递。如果目标暂时不可用，消息会被本地存储并稍后转发，防止关键数据丢失。
增强的安全性和合规性
使用 TLS 加密保护传输中的日志消息，保障敏感数据安全。集中且防篡改的日志记录是许多合规标准（如 PCI DSS 和 HIPAA）的基本要求，syslog-ng 通过提供单一可审计的日志库满足此需求。
数据规范化与丰富
其先进的解析和重写功能允许将来自不同供应商和应用程序的日志数据规范化为一致的结构化格式。此数据丰富使日志更有价值且更易于分析。
与大数据生态系统的灵活集成
Syslog-ng 包含多种目标驱动，支持与现代大数据存储和消息队列（如 Elastic Stack、Splunk 和 Kafka）直接集成。此功能使其成为先进 SIEM 系统的高效日志传输管道。
Syslog-ng 与 ManageEngine EventLog Analyzer
虽然 syslog-ng 可作为完整的 syslog 服务器运行，但在大型企业网络中，它通常作为安全可靠的数据管道，将关键 syslog 数据传输到安全监控和分析工具，如 ManageEngine EventLog Analyzer。
在此类企业环境中，syslog-ng 扮演日志转发器的角色，收集、过滤并传输来自各种 syslog 源的日志。EventLog Analyzer 则作为 syslog 服务器，对数据进行索引和分析，用于威胁检测、调查和响应，将原始 syslog 数据转化为集中平台中的安全情报。
这种现代日志基础设施使企业能够利用安全日志传输器 syslog-ng 与复杂日志管理工具 EventLog Analyzer 的强大协同作用。syslog-ng 负责可靠传递，EventLog Analyzer 则提供：
- 关联： 连接跨源相关事件，揭示攻击模式。
- 威胁检测： 应用超过 700 条映射到 MITRE ATT&CK 框架的预构建规则。
- 合规报告： 自动生成 PCI DSS、HIPAA、SOX 等的审计报告。
- 取证搜索： 在几秒钟内查询数月的索引数据。
该架构解决了职责分离问题，syslog-ng 确保日志传输不中断，EventLog Analyzer 确保威胁不会被噪声掩盖。
探索 EventLog Analyzer 全面的 syslog 功能和强大的日志管理特性如何强化您企业的安全态势。
常见问题解答
Syslog-ng 可用作集中式 syslog 服务器，收集、处理并存储来自各种网络设备和应用程序的日志消息。但它也可以作为 syslog 转发器或本地系统日志守护进程，将日志转发到 syslog 服务器。
通过编辑 syslog 配置文件来配置 syslog-ng，以定义源、目标和过滤器。
syslog-ng 和 rsyslog 之间的主要区别在于它们配置语法的复杂性。Syslog-ng 使用结构化的面向对象语法，采用多个通过 log 语句连接的块，而 rsyslog 使用更强大且现代的语法 RainerScript，这是一种传统语法与现代块的复杂组合。相比之下，syslog-ng 的结构被认为更简单且更高效于路由。
