企业集中式SIEM: Log360 可扩展架构（一）

引言

本指南详细介绍了 ManageEngine Log360 的可扩展架构，全面概述了其核心组件、架构设计及数据处理流程，助力 Log360 在大规模场景下提供性能、安全性和弹性保障。

介绍

  • 企业面临的可扩展性挑战：概述大规模管理安全数据时遇到的核心难题
  • 可扩展架构的核心原则：拆解实现可扩展性、安全性和高可用性的关键原则
  • Log360 的架构组件：深入解析日志处理器集群及基于角色的功能分工
  • 数据流处理流程：结合部署场景，说明日志的采集、处理与存储全流程

大规模环境下的安全管理

如今，企业面临着严峻的运营挑战。这不仅源于日志数据的海量增长，还来自于基础设施复杂度的提升、地理分布式环境的普及，以及对高弹性、全天候安全运营的需求。

具体挑战包括：

  • 数据指数级增长：日志来源已从本地服务器扩展至云基础设施、SaaS 应用和远程终端，形成不可预测的海量数据流，单服务器解决方案难以承载
  • 性能显著下降：随着日志量增加，单服务器集中式平台在日志解析、关联分析和检索环节易出现性能瓶颈，可能导致威胁漏检和事件响应延迟
  • 分布式环境复杂：从多个分支机构、公有云 VPC 和远程办公人员处收集日志，带来巨大的安全和运营开销；如何在不暴露核心网络的前提下安全集中数据，成为主要难题
  • 业务连续性缺失：单服务器系统一旦故障，将导致安全可视性完全丧失，使企业对威胁毫无察觉

为应对这些挑战，Log360 采用多层可扩展架构，将日志采集、处理、检索、关联分析等 SIEM 功能拆分为独立且互联的层级。该设计允许各功能模块独立扩展、灵活适配和便捷管理。

Log360 可扩展架构的核心原则

Log360 之所以能在企业级规模下稳定运行，源于一组协同工作的核心架构原则。这些原则定义了 Log360 如何保障性能、安全性和可靠性。

核心原则包括：

  • 水平扩展
  • 工作负载分发
  • 多层架构
  • 基于日志队列系统的可靠性
  • 高可用性
  • 安全性

以下表格展示了这些核心原则与 Log360 对应实现组件的映射关系：

标题

可扩展架构详解

在本节中，我们将探讨使 Log360 能够在不同环境中以可扩展性和弹性处理大量日志数据的高级架构。它旨在高效收集、处理和分析日志。

标题

上图展示了一个面向拥有两个远程站点和一个中央处理中心的企业的可扩展部署方案。远程站点的日志通过访问网关集群安全采集，随后转发至日志处理器集群进行集中分析和存储。各组件详细说明如下：

组件拆解

  1. 远程站点：远程站点部署的代理程序负责日志解析、过滤、压缩，并通过 HTTPS 协议安全转发至总部（HQ）处理器
  2. 访问网关集群：部署在 DMZ 区域，作为反向代理，将远程代理的日志请求安全路由至内部处理器，避免内部节点直接暴露在外部网络中
  3. 中央日志处理器：中央位置的日志处理器承担所有核心 SIEM 功能，包括日志采集、威胁情报 enrichment、队列缓存、索引建立、检索、关联分析、告警触发和日志转发；可通过角色分发实现冗余备份和负载均衡
  4. 主处理器：处理器集群中指定一台作为主节点，负责管理功能，如配置其他处理器、维护设备设置等
  5. JGroups 通信：处理器之间通过特定端口进行通信，实现节点间协调和故障转移支持，保障高可用性
  6. 存储系统：
    ￮Elasticsearch（热存储）：存储已索引的日志，支持快速检索
    ￮归档存储（冷存储）：根据留存策略长期保存日志
    ￮PostgreSQL 元数据：存储配置数据（如设备设置、告警规则、用户偏好等）
    ￮共享文件系统：支持处理器间协调、Elasticsearch 归档和策略同步

数据流说明

  1. 站点 1 和站点 2 的远程代理将日志上传至中央日志处理器集群
  2. 访问网关集群将日志路由至对应处理器
  3. 处理器收集日志、丰富日志信息（如补充威胁情报）、将日志临时存储在队列中、进行关联分析，并触发告警
  4. 同时，日志被索引至 Elasticsearch 以支持快速检索，并根据留存策略归档至共享存储

通过以上高层架构概述，接下来我们将在后续章节中详细拆解每个组件，深入理解它们如何协同工作，以实现可扩展、可靠的日志管理和安全分析。

常见问题（FAQs）

  1. Log360 是什么？

    Log360 是一款集成的日志管理与 SIEM (安全信息与事件管理) 解决方案，由卓豪 (ManageEngine) 开发，提供一站式 IT 安全监控和合规性管理。

  2. Log360 如何支持合规性管理？

    Log360 通过以下方式帮助满足法规合规要求： 自动收集并保存符合 SOX、GDPR、PCI-DSS、HIPAA 等法规要求的日志 提供预配置的合规报表模板 支持日志的长期保留和加密归档 (默认每 7 天自动归档) 帮助组织证明其 IT 系统的安全性和数据处理的合规性 支持生成审计证据，应对监管机构检查

  3. Log360 是否支持云环境？

    是的，Log360 提供全面的云日志管理支持： Log360 Cloud版本专为云环境设计，支持 AWS、Azure 等主流云平台 可收集并分析云基础设施 (EC2、S3、VM、数据库等) 的日志 支持混合环境 (本地 + 云) 的统一日志管理 提供云特定的监控报表，如 AWS 的 VPC 流量分析、Azure 的资源变更审计 支持云日志的集中存储、分析和告警