icon-pdf下载 PDFlhs-panel
lhs-panel点击此处展开

导入日志文件

EventLog Analyzer 可帮助您收集并分析来自服务器、网络设备和 application 等不同来源的日志。该解决方案提供可操作的情报，帮助安全团队及时掌握组织内的安全威胁。

该解决方案为您提供导入日志文件的功能。支持的日志格式包括 Windows 和 syslog 设备格式、application 日志格式以及归档文件日志格式。

Windows 和 syslog 设备的日志格式

  • Windows 事件日志（EVTX 格式）
  • IBM AS/400
  • Linux/Unix Syslog 格式 (RFC 5424 和 2131)

注意：要导入.evt 日志（Windows XP 和 Windows 2003），您需要在您的 EventLog Analyzer 安装中使用命令 wevtutil export-log application.evt application.evtx /lf 将 .evt 转换为 .evtx。

应用程序日志格式

  • Apache 访问日志
  • Linux DHCP 日志
  • Windows DHCP 日志
  • IBM Maximo 日志
  • IIS W3C FTP 日志
  • IIS W3C Web Server 日志
  • MSSQL Server 日志
  • MySQL 日志
  • PostgreSQL Logs
  • ADAudit Plus 日志
  • ADManager Plus 日志
  • ADSelfService Plus 日志
  • ITOM 解决方案日志
  • ServiceDesk Plus 日志

归档文件日志格式

  • Cisco 归档文件
  • Syslog 归档文件
  • Windows 归档文件

导入日志文件的步骤

使用以下任一菜单选项，导航到导入配置页面：

  • +添加 >导入日志
  • 设置 > 配置 > 导入日志数据
  • 首页 > 应用程序 > 已导入的日志
  • 首页 > 应用 > 操作 > +导入

从不同位置导入日志文件

EventLog Analyzer 允许您导入：

日志文件导入方式

从本地路径导入日志文件

使用此选项，您可以从任何能够访问 EventLog Analyzer 的设备导入日志文件。

注意：日志导入无法安排按固定的时间间隔运行。

  1. 从 文件位置 选项中，选择 本地路径。
  2. 单击 浏览 以从您的本地设备选择所需的文件。或者，您可以输入设备名称或设备的 IP 地址，或指定完整的 UNC 路径，然后单击 打开。所需文件已选中。
  3. 如果您知道日志文件的 日志格式，请从给定的下拉列表中选择该日志格式。如果您不知道日志格式，请选择 自动识别。

    注意： 您可以通过单击所附日志文件的 查看图标，并在浏览器中启用弹出窗口选项，来预览所选日志文件并提取所需字段。

  4. 单击+ 按钮并单击OK，以选择日志文件关联的 设备。您也可以输入设备名称，或从弹出的窗口中选择该设备。
  5. 如果您希望将导入的日志存储 2 天，请启用短期存储日志选项。默认情况下，日志的存储期限为 32 天。
  6. 点击 导入。
日志文件导入 - 本地路径

从共享路径或 UNC 路径导入日志文件

通过通用命名约定 (UNC) 路径导入日志文件，使您能够访问在 局域网 (LAN)上的共享网络文件夹。

  1. 从 文件位置 选项中，选择 共享路径。
  2. 输入要从中上传日志文件的 设备名称或 IP 地址。或者，您可以单击 浏览 以选择 Windows 设备。
  3. 从设备中选择所需的文件并点击“确定”。已选择所需的文件。
  4. 如果您知道日志文件的 日志格式，请从给定的下拉列表中选择该日志格式。如果您不知道日志格式，请选择 自动识别。

    注意： 您可以通过单击所附日志文件的 查看图标，并在浏览器中启用弹出窗口选项，来预览所选日志文件并提取所需字段。

  5. 点击+ 按钮并点击OK以选择与日志文件关联的 设备。 您也可以输入设备名称，或从弹出窗口中选择设备。
  6. 如果您希望将导入的日志存储 2 天，请启用短期存储日志选项。默认情况下，日志的存储期限为 32 天。
  7. 如果您想要定期自动导入日志文件，请启用 计划日志导入选项。
  8. 通过计划下拉菜单，您可以 自定义时间间隔 用于每次日志文件导入之间。
  9. 此外，你可以构建文件名模式 用于导入的日志文件，并使用提供的时间格式选项。在指定时间存储的文件名将根据该文件名模式进行更新。
  10. 点击 导入。
日志文件导入-共享路径

从远程路径导入日志文件

在 EventLog Analyzer 中从远程路径导入日志文件需要身份验证。此身份验证可通过两种方式实现：

  1. 用户名和密码
  2. SSH 私钥文件共享（仅适用于 SFTP 协议）

身份验证类型：密码

  1. 在“浏览文件”选项中，选择“远程路径”。
  2. 输入您希望从中导入日志文件的设备名称。或者，您可以点击 + 图标以浏览并选择 Windows 设备。
  3. 选择所需的协议（以太网、FTP 和 SFTP），并输入端口号。
  4. 从设备中选择所需文件，然后点击 确定。
  5. 提供远程设备的用户名，并将身份验证类型选择为密码。
  6. 在下方的输入框中输入密码。
  7. 浏览并选择关联设备。
  8. 短期存储日志选项会将导入的日志数据在 EventLog Analyzer 中短期保存两天。如果不勾选该选项，日志将按照您配置的数据库保留策略进行存储。
  9. 您可以选择按特定的时间间隔安排日志导入。

身份验证类型：基于 SFTP 的、采用 SSH 私钥的文件共享

从远程路径导入日志文件
  1. 从列出的浏览文件选项中选择远程路径。
  2. 输入您希望从中导入日志文件的设备名称。或者，您可以点击 + 图标以浏览并选择 Windows 设备。
  3. 选择SFTP作为协议，并输入端口号。（默认端口为 22）
  4. 提供用户名，并选择 密钥文件 作为 身份验证类型。
    注意：EventLog Analyzer 仅支持 OpenSSH 密钥文件格式。
  5. 在设备上浏览并选择密钥文件。您可以参考此链接，了解如何使用 ssh-keygen（SSH 协议的标准组件）生成密钥文件。
  6. 如果密钥文件受口令保护，请勾选使用口令复选框，并在下方的字段中输入该口令。
  7. 浏览并选择关联设备。
  8. 短期存储日志选项会将导入的日志数据在 EventLog Analyzer 中短期保存两天。如果不勾选该选项，日志将按照您配置的数据库保留策略进行存储。
  9. 如果您希望以固定时间间隔自动导入日志文件，请启用计划日志导入选项。
  10. 使用计划下拉菜单，您可以自定义每次日志文件导入之间的时间间隔。
  11. 此外，您可以使用提供的时间格式选项，为导入的日志文件构建文件名模式。在指定时间存储的文件名将根据该文件名模式进行更新。
  12. 点击导入以保存配置。

从云存储导入日志文件

要从 AWS S3 存储桶导入日志，您需要先创建一个具有 S3 存储桶访问权限的 IAM 用户。您也可以按照此链接中给出的步骤，仅为用户授予对特定 S3 存储桶的访问权限。

要配置用于导入日志的 AWS S3 存储桶，

  • 在云选项卡中，点击显示的链接以配置 AWS 账户。
  • 输入 AWS 账户的显示名称、访问密钥和私密密钥，然后单击添加。
  • 添加 AWS 账户后，它将显示在云选项卡中的下拉列表中。
  • 从下拉列表中，选择 AWS 账户，然后选择将从中导入日志的 S3 存储桶。
  • 点击导入以启动日志导入。

为文件创建特定命名规范的步骤

  • 从您的application的日志文件夹或从您的application的配置中识别日志写入模式。
  • 在 Eventlog Analyzer 中，导航至 设置 → 导入日志 → + 导入日志 → 远程路径，并填写所需的详细信息。
  • 浏览文件并选择需要配置日志收集计划的日志文件。
  • 所选日志文件的命名应遵循某种模式（例如日期、时间，或根据您的需求的任何模式），后续由产品创建的文件将沿用该模式。
  • 选择日志文件后，选中计划日志导入和指定文件名模式复选框。
  • 点击 高级选项。每个被选中参与计划模式导入的文件都会各自有一个文本框。
  • 在文本框中输入文件名模式，以便与文件名匹配。

例如，设想一个按日期计划写入日志的application。我们将 2023 年 11 月 22 日生成的文件名记为 LOG_22_11_2023。此处前半部分 "LOG_" 保持不变，后半部分（即日期 "22_11_2023"）每天都会变化。请据此从下拉菜单中选择模式 "LOG_${DD}_${MM}_${YYYY}"。

下拉菜单将提供多个选项供您选择，如下方的 GIF 所示。

导入日志文件

MySQL 日志

EventLog Analyzer 仅支持 MySQL 的错误日志和通用日志。MySQL 登录失败会根据 MySQL 通用查询日志进行统计。

要在 MySQL 中启用日志记录，

  • 打开 Linux 下的 my.cnf 文件或 Windows 下的 my.ini 文件，并将以下条目添加到该文件中。
  • 对于 错误日志: log_error=<error-log-file-name>
  • 对于 通用日志:
    • >= v5.1.29:
      general_log_file=<通用日志文件名>
      general_log=1 (或) ON
    • < v5.1.29:
      log=<日志文件名>
  • 重新启动 MySQL 实例以使更改生效。
To import MySQL logs in EventLog Analyzer,
  • 您可以从本地路径、共享路径 或远程路径导入 MySQL 日志文件。
  • 要导入 MySQL 日志文件，您需要手动选择日志格式。选定正确的文件后，在已选文件部分的日志格式下拉列表中选择MySQL 日志。
  • 点击 导入 以启动日志导入过程。

PostgreSQL 日志

PostgreSQL 日志的格式由 postgresql.conf 文件中设置的 log_line_prefix 参数决定。

PostgreSQL 日志的默认格式为 '%m [%p] '，该格式会记录时间戳和进程 ID。

复制到剪贴板

log_line_prefix = '%m [%p] '

EventLog Analyzer 默认支持此格式。

在 EventLog Analyzer 中导入附加字段

如果用户希望添加额外的字段，则必须修改 postgresql.conf 文件中的 log_line_prefix 参数。

log_line_prefix 参数必须在 postgresql.conf 文件中遵循下面给出的格式（键值对）。

log_line_prefix 格式：

log_line_prefix = '时间戳=%m 或 %t 进程ID=%p application名称=%a 数据库名称=%d 带端口的连接来源=%r 连接来源=%h 会话ID=%c 事务ID=%x 用户名=%u 命令标签=%i SQL状态代码=%e 会话开始时间=%s '

log_line_prefix 参数键值
带毫秒的时间戳或不带毫秒的时间戳time_stamp%m 或 %t
进程 IDprocess_id%p
application 名称application_name%a
数据库名称database_name%d
远程主机名或 IP 地址，以及远程端口connection_from_with_port%r
远程主机名或 IP 地址connection_from%h
会话 IDsession_id%c
事务 IDtransaction_id%x
用户名user_name%u
命令标签：会话当前命令的类型command_tag%i
SQLSTATE 错误代码sql_state_code%e
进程启动时间戳session_start_time%s

SAP ERP 审计日志

要将 SAP ERP application 添加到监控中，必须启用审计日志。

要启用 SAP ERP 审计日志：

在位于 <SAP_installed path>\sys\profile 的 DEFAULT.PFL 文件中，添加

  • rsau/enable = 1
  • rsau/local/file = <日志位置>/audit_00

注意： 用户在导入时应具有读取此审计文件的权限。 

DHCP 日志

EventLog Analyzer 能够读取并生成有关 Windows 和 Linux 系统上 DHCP 服务器软件的报告。它提供多种报告，简化网络管理。

适用于 Windows：

注意：在 Windows 中共享 DHCP 日志位置（即 %windir%\System32\Dhcp）后，您可以自动使用此 UNC 路径，每天获取并将日志导入到 EventLog Analyzer。

要进行配置，请按以下步骤操作：

  1. 共享 DHCP 日志文件夹。
  2. 打开 EventLog Analyzer 并转到 设置 > 导入日志 > + 导入日志 > 共享\远程路径 > 浏览该文件，并从 日志格式 中选择 DHCP Windows 日志。
  3. 要了解如何从不同位置导入日志文件，请参阅此处。

适用于 Linux：

在 Linux 中，默认的 DHCP 日志位置是 "var/log/syslog" 或 "var/log/messages"（适用于较旧版本）。

如果上述文件中没有 DHCP 服务器日志，请按照以下步骤操作。要将 DHCP 服务器日志单独存储在一个独立文件中，管理员需要修改以下配置文件：

  • /etc/dhcp/dhcpd.conf- DHCP Server configuration file
  • /etc/rsyslog.conf- rsyslog configuration file
  1. 在 dhcpd.conf 文件中查找 "log-facility" 的值。
  2. 在 ryslog.conf 文件中查找与上一步确定的日志设施（log-facility）对应的日志文件路径。这就是 DHCP 服务器的日志文件路径。

要在 EventLog Analyzer 中配置 DHCP，请按照以下步骤操作：

  1. 共享 DHCP 日志文件夹。
  2. 打开 EventLog Analyzer 并转到“设置”选项卡 > 导入日志 > 共享\远程路径 > 浏览该文件。
  3. 要了解如何从不同位置导入日志文件，请参阅此处。

DB2 审计日志

Db2 数据库系统允许在实例级和数据库级进行审计。可使用 db2audit 工具来配置审计过程。该工具还可用于归档和提取实例级和数据库级的审计日志。可以按照以下六个步骤配置审计功能。

  1. 配置 db2audit 数据路径、归档路径和范围。
  2. 创建用于数据库审计的审计策略。
  3. 将审核策略分配给数据库。
  4. 归档活动日志。
  5. 正在提取已归档的日志。
  6. 将日志导入 EventLog Analyzer。

EventLog Analyzer 还支持诊断日志。单击 此处 以了解如何生成诊断日志报告。 

1. 配置 db2audit 数据路径、归档路径和范围

configure 参数会修改实例的 security 子目录中的 db2audit.cfg 配置文件。即使实例已停止，对该文件的所有更新仍会执行。当实例处于活动状态时所做的更新会动态影响 Db2 实例正在进行的审计。要了解对此配置文件可执行的所有操作，请参阅来源

  • 以管理员权限打开 DB2 命令行处理器。
  • 运行以下命令：
复制到剪贴板

db2audit configure datapath"C:\IBM\DB2\DataPath"archivepath"C:\IBM\DB2\ArchivePath"

注意：请将给定的路径分别替换为你选择的数据路径和归档路径。

  • 运行以下命令：
复制到剪贴板

db2audit configure scopeallstatusbotherror typenormal

注意：将给定的参数替换为你选择的参数。
  • 运行以下命令：
复制到剪贴板

db2audit start

Now the logs will be generated for the DB2 instance in the given data path.

2. 创建用于数据库审计的审计策略

  • 以管理员权限打开 DB2 命令行处理器。
  • 运行以下命令以连接到数据库：
复制到剪贴板

db2 connect toyour_database

注意: 将 your_database 替换为你选择的数据库名称。

  • 运行以下命令以为数据库创建审计策略：
复制到剪贴板

db2 create audit policypolicy_namecategoriesallstatusbotherror typeaudit

注意：将 policy_name 替换为你选择的策略名称。将给定的参数替换为你选择的命令参数。要了解允许的命令参数的更多信息，请参阅 来源。

  • 运行以下命令以提交：
复制到剪贴板

db2 commit

现已创建审计策略。

3. 将审计策略应用于数据库

  • 以管理员权限打开 DB2 命令行处理器。
  • 运行以下命令以将策略分配给数据库：
复制到剪贴板

db2 audit database using policypolicy_name

注意：将 policy_name 替换为你创建的审计策略的名称。

  • 运行以下命令以提交：
复制到剪贴板

db2 commit

现在，已创建的审计策略已分配给数据库。

4. 归档活动日志

您可以归档来自实例和数据库的活动日志。日志将归档到您在第一步中配置的归档路径。

  • 以管理员权限打开 DB2 命令行处理器。
  • 运行以下命令以归档活动数据库日志：
复制到剪贴板

db2audit archive databaseyour_database

注意：将 your_database 替换为数据库的名称。

  • 运行以下命令以归档活动实例日志：
复制到剪贴板

db2audit archive

Now the logs will be archived to a new file with a timestamp appended to the filename. An example of the filename is given below.
  • 实例日志文件: db2audit.instance.log.0.20060418235612
  • 数据库日志文件: db2audit.db.your_database.log.0.20060418235612

两个文件都必须提取为人类可读的格式，才能导入到 EventLog Analyzer 中。

5. 提取已归档的日志

  • 以管理员权限打开 DB2 命令行处理器。
  • 运行以下命令以解压已归档的实例日志：
复制到剪贴板

db2audit extract fileC:/IBM/DB2/instancelog.txtfrom files db2audit.instance.log.0.20060418235612

注意：将 instancelog 替换为您选择的文件名。将 db2audit.instance.log.0.20060418235612 替换为已归档实例日志的文件名。

  • 运行以下命令以提取已归档的数据库日志：
复制到剪贴板

db2audit extract fileC:/IBM/DB2/databaselog.txtfrom filesdb2audit.db.your_database.log.0.20060418235612

注意：将 databaselog 替换为你选择的文件名。将 db2audit.db.your_database.log.0.20060418235612 替换为归档数据库日志的文件名。

两个文件将被解压到指定的归档路径，并可导入到 EventLog Analyzer 中。

6. 将日志导入 EventLog Analyzer

现在您需要将提取的数据库和实例日志文件导入到 EventLog Analyzer 中。这里有一份关于如何在 EventLog Analyzer 中导入日志文件的全面指南。

诊断日志

EventLog Analyzer 还提供诊断日志报告。要生成诊断日志报告，请按照以下步骤操作。

  • 运行以下命令以查找诊断日志文件的位置。
复制到剪贴板

db2 get dbm cfg | findstr DIAGPATH

or
复制到剪贴板

db2 get dbm cfg | grep DIAGPATH

or
复制到剪贴板

db2 get dbm cfg

注意：与 当前成员解析的 DIAGPATH 对应的路径是诊断日志文件的路径。

导入故障排除提示

如果您无法导入日志文件，请确保以下事项：

  1. 所使用的凭据有效，并具有必要的权限。
  2. 设备可达。
  3. 指定的文件存在且可访问。
  4. 从下拉菜单中选择的日志文件格式与所选文件的日志格式相匹配。

从日志中提取字段

  • 前往 导入配置 页面。
  • 从本地、共享或远程路径中选择所需的文件。
  • 在已选文件下，点击所需文件旁边的眼睛图标。
  • 点击日志消息右上角的工具图标即可创建自定义字段。按照此页面中的步骤使用自定义日志模式。
  • 您可以在左侧窗格看到已创建的自定义字段。
  • 最后，单击保存。

导入的日志文件列表

您可以在您的 EventLog Analyzer 部署中查看所有已导入日志文件的列表。当选择导入日志选项时，会显示此默认页面。 此页面提供已导入日志文件的详细信息，包括文件名、设备、监控间隔、导入日志文件所用时间、日志格式以及日志文件大小。

导入的日志文件列表

Apache 概览仪表板：通过修改日志格式来解析附加字段

组合日志格式是 Apache 日志中常用的日志格式之一。

组合日志格式为：

复制到剪贴板

%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"

在导入组合日志格式的日志文件时，日志文件不会包含响应时间和接收字节数这两个字段的值。

只有在解析出响应时间和接收的字节数字段后，Apache 概览仪表板中的以下小组件才能准确显示其数值。

  1. 传输的字节数
  2. 前 20 个最慢的 URL
  3. 网站活动趋势
  4. 十大最慢的 Server

为了解析这些附加字段，必须修改日志格式。将日志配置为使用参数 "%{ms}T" 和 "%I" 后，即可获取这些附加字段的值。

默认情况下，Eventlog Analyzer 可以解析修改后的日志格式。

包含响应时间和接收字节数参数的修改后日志格式为：

复制到剪贴板

%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I

%{ms}T - 处理该请求所用时间（毫秒） %I - 接收的字节数（包括头部）

注意: 需要启用 modlog_io https://httpd.apache.org/docs/2.4/mod/mod_logio.html

修改后的日志格式在常用的组合日志格式基础上新增了 2 个指令。这些指令位于格式的末尾，因此，组合日志格式将继续按照以前版本的方式进行解析。

更改 Apache 日志格式的步骤

注意：默认情况下，Debian/Ubuntu/Linux Mint 的配置文件位于 /etc/apache2/，而 Red Hat/Fedora/CentOS 的配置文件位于 /etc/httpd/conf

  1. 定义一个新的日志格式并为其分配一个标签。
    复制到剪贴板

    LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I" modified

  2. 可以使用该标签在 CustomLog 指令中引用新的格式字符串。
    复制到剪贴板

    CustomLog logs/access.log modified

  3. 新格式将在重启 WebServer 时生效。

    在导入日志文件后，更新后的 Apache 概览仪表板已在下方显示：

    本页内容

    版权 © 2020，ZOHO Corp。保留所有权利。

    获取下载链接