导入日志文件

    最后更新于：

    EventLog Analyzer可帮助您收集并分析来自服务器、网络设备及应用程序等不同来源的日志。该解决方案提供可操作的智能分析，助力安全团队及时掌握组织内的安全威胁动态

    。 本解决方案支持导入日志文件，兼容日志格式包括Windows与syslog设备日志格式、应用程序日志格式及归档文件日志格式。

    Windows与syslog设备日志格式

    • Windows 事件日志（EVTX格式）
    • IBM AS/400
    • Linux/Unix Syslog格式（RFC 5424和2131）

    注意：导入.evt日志（ Windows XP和Windows 2003）时，需在EventLog Analyzer安装目录中使用命令`wevtutil export-log application.evt application.evtx /lf

    `

    将.evt转换为.evtx格式。

    应用程序日志格式

    • Apache访问日志
    • DHCP Linux 日志
    • DHCP Windows 日志
    • IBM Maximo 日志
    • IIS W3C FTP日志
    • IIS W3C Web 服务器日志
    • MSSQL 服务器日志
    • MySQL 日志
    • PostgreSQL 日志
    • ADAudit Plus 日志
    • ADManager Plus 日志
    • ADSelfService Plus 日志
    • ITOM 解决方案日志
    • ServiceDesk Plus 日志

    归档文件日志格式

    • 思科归档文件
    • Syslog归档文件
    • Windows归档文件

    导入日志文件的步骤

    通过以下任一菜单选项导航至导入配置页面：

    • +添加 >导入日志
    • 设置 > 配置 > 导入日志数据
    • 主页 > 应用程序 > 已导入日志
    • 主页 > 应用程序 > 操作 > +导入

    从不同位置导入日志文件

    EventLog Analyzer支持导入：

    log-file-import-ways

    从本地路径导入日志文件

    通过此选项，可从任何能访问事件日志分析器的设备导入日志文件。

    注意：日志导入 无法设置为定期定时运行。

    1. 在文件位置选项中 选择本地路径。
    2. 点击"浏览"从 本地设备选择 所需文件。 您也可输入设备名称（或）IP地址（或）完整UNC路径，然后点击"打开"。所需文件即被选中。
    3. 若知晓日志文件格式，请从下拉菜单中选择对应格式；若不确定格式，请选择"自动识别"。
      注意：点击附件日志文件的"查看"图标并启用浏览器弹出窗口选项，可预览所选日志文件并提取所需字段。
    4. 点击+按钮 并选择设备关联日志文件。您也可直接输入设备名称或从弹出列表中选择设备。
    5. 若需将导入日志短期存储2天，请启用"短期存储日志"选项。默认日志存储周期为32天。
    6. 点击导入。
    log-file-import-ways

    从共享路径或UNC路径导入日志文件

    通过通用命名约定(UNC)路径导入日志文件，可访问局域网(LAN)中的共享网络文件夹。

    1. 在文件位置选项中 选择共享路径。
    2. 输入需上传日志文件的设备名称或IP地址。也可点击“浏览”选择Windows设备。
    3. 从设备中选择目标文件并点击确定。所需文件已选定。
    4. 若知晓日志文件格式，请从下拉菜单中选择对应格式；若不确定格式，请选择"自动识别"。
      注意：点击附件日志文件的"查看"图标并启用浏览器弹出窗口选项，即可预览所选日志文件并提取所需字段。
    5. 点击+按钮 并选择设备关联日志文件。您也可直接输入设备名称或从弹出窗口中选择设备。
    6. 若需将导入日志短期存储2天，请启用"短期存储日志"选项。默认日志存储周期为32天。
    7. 若需定期自动导入日志文件，请启用“计划导入日志”选项。
    8. 通过“计划”下拉菜单可自定义每次日志文件导入的时间间隔。
    9. 此外，您可利用提供的日期时间格式选项，为 导入日志文件构建命名规则 。系统将根据该命名规则，在指定时间点更新存储文件的名称。
    10. 点击导入。
    log-file-import-ways

    从远程路径导入日志文件

    在EventLog Analyzer中从远程路径导入日志文件需要身份验证。该验证可通过两种方式实现：

    1. 用户名和密码
    2. SSH私钥文件共享（仅限SFTP协议）

    认证类型：密码

    1. 通过“浏览文件”选项选择远程路径。
    2. 输入要导入日志文件的设备名称。您也可以点击+图标浏览并选择Windows设备。
    3. 选择所需协议（以太网、FTP或SFTP）并输入端口号。
    4. 从设备中选择目标文件并点击确定。
    5. 输入远程设备的用户名，并将身份验证类型设为密码。
    6. 在下方的字段中输入密码。
    7. 浏览并选择关联设备。
    8. 勾选"短期存储日志"选项将使导入的日志数据在EventLog Analyzer中短期存储两天。若未勾选该选项，日志将按您的数据库保留配置进行存储。
    9. 您可设置按特定时间间隔自动导入日志。

    认证类型：基于SFTP的SSH私钥文件共享

    log-file-import-ways
    1. 从列出的"浏览文件"选项中选择"远程路径"。
    2. 输入您希望导入日志文件的设备名称。或者，您可以点击+图标浏览并选择Windows设备。
    3. 选择SFTP作为协议并输入端口号（默认端口值为 22）
    4. 输入用户名并选择密钥文件作为身份验证类型。
      注意
      ：
      EventLog Analyzer仅支持OpenSSH密钥文件格式。
    5. 浏览并从设备中选择密钥文件。您可参考此链接学习如何使用Secure Shell协议的标准组件ssh-keygen生成密钥文件。
    6. 若密钥文件设置了密码短语保护，请勾选"使用密码短语"复选框并在下方字段输入短语。
    7. 浏览并选择关联设备。
    8. 选择"短期存储日志"选项将使导入的日志数据在EventLog Analyzer中短期存储两天。若未勾选该选项，日志将按您的数据库保留配置进行存储。
    9. 若需定期自动导入日志文件，请启用“计划日志导入”选项。
    10. 通过“计划”下拉菜单可自定义每次日志文件导入的时间间隔。
    11. 此外，您可利用提供的日期时间格式选项为导入日志文件构建文件名模式。系统将根据该模式更新指定时间点存储的文件名称。
    12. 点击导入按钮保存配置。

    从云存储导入日志文件

    要从AWS S3存储桶导入日志，需先创建具有S3存储桶访问权限的IAM用户。您也可通过此链接中的步骤仅授予用户对特定S3存储桶的访问权限。

    配置AWS S3存储桶用于日志导入时，

    • 在"云"选项卡中，点击显示的链接配置AWS账户。
    log-file-import-ways
    • 输入AWS账户的显示名称、访问密钥和密钥密钥，然后点击添加。
    log-file-import-ways
    • 添加完成后，该AWS账户将显示在"云"选项卡的下拉列表中。
    • 从下拉列表中选择AWS账户，然后选择要导入日志的S3存储桶。
    • 点击导入以启动日志导入流程。

    创建特定文件命名规则的步骤

    • 从应用程序日志文件夹或配置中确定日志写入模式。
    • 在Eventlog Analyzer中，依次导航至设置→导入日志→+导入日志→远程路径，并填写所需信息。
    • 浏览文件并选择需要配置日志收集计划的日志文件。
    • 所选日志文件的命名应遵循特定模式（日期、时间或根据需求定制的任意模式），该模式将被产品后续创建的文件所继承。
    • 选定日志文件后，勾选"计划导入日志"及"指定文件名模式"选项。
    • 点击“高级选项”。每个被选中用于计划导入的文件都会对应一个文本框。
    • 在文本框中输入与文件名匹配的命名模式。

    例如，某应用程序按日期计划写入日志。假设2023年11月22日生成的文件名为LOG_22_11_2023。其中前缀"LOG_"保持不变，后缀日期"22_11_2023"每日更新。 基于此逻辑，请从下拉菜单中选择模式"LOG_${DD}_${MM}_${YYYY}"。

    下拉菜单将提供如下GIF所示的多项可选模式。

    log-file-import-ways

    MySQL日志

    EventLog Analyzer仅支持MySQL的错误日志和通用日志。MySQL登录失败记录将从通用查询日志中获取。

    启用MySQL日志记录步骤：

    • 请打开my.cnf文件（Linux系统）或my.ini文件（Windows系统），并在文件中添加以下配置项。
    • 错误日志配置：log_error=<错误日志文件名>
    • 通用日志：
      • >= v5.1.29 版本：
        general_log_file=<通用日志文件名>
        general_log=1 (或) ON
      • < v5.1.29:
        log=<日志文件名>
    • 重启 MySQL 实例以使更改生效。
    要在事件日志分析器中导入MySQL日志，
    • 可从 本地路径、 共享路径 或 远程路径。
    • 要导入 MySQL 日志文件，您需要手动选择日志格式。选定正确文件后，请在“已选文件”区域的“日志格式”下拉列表中选择MySQL 日志。
    • 点击导入按钮启动日志导入流程。

    PostgreSQL日志

    PostgreSQL日志格式由postgresql.conf文件中的log_line_prefix参数决定。

    默认格式为'%m [%p] '，记录时间戳和进程ID。

    复制到剪贴板

    log_line_prefix = '%m [%p] '

    此格式默认受EventLog Analyzer支持。

    在EventLog Analyzer中导入附加字段

    若需添加额外字段，必须修改postgresql.conf文件中的log_line_prefix参数。

    该参数在postgresql.conf文件中必须遵循以下键值对格式：

    log_line_prefix格式：

    log_line_prefix = '时间戳=%m 或 %t 进程ID=%p 应用程序名称=%a 数据库名称=%d 连接来源地址及端口=%r 连接来源=%h 会话ID=%c 事务ID=%x 用户名=%u 命令标记=%i SQL状态码=%e 会话开始时间=%s '

    log_line_prefix 参数 Key 值
    带毫秒的时间戳或不带毫秒的时间戳 time_stamp %m 或 %t
    进程ID 进程ID %p
    应用程序名称 应用程序名称 %a
    数据库名称 database_name %d
    远程主机名或IP地址，以及远程端口 连接来源及端口 %r
    远程主机名或IP地址 连接来源 %h
    会话 ID session_id %c
    事务 ID transaction_id %x
    用户名 用户名 %u
    命令标签：会话当前命令的类型 command_tag %i
    SQLSTATE 错误代码 sql_state_code %e
    进程开始时间戳 session_start_time %s

    SAP ERP 审计日志

    要添加 SAP ERP 应用程序进行监控，必须启用审计日志。

    启用 SAP ERP 审计日志的方法：

    在<SAP安装路径>\sys\profile目录下的DEFAULT.PFL文件中添加

    • rsau/enable = 1
    • rsau/local/file = <日志位置>/audit_00

    注意：导入过程中用户需具备读取此审计文件的权限。 

    DHCP日志

    EventLog Analyzer可读取并生成Windows和Linux系统DHCP服务器软件的报表，提供多种简化网络管理的报表功能。

    适用于 Windows：

    注意：在Windows中共享DHCP日志位置（即%windir%\System32\Dhcp）后，系统将自动使用此UNC路径每日抓取日志并导入至EventLog Analyzer。

    配置步骤如下：

    1. 共享 DHCP 日志文件夹。
    2. 打开EventLog Analyzer，依次进入设置 > 导入日志 > + 导入日志 > 共享/远程路径 >浏览文件并从日志格式中选择DHCP Windows日志。
    3. 有关从不同位置导入日志文件的方法，请参阅此处。

    Linux系统：

    Linux 系统默认的 DHCP 日志位置为 "var/log/syslog" 或 "var/log/messages"（旧版本）。

    若上述文件中未包含 DHCP 服务器日志，请执行以下步骤。若需将 DHCP 服务器日志单独存储于独立文件，管理员需修改下列配置文件：

    • /etc/dhcp/dhcpd.conf - DHCP服务器配置文件
    • /etc/rsyslog.conf - rsyslog配置文件
    1. 在 dhcpd.conf 文件中查找 "log-facility" 的值。
    2. 在rsyslog.conf文件中查找上一步确定的log-facility对应的日志文件路径，即为DHCP服务器日志文件路径。

    要在事件日志分析器中配置DHCP，请执行以下步骤：

    1. 共享DHCP日志文件夹。
    2. 打开EventLog Analyzer，进入"设置"选项卡 > 导入日志 > 共享/远程路径 > 浏览文件。
    3. 有关从不同位置导入日志文件的方法，请参阅此处。

    DB2 审计日志

    Db2 数据库系统支持实例级和数据库级审计。db2audit 工具用于配置审计流程，同时可归档和提取实例级与数据库级的审计日志。审计功能配置需遵循以下六个步骤：

    1. 配置 db2audit 数据路径、归档路径及范围。
    2. 创建数据库审计策略。
    3. 将审计策略分配至数据库。
    4. 归档活动日志。
    5. 提取归档日志。
    6. 将日志导入EventLog Analyzer。

    EventLog Analyzer 同时支持诊断日志。点击此处了解如何生成诊断日志报表。

    1. 配置 db2audit 数据路径、归档路径及范围

    配置参数 将修改实例安全子目录中的 db2audit.cfg 配置文件。即使实例停止运行，该文件的所有更新仍将生效。 实例运行期间的更新将动态影响Db2实例的审计操作。有关配置文件所有操作的详细信息，请参阅源代码

    • 以管理员权限打开DB2命令行处理器。
    • 执行以下命令：
    复制到剪贴板

    db2audit configure datapath"C:\IBM\DB2\DataPath"归档路径"C:\IBM\DB2\ArchivePath"

    注意：请将给定路径分别替换为您选择的数据路径和归档路径。

    • 运行以下命令：
    复制到剪贴板

    db2audit configure scope all status 两者 错误类型 正常

    注意
    ：
    请将给定的参数替换为您选择的参数。
    • 运行以下命令：
    复制到剪贴板

    db2audit start

    现在将在指定数据路径中为该DB2实例生成日志。

    2. 为数据库审计创建审计策略

    • 以管理员权限打开DB2命令行处理器。
    • 运行以下命令连接数据库：
    复制到剪贴板

    db2 connect to您的数据库

    注意：请将 your_database 替换为您选择的数据库名称。

    • 运行以下命令为数据库创建审计策略：
    复制到剪贴板

    db2 create audit policy策略名称类别全部状态两者错误类型审计

    注意：请将 policy_name 替换为您选择的策略名称。请将给定的参数替换为您选择的命令参数。有关允许的命令参数的更多信息，请参阅源代码。

    • 运行以下命令提交：
    复制到剪贴板

    db2 commit

    现在已创建审核策略。

    3. 将审核策略分配给数据库

    • 以管理员权限打开DB2命令行处理器。
    • 运行以下命令将策略分配给数据库：
    复制到剪贴板

    db2 audit database using policy策略名称

    注意：请将policy_name替换为您创建的审计策略名称。

    • 运行以下命令提交：
    复制到剪贴板

    db2 commit

    现在创建的审计策略已分配给数据库。

    4. 归档活动日志

    您可以从实例和数据库两级归档活动日志。日志将归档至第一步配置的归档路径。

    • 以管理员权限打开DB2命令行处理器。
    • 运行以下命令归档活动数据库日志：
    复制到剪贴板

    db2audit archive databaseyour_database

    注意：请将 your_database 替换为数据库的实际名称。

    • 运行以下命令归档活动实例日志：
    复制到剪贴板

    db2audit archive

    日志将归档至新文件，文件名后缀为时间戳。文件名示例如下：
    • 实例日志文件：db2audit.instance.log.0.20060418235612
    • 数据库日志文件：db2audit.db.your_database.log.0.20060418235612

    两类文件均需转换为可读格式方可导入事件日志分析器。

    5. 归档日志提取

    • 以管理员权限打开DB2命令行处理器。
    • 运行以下命令提取归档实例日志：
    复制到剪贴板

    db2audit extract fileC:/IBM/DB2/instancelog.txt from files db2audit.instance.log.0.20060418235612

    注意：请将instancelog替换为您选择的文件名。将db2audit.instance.log.0.20060418235612替换为归档实例日志的文件名。

    • 运行以下命令提取归档数据库日志：
    复制到剪贴板

    db2audit extract fileC:/IBM/DB2/databaselog.txt from files db2audit.db.your_database.log.0.20060418235612

    注意：请将databaselog替换为您选择的文件名。将db2audit.db.your_database.log.0.20060418235612替换为归档数据库日志的文件名。

    两个文件将被解压至指定存档路径，可导入EventLog Analyzer。

    6. 将日志导入EventLog Analyzer

    现在需将提取的数据库日志和实例日志文件导入EventLog Analyzer。以下是EventLog Analyzer导入日志文件的完整指南。

    诊断日志

    EventLog Analyzer还提供诊断日志报表。生成诊断日志报表请按以下步骤操作：

    • 运行以下命令查找诊断日志文件位置：
    复制到剪贴板

    db2 get dbm cfg | findstr DIAGPATH

    或
    复制到剪贴板

    db2 get dbm cfg | grep DIAGPATH

    或
    复制到剪贴板

    db2 get dbm cfg

    注意：当前成员解析出的DIAGPATH路径即为诊断日志文件的路径。

    导入故障排除提示

    若无法导入日志文件，请确保：

    1. 使用的凭据有效且具备必要权限。
    2. 设备可正常访问。
    3. 指定文件存在且可访问。
    4. 下拉菜单中选择的日志文件格式与所选文件的日志格式匹配。

    日志字段提取

    • 导航至导入配置页面。
    • 从本地、共享或远程路径中选择所需文件。
    • 在“已选文件”下，点击所需文件旁的眼睛图标。
      • log-file-import-ways
    • 点击日志消息右上角的工具图标可创建自定义字段。请遵循本页步骤使用自定义日志模式。
      • log-file-import-ways
    • 创建的自定义字段将显示在左侧窗格中。
    • 最后点击保存。

    导入日志文件列表

    您可在EventLog Analyzer安装中查看所有导入日志文件的列表。这是选择导入日志选项时默认显示的页面。该页面提供导入日志文件的详细信息，包括文件名、设备、监控间隔、导入日志文件所用时间、日志格式及日志文件大小。

    log-file-import-ways

    Apache概览仪表板：通过修改日志格式解析附加字段

    组合日志格式是Apache日志中常用的日志格式之一。

    组合日志格式如下：

    复制到剪贴板

    %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"

    导入组合日志格式的日志文件时，响应时间和接收字节数字段将缺失。

    Apache概览仪表板中的以下组件仅在解析响应时间和 接收字节 数字段后才能准确显示其值。

    1. 传输字节数
    2. 最慢URL前20名
    3. Web活动趋势
    4. 十大最慢服务器
    log-file-import-ways

    为解析这些附加字段，需修改日志格式。配置日志参数"%{ms}T"和"%I"后即可获取附加字段值

    。 Eventlog Analyzer默认支持解析修改后的日志格式。

    包含响应时间和接收字节参数的修改后日志格式如下：

    复制到剪贴板

    %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I

    %{ms}T - 响应请求耗时（毫秒） %I - 接收字节数（含头部数据）

    注意：需启用 modlog_io模块https://httpd.apache.org/docs/2.4/mod/mod_logio.html

    修改后的日志格式在常用组合日志格式基础上新增了2条指令。这些指令位于格式末尾，因此组合日志格式仍将按旧版方式解析。

    Apache日志格式修改流程

    注意：默认配置文件路径为 Debian/Ubuntu/Linux Mint 系统的 /etc/apache2/，或 Red Hat/Fedora/CentOS 系统的 /etc/httpd/conf

    1. 定义新日志格式并为其分配标签。
      复制到剪贴板

      LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I" modified

    2. 该标签可用于在 customLog 指令中引用新格式字符串。
      复制到剪贴板

      CustomLog logs/access.log modified

    3. 新格式将在重启Web服务器后生效。

      导入日志文件后，更新后的Apache概览仪表板如下所示：

      log-file-import-ways