帮助文档

自定义日志解析

Log360 Cloud的自定义日志解析功能允许用户通过定义解析规则从日志中提取额外字段。此功能还允许创建自定义日志格式并为新创建的格式定义解析规则。

创建自定义日志格式

  • 导航至 设置 → 管理 → 产品定制 → 自定义日志格式.
  • custom-log-parsing

  • 要创建新格式,点击 添加日志格式.
  • 将弹出对话框;在 格式名称 文本框中输入新的自定义格式名称。
  • 这将基于syslog类型创建新日志格式,也支持文件导入类型。
  • custom-log-parsing

  • 创建自定义日志格式后,将出现确认框,提供为新格式创建解析规则的选项,或导航至“管理解析规则”以创建新的解析规则。
  • custom-log-parsing

  • 新创建的基于“Syslog”的格式可以分配给任何syslog设备。操作路径为 设置 → 配置 → 设备 → Syslog设备。点击所需设备的“更新”,在“设备类型”下选择新创建的格式。
  • custom-log-parsing

  • 新创建的基于“文件导入”的格式可以在文件导入时分配。
  • custom-log-parsing

为日志格式创建解析规则

  • 要创建解析规则,点击 添加解析规则。
  • custom-log-parsing

  • 有三种提取字段的方法:正则表达式(Regex)、分隔符(Delimiter)和JSON(仅支持文件导入日志格式)
  • 粘贴日志,点击 保存更改,并选择要提取的字段值。
  • 为解析规则提供规则名称和字段名称。
  • custom-log-parsing

  • 使用“自动识别”图标识别常用字段,并从适用字段中选择。
  • 点击 添加开放属性,可输入字段名称及其值,便于日后搜索。
  • 将生成正则表达式(regex)模式,该模式用于从日志中提取字段。
  • 选项 选择其他模式 显示用于提取指定字段的另一种模式。
  • 指定“仅在…时应用此模式”的条件,确定应用此解析规则的时机。
  • custom-log-parsing

  • 通过点击 验证此模式.
  • 点击 验证此模式 会打开新窗口,用最近采集的50条日志验证生成的模式。如果该模式不匹配,日志将被归类为不匹配。如果该模式无效,可点击 选择另一模式 尝试验证其他模式。
  • custom-log-parsing

    custom-log-parsing

  • 点击 保存规则 以保存规则。
  • custom-log-parsing

  • 也可以通过更改方法为 分隔符来提取字段。用户可指定每个词之间的分隔符,如空格、逗号、制表符、管道符,或输入自定义分隔符提取字段。请注意,自定义分隔符应为符号,而非文字。如果提取字段效果良好,用户可提供字段名称并保存规则。
  • custom-log-parsing

  • 对于 JSON格式日志,用户可以通过指定 JSON路径 来定位日志中特定字段。每个字段通过分配字段名并映射到对应的JSON路径进行定义。请确保JSON路径准确引用JSON日志中的键或嵌套结构。
  • JSON字段提取仅可配置 针对文件导入自定义日志格式。用户可以通过以下两种方式创建JSON提取规则:
    • 使用示例日志:

      带示例日志的JSON解析规则创建

      • 提供有效的JSON日志。
      • 从JSON树中选择所需字段。
      • 为对应的JSON路径分配字段名。
    • 不使用示例日志:

      带示例日志的JSON解析规则创建

      • 手动指定JSON路径定位特定字段。
      • 确保JSON路径与日志结构匹配。
  • 一旦验证,这些规则将在日志处理过程中成功提取并映射值到对应字段。
  • 查看特定解析规则关联的字段和开放属性,以及禁用或启用该规则的选项。根据需要编辑解析规则,必要时删除。
  • custom-log-parsing

  • 若要为预定义格式添加解析规则,导航至 设置 > 自定义日志格式 > 预定义日志格式.
  • custom-log-parsing

从搜索标签创建自定义解析规则提取字段

  • 可直接从搜索标签提取额外字段。找到 创建额外字段图标 ,位于每条日志的右侧,点击它。
  • custom-log-parsing

  • 显示日志详情,然后选择 提取额外字段.
  • custom-log-parsing

  • 按照上述“创建解析规则”部分的步骤操作。
  • custom-log-parsing

  • 创建的解析规则可在设置页面查看。
  • custom-log-parsing

    注意:
    • 预定义格式和自定义格式的字段提取均有两种方式:通过搜索和通过设置。
    • 限制包括最多支持10个自定义格式和50个自定义字段。