AIOps 怎么落地？人手不足的运维团队三级递进法

对于只有 1-2 人负责网络监控和运维的团队来说，AIOps（Artificial Intelligence for IT Operations，智能运维）并不是"等业务做大以后再考虑"的能力。恰恰相反，监控规模越大、告警越多，越需要尽早用机器承担重复性的监控、分析和处置工作。

一个实用的 AIOps 落地路径，可以概括为：

第一级：收敛——先解决告警太多的问题；
第二级：定位——再解决故障根因难找的问题；
第三级：处置——最后把确定性的重复操作交给机器。

这就是 AIOps"三级递进法"。

 

一、什么是 AIOps？为什么人手不足的团队更需要

AIOps 是将机器学习、智能分析和自动化运维能力引入 IT 运维的一种实践方式。传统网络监控主要解决"看得见"的问题，而 AIOps 进一步帮助运维团队解决"看得懂"和"能自动处理"的问题，从被动救火逐步走向主动运维。

对于小型运维团队来说，AIOps 的价值尤其明显。

当监控规模从几十台设备扩展到几百台设备时，告警往往不是简单地随设备数量线性增长。一个上游设备异常，可能同时触发交换机、服务器、应用等多个下游对象的连锁告警。最终，一个人可能面对数百条甚至更多告警，但真正需要处理的故障只有少数。

先让机器消除噪声，再让机器帮助定位，最后让机器执行确定性的重复动作。

二、为什么告警海洋会拖垮小型运维团队

告警本身并不是问题，没有价值的告警才是问题。

典型的网络运维流程通常是：设备异常 → 监控系统按照静态阈值产生告警 → 运维人员逐条查看 → 发现大量重复或关联告警 → 人工判断根因 → 手动执行处理动作。

这条链路中，最容易消耗人力的是三个环节：

因此，AIOps 的落地不应该从"全自动修复"开始，而应该沿着这三个环节逐步推进。

三、AIOps 三级递进法：收敛、定位、处置

我们把 AIOps 的落地过程抽象成三个递进阶段：

没有收敛，定位会被噪声干扰；没有定位，自动化处置就可能执行错误动作。

因此，对于只有 1-2 人的团队，更推荐先从"告警收敛"切入，再逐步向根因分析和自动化处置扩展。

四、第一级：告警收敛——先把"告警海洋"变成可处理的信息

小型运维团队落地 AIOps 的第一步，不是增加更多告警，而是减少无意义告警。

事件关联：把同一故障产生的多个告警归并起来

一个网络故障往往会产生大量连锁事件。如果每个设备都分别产生告警，运维人员看到的可能是几十甚至几百条信息，但这些信息可能都来自同一个根本故障。

事件关联的作用，就是将具有相关性的原始事件进行归并，让运维人员首先看到真正值得处理的异常。

不是让机器产生更多告警，而是让机器告诉你哪些告警其实属于同一个问题。

这也是从"几百条原始告警"向"少量可处理事件"转变的第一步。

自适应阈值：让系统自己理解"正常"

传统静态阈值需要运维人员不断手动调整。例如固定 CPU、流量或响应时间阈值，在业务高峰时可能产生大量误报，而在业务低峰时又可能无法及时发现异常。

自适应阈值的思路则不同：系统先根据历史监控数据建立指标基线，再根据实际变化动态判断异常。

以 OpManager 的 Zia AI 能力为例，系统可以基于约 14 天的历史网络数据建立指标基线，并持续重新计算，从而减少正常业务峰值造成的误报，同时帮助识别偏离正常模式的异常变化。它还支持抑制下限以及 Attention、Trouble、Critical 等不同偏离级别，用于进一步区分告警优先级。

对于小型团队来说，自适应的真正价值在于：随着设备和虚拟机数量增加，不需要运维人员逐台手动猜测和调整阈值。

五、第二级：根因定位——从"有故障"快速找到"哪里出了问题"

告警收敛之后，真正需要解决的问题是：到底哪个设备、链路或端口才是根因？

这也是 AIOps 与传统"只负责监控"的工具之间的重要区别。

RCA：把分散的数据放到同一条时间轴上

传统故障排查经常需要在多个工具和图表之间不断切换，再依靠运维人员的经验判断不同指标是不是同时发生了异常。

根本原因分析（RCA，Root Cause Analysis）的核心思路，是将相关性能数据集中到同一个分析窗口，通过时间轴比较不同指标的变化，从而缩小故障范围并辅助识别根因。

例如，一次网络访问异常可能同时涉及服务器 CPU、网络接口流量、存储 IOPS 和上联设备状态。如果这些指标分别散落在不同页面，运维人员需要人工判断它们发生异常的时间是否一致。将数据放到同一时间轴之后，异常关系会更加直观。

从设备级进一步下钻到端口级

以 OpManager 的 RCA Profile 为例，可以在同一窗口比较最多 20 个监视器，并在同一时间轴上进行关联分析。结合业务视图和网络路径分析，可以进一步缩小故障范围，并通过 Annotation 记录分析过程和判断依据。

从"我知道有故障"变成"我知道哪里最可能是根因"。

人不再需要从零开始翻图表，而是由机器先把相关证据集中起来，运维人员负责确认和决策。

六、第三级：自动化处置——把确定性的重复工作交给机器

完成告警收敛和根因定位后，下一步才是自动化处置。

只有当你知道发生了什么，才知道应该自动做什么。

很多网络故障虽然复杂，但故障发生后的处理动作却高度标准化。例如：端口进入 err-disable 后执行恢复操作；磁盘空间不足时清理日志；某类告警触发后自动通知对应负责人；触发特定条件后执行预定义脚本。

这些动作不一定需要人工一次次重复执行，因此可以被编排成可复用的工作流。

但这里有一个非常重要的原则：

AIOps 不意味着让 AI 替你做所有决策。

对于高风险或不可逆操作，可以保留 Human-in-the-loop（人在环）：机器负责发现、分析和准备执行动作，关键步骤由运维人员确认后再执行。

对于只有一个人负责整个监控面的团队来说，这相当于增加了一个可以持续工作的"数字运维助手"，而不是简单地把控制权全部交给机器。

七、一个实际案例：从数百条告警到可管理的故障

某金融机构分支网络此前由单人负责运维，每天告警峰值超过 280 条，真正的故障容易被大量关联告警淹没。

按照三级递进法进行调整：

第一阶段：收敛。 开启事件关联与自适应阈值，减少同源连锁事件和正常业务峰值产生的噪声。

第二阶段：定位。 针对反复出现的链路抖动建立 RCA Profile，将故障范围逐步缩小到具体的上联交换机端口。

第三阶段：处置。 将端口恢复和通知值班人员等确定性动作编排成工作流。

按照该案例中的方法论示意数据，改造后日均有效告警降至约 30 条，MTTR 从约 45 分钟降至约 15 分钟，单人可以覆盖原本需要一个团队负责的监控范围。

以上数据为方法论示意，实际效果会因监控规模、设备类型、告警策略和部署环境而有所不同。

八、人手不足的团队应该从哪一步开始 AIOps？

不需要一开始就建设一个复杂的"全自动运维平台"。对于只有 1-2 人的网络运维团队，更现实的方式是：

如果每天最大的痛点是"告警太多"

先做：事件关联 + 自适应阈值。

目标是先减少噪声，让真正需要人工关注的事件变少。

如果最大的痛点是"故障定位慢"

进一步做：RCA + 多指标关联分析 + 网络路径分析。

目标是缩短从"发现异常"到"找到根因"的时间。

如果最大的痛点是"每天重复做同样的操作"

最后做：Workflow Automation + 标准化处置流程。

目标是把确定性的重复操作交给机器。

小团队上 AIOps，不需要一步到位，而应该先收敛，再定位，最后处置。

九、AIOps 与传统网络监控有什么区别？

传统网络监控主要负责发现并呈现设备、接口、服务器等对象的状态变化。

AIOps 则进一步利用智能分析、事件关联和自动化能力，对大量监控数据进行收敛和分析，并帮助运维团队定位根因、执行标准化处理动作。

传统监控解决"看到了什么"，AIOps 进一步解决"这意味着什么，以及接下来该做什么"。

因此，AIOps 并不是简单地在监控软件上增加几个 AI 标签，而是将告警收敛、故障分析和运维自动化连接起来。

十、结语：AIOps 的起点不是"让机器替你运维"，而是让机器先接手重复工作

对于人手不足的运维团队，AIOps 最现实的价值并不是一开始就实现"全自动运维"。

第一步，收敛告警，让人从告警海洋中解放出来；
第二步，分析关联数据，让故障快速收敛到根因；
第三步，把确定性的重复操作交给自动化工作流。
收敛 → 定位 → 处置

这套三级递进法的核心不是"AI 替代运维人员"，而是：让一个人的时间，真正用在需要判断和决策的地方。

对于正在面临告警过载、故障定位困难和重复运维工作的团队，这往往比一次性追求"全自动 AIOps"更容易落地，也更容易看到实际价值。

了解 ManageEngine OpManager 如何通过智能告警管理、根因分析和工作流自动化帮助网络运维团队逐步实现 AIOps。

• 即刻开始体验！免费下载安装并享30天全功能开放！
• 需要深入交流？预约产品专家一对一定制化演示！
• 获取报价？填写信息获取官方专属报价！
• 想了解更多？点击进入OpManager官网并查看更多内容！
• 倾向云版本？Site24*7云上一体化解决方案！

常见问题（FAQ）

1. 人手不够的运维团队，真的需要上 AIOps 吗？

   答：如果一个团队长期面临大量告警、重复排查和重复处置工作，AIOps 可以帮助减少人工筛选和分析工作。AIOps 的重点不是替代人，而是将"收敛—定位—处置"过程中重复性的工作交给机器，让运维人员更多关注判断和决策。

2. AIOps 是不是一定很贵、部署周期很长？

   答：不一定。对于中小型团队，可以从告警收敛这样的单点能力开始，再根据实际需求逐步增加根因分析和自动化处置能力。例如，自适应阈值可以先利用历史监控数据建立基线，再持续进行异常判断，不需要运维人员长期手动调整每一个指标。

3. AIOps 可以完全自动修复故障吗？

   答：AIOps 可以自动完成大量标准化工作，但复杂故障仍然需要人工判断。更成熟、更稳妥的实践通常是：告警收敛 → 根因分析 → 标准化自动处置。对于高风险操作，可以采用 Human-in-the-loop 模式，由机器准备动作、人工最终确认。

4. AIOps 告警降噪具体怎么做？

   答：常见方法包括事件关联、事件去重、自适应阈值和异常模式识别。其中，事件关联用于减少同一故障产生的大量关联事件；自适应阈值则根据历史数据建立正常基线，帮助减少固定阈值导致的误报。

5. AIOps 如何帮助降低 MTTR？

   答：AIOps 可以从两个方向减少 MTTR：第一，通过告警收敛减少人工筛选时间；第二，通过 RCA 和多指标关联分析缩短故障定位时间。如果进一步把标准处置流程自动化，还可以减少人工执行动作的时间。

6. 怎么判断一个 AIOps 工具是否值得评估？

   答：可以重点看三个方面：第一，能否有效进行事件关联和告警降噪；第二，能否进行根因分析并深入到设备或端口；第三，能否将确定性的处置操作编排成可复用工作流。如果一个平台只能展示更多图表，却不能帮助团队减少噪声、定位根因和执行动作，它解决的仍然主要是传统监控问题。