点赞
评论
收藏
分享
举报
介绍 NGINX 中的 Agentic Observability:实时 MCP 流量监测
发表于2026-05-07 10:43

浏览 683

文章标签

原文作者:Dmitry Volyntsev - F5 Principal Software Engineer ; Michael Vernik - F5 Senior Product Manager
原文链接:介绍 NGINX 中的 Agentic Observability:实时 MCP 流量监测
转载来源:NGINX 中文社区

NGINX 唯一中文官方社区 ,尽在 nginx.org.cn



今天,我们宣布推出一个新的开源模块,该模块能够实现对 NGINX 处理的 Model Context Protocol (MCP) 流量进行实时的洞察。这一功能使 NGINX 运维人员能够跟踪并监控来自 AI agent 的活动,从而具备识别容易出错的 agent、高延迟的 MCP 工具、MCP 服务器之间的吞吐量差异等能力。


与传统的应用流量不同,代理式工作负载具有高度动态性和非确定性。Agent 可能会根据上下文、模型行为或上游数据调用不同的工具、分发请求或改变使用模式。此外,来自未知来源的“影子 Agent”可能会导致计划外的工作负载或扩大安全风险面。这种多变性使得仅使用传统的可观测性方法很难跟踪其性能、可靠性、成本和安全性。


MCP 为 AI agent 在分布式系统中发现、请求和使用工具及数据引入了标准化的方式。随着 AI agent 从孤立的实验演变为全天候运行的生产级客户端,这种标准化正迅速成为基础。


因此,MCP 的兴起产生了对代理式基础设施可观测性和治理的迫切需求。运维人员必须能够回答新的问题,例如:哪些 agent 正在产生流量?哪些 MCP 工具和服务器是瓶颈?错误源自何处,以及它们如何在agent 工作流中传播?如果在 MCP 层缺乏透明度,这些系统就会变得不透明,更难扩展,且运行风险更高。提供对 MCP 流量的可见性,对于确保 agent 驱动的系统在进入主流生产环境时保持可预测、安全和高性能至关重要。


为了给运维人员提供跟踪 agent 行为的合适工具,新的 Agentic 可观测性模块会实时检查 MCP 流量,并报告吞吐量、延迟、错误和追踪。至关重要的是,这些指标可以按以下类别进行分类:

  • 代理式客户端
  • 基于 Agent 的会话
  • MCP 服务器
  • MCP 工具


这些新功能直接在 NGINX 内部运行,并依托我们的原生 OpenTelemetry 模块,不需要在数据路径中安装额外的第 7 层代理,从而提供了一种无缝观察 AI agent 流量的方法。


Agentic Observability Module


Agentic 可观测性 模块是一个结合了参考实现的 NGINX JavaScript 模块。其核心功能是解析来自 MCP 客户端的流量,提取 MCP 工具名称、错误状态、客户端和服务器标识。随后,它利用原生的 NGINX OpenTelemetry (OTel) 模块将这些数据打包并作为 span 属性导出。该参考实现通过一个 OTel collector 扩展了此基础设施, collector随后将可观测性数据发送至 Prometheus 数据存储。最后,基于 Grafana 的前端从 Prometheus 中调取数据并生成一系列可视化仪表板,供实时查看和分析。



下面这个示例截图展示了收集到的数据如何帮助运维人员了解 MCP 工具、服务器以及代理型客户端(agentic client)的工作负载统计信息。接下来,让我们研究一些常见的 Agentic 基础设施(代理型)场景,看看Agentic 可观测性功能集如何帮助优化工作负载。



识别高延迟 MCP 工具调用


MCP 工具调用可能导致多种多样的下游工作负载。某些工具调用可能返回静态产物,另一些可能导致不同复杂程度的数据库查询,还有一些甚至会发起级联搜索查询。理解 MCP 工具层级的延迟对于确保高质量的用户体验至关重要,但来自单个 MCP 服务器或 HTTP 追踪的数据无法提供运维人员识别问题工作负载所需的聚合信息。通过下方的示例图表,我们可以轻松得出结论:query_db 和 resize_image 工具调用导致了体验下降,这使我们能够通过优化或增加与这些工具相关的计算资源来采取行动。



识别 MCP 服务器错误趋势


虽然 NGINX 长期以来一直具备报告后端服务器错误的能力,但 MCP 协议定义了一种针对工具调用的应用层错误响应方法。Agentic 可观测性模块能够收集并报告封装在 MCP 响应中的错误信息。下方图表中的示例显示,一个名为 “mcp-flaky” 的特别容易出错的 MCP 服务器,其高比例的 MCP 调用导致了错误,而后端池中的其他服务器则没有这种情况,这促使需要对该问题服务器进行进一步调查。



理解 Agent 吞吐量


了解 Agent 流量的来源与了解 AI agent 正在做什么同样重要。大语言模型 (LLM) 是互联网上 Agent流量的主要来源。对 MCP 吞吐量的洞察可以揭示屏蔽或限流某些 LLM 的需求——例如那些产生“影子 Agent”的 LLM,它们是未知的或未被授权访问由 NGINX 代理的应用。在其他场景中,agentic 客户端可能是受管基础设施的一部分。在这些情况下,流量差异可以为网络拓扑、路由策略或额外的基础设施投资提供参考。



立即体验


准备好深入体验并在您的基础设施中启用 agentic 流量监控了吗?我们创建了一个易于遵循的、基于 Docker Compose 的参考实现,您只需几条命令即可启动所有必要的组件。遵循本指南,您将很快掌握 AI agent 如何访问您的系统以及它们的来源。


Agentic 可观测性是 NGINX 中 AI 能力的基础层。此外,去年我们在 NGINX Gateway Fabric 中引入了 Gateway API Inference Extension 功能,为 Kubernetes 环境中的 LLM 和生成式 AI (GenAI) 工作负载实现了推理感知路由。我们计划在此基础上继续构建,在今年晚些时候为 NGINX、NGINX Ingress Controller 和 NGINX Gateway Fabric 提供基于 Agent 和推理 AI 流量的路由及其他策略决策新功能。


我们非常期待听到您对新 Agentic 可观测性功能的反馈,并欢迎您为我们的代码库贡献力量!


NGINX 唯一中文官方社区 ,尽在 nginx.org.cn

更多 NGINX 相关的技术干货、互动问答、系列课程、活动资源: 开源社区官网 | 微信公众号 | B 站

已修改于2026-05-07 10:43
本作品系原创
创作不易,留下一份鼓励
NGINX官方账号

暂无个人介绍

关注



写下您的评论
发表评论
全部评论(0)

按点赞数排序

按时间排序

关于作者
NGINX官方账号
这家伙很懒还未留下介绍~
339
文章
21
问答
201
粉丝
相关文章
介绍nginx网页配置工具QQ技术交流群1:1106758598QQ技术交流群2:560797506邮箱: cym1102@qq.com官网地址: http://www.nginxwebui.cn码云: https://gitee.com/cym1102/nginxWebUIgithub: https://github.com/cym1102/nginxWebUI功能特点nginxWebUI也可管理多个nginx服务器集群,随时一键切换到对应服务器上进行nginx配置,也可以一键将某台服务器配置同步到其他服务器,方便集群管理.部署此项目后,配置nginx再也不用上网各种搜索配置代码,再也不用手动申请和配置ssl证书,只需要在本项目中进行增删改查就可方便的配置和启动nginx。技术说明本项目是基于springBoot的web系统,数据库使用sqlite,因此服务器上不需要安装任何数据库项目启动时会释放一个.sqlite.db到系统用户文件夹中,注意进行备份本系统通过Let'sencrypt申请证书,使用acme.sh脚本
点赞 6
浏览 26.6k
  前三周学习了陶辉老师的“NGINX基础培训系列课程”,感觉受益良多,在这里想把一些知识点记录一下,和大家分享一下知识点,也方便日后的随手查看,温故知新。  首先,我们了解到了Nginx的版本,Nginx发布版本分为主线版本和稳定版本,区分两个版本也非常简单,主线版本版本号为单数,比如1.19,稳定版本为双数,比如1.18,今天我要说的是稳定版本,这个版本会尽量少的减少Nginx的bug问题,适用于生产环境,这里我不建议使用Nginx和其他软件一样在生产环境中落后一个或多个大版本使用,之前生产环境做过漏扫,发现我们编译自带的Nginx版本为:nginx/1.13.3(查询命令为nginx-V),结果出现了多个漏洞,四个高危和一个中危漏洞:        通过升级Nginx到稳定版最新版本后修复!  其次,是Nginx发行版本的选择,目前比较流行的有:nginx、nginxplus、Tengine、openresty、ope
点赞 1
浏览 19.9k
感谢您参加“NGINX从入门到精通进阶系列培训”!以下为培训的问答、课件和录像,希望您能通过此培训学有所得,祝学习进步!>问与答:- 基础篇+高级篇 - 应用篇+实战篇(New)>课件(PPT):基础篇:-NGINX概要、安装、配置:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-Setup.pdf-NGINX日志、运维:https://interact.f5.com/rs/653-SMC-783/images/cnfeb22-nginxcorecourse-maintenance.pdf高级篇:-NGINX变量、API:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-API.pdf-NGINXSSL、NJS:https://interact.f5.com/rs/653-SMC-783/images/CNFEB22-NginxCoreCourse-SSL.pdf
点赞 10
浏览 22.5k