Phoenix：AI Agent 与大语言模型应用的观测、评估与调试工具
Phoenix 是一款开源的 AI 可观测与评估工具，用于追踪 Agent 和大语言模型应用的执行过程，分析检索、工具调用与输出，并通过标注、数据集和实验持续改进应用质量。
原站网页截图，页面可能随时间更新。
- 分类：AI 编程与 Agent
- 名称：Phoenix
- 来源：arize.com
Phoenix 面向需要理解和改进 AI 应用的开发者与工程团队。它把一次请求经过的提示词、检索、工具调用和模型输出串联起来，帮助定位工作流中的问题，并通过评估与实验验证修改是否真正带来改善。工具支持在本地或自有环境中部署，适合纳入 AI 应用的开发和迭代流程。
公开功能
Phoenix 的核心能力包括追踪、评估、标注和实验。追踪用于查看 Agent 执行中的每一步，帮助分析请求如何经过提示词、检索、工具调用并产生最终输出。评估可以为结果打分，关注相关性、毒性、质量以及成本、延迟等维度。标注支持人工复核或使用模型作为评审，对有效结果和问题结果进行归类。应用团队还可以从追踪数据创建数据集，在相同条件下运行实验，对比修改前后的表现。
工具采用 OpenTelemetry 和 OpenInference 相关标准记录遥测信息，并强调与模型、框架和编程语言保持兼容。部署方式包括本地运行、自托管、Docker 和 Kubernetes，便于根据环境管理数据与服务。
适用任务
Phoenix 适合排查 AI Agent 为什么给出某个回答，尤其适用于包含多步推理、知识检索或外部工具调用的应用。当结果不准确、出现幻觉、检索内容不相关，或工具执行导致流程异常时，可以通过完整执行轨迹缩小问题范围。
它也适合建立持续的质量管理流程：团队可以先收集真实请求和输出，再对结果进行标注，随后针对提示词、检索方式或模型变化提出假设并开展对照实验。对于准备将 AI 应用投入生产的团队，这种方式有助于在发布前发现问题，并跟踪后续改进。
使用思路
可以先为应用接入追踪，让每次请求的关键步骤可见。发现异常后，结合输入、检索结果、工具调用和最终输出判断问题更可能发生在哪个环节，再使用人工标注或模型评审整理出可复用的案例。
接着从这些案例形成数据集，明确要验证的改动，例如调整提示词、改进检索或替换模型。保持测试条件一致后运行实验，并从质量、成本和延迟等方面比较结果。只有当改动在目标指标上带来明确改善时，才适合继续推进到生产环境。
部署与使用边界
Phoenix 可以在本地运行，也可以部署到自有基础设施中。若应用包含敏感请求、检索内容或用户数据，建议根据组织的数据管理要求选择自托管方式，并在接入追踪前确定需要记录的字段和访问范围。
它主要解决的是 AI 应用运行过程的可见性、质量评估和迭代验证问题，并不会自动替代应用本身的提示词设计、检索策略、工具权限管理或业务规则。实际效果取决于追踪信息是否完整、评估标准是否合理，以及团队是否持续分析实验结果。
常见问题
Phoenix 是否只能用于某一种模型或框架？公开介绍强调其面向不同模型、框架和编程语言，并支持标准化遥测方式，因此可作为跨技术栈的观测与评估工具使用。
Phoenix 能否帮助定位检索或工具调用问题？可以。追踪会呈现请求经过的检索和工具调用步骤，便于分析工作流在哪一环出现异常。
Phoenix 适合在生产前使用吗？适合。可以先用追踪和评估发现问题，再通过数据集和实验验证改动，作为发布前质量检查和持续迭代的一部分。
Phoenix 是否只能用于某一种模型或框架？
公开介绍强调其面向不同模型、框架和编程语言，并支持标准化遥测方式，因此可作为跨技术栈的观测与评估工具使用。
Phoenix 能否帮助定位检索或工具调用问题？
可以。追踪会呈现请求经过的检索和工具调用步骤，便于分析工作流在哪一环出现异常。
Phoenix 适合在生产前使用吗？
适合。可以先用追踪和评估发现问题，再通过数据集和实验验证改动，作为发布前质量检查和持续迭代的一部分。