AI对话聊天
Evidently AI
文件问答
开源的 LLM 与 AI 应用评测、监控工具
能做什么
-
开源评测套件覆盖 LLM 和 RAG
-
可监控线上 AI 应用表现
-
支持为多智能体工作流建检查
-
便于在发布前做回归对比
-
能把评测报告用于迭代提示词
-
适合把质量门槛写进开发流程
典型用法
先准备评测集和指标，本地跑通后再接到预发或生产监控。
适合谁
面向要把生成质量测稳、看住线上表现的算法和平台团队。
适用场景
- 用历史问答集做一次回归评测
- 对 RAG 答案做忠实度和完整性检查
- 把监控接到预发环境的日志
- 提示词改版前后对比同一批用例
产品介绍
Evidently AI 用于在上线前评测、在上线后监控 LLM、RAG 和多智能体应用的表现。 可对输出质量、漂移和关键指标建测试，把评测接到现有开发流程。 先选一批真实问答对，定义指标后跑回归，再把监控接到生产日志。