开源项目 · 评测框架
AgentLens
AI Agent 的 6 层 CT 扫描式评测框架，加 8 级错误归因瀑布，一键出 xlsx 报告。
已开源RESOURCES
01问题
多阶段 Agent 出错时，团队要花 1-2 天才能定位是 LLM 提示词、数据、还是 session 隔离问题——"哪里坏了"答不上来。
02方案
把评估拆成 6 层（L1 任务完成 → L2 轨迹 → L3 中间产物 → L4 状态隔离 → L5 安全 → L6 稳定性），加 8 级错误归因瀑布，每级对应不同的修复责任人。
03我的职责
独立设计与实现：6 层评估架构、8 级归因瀑布、xlsx 报告生成、CI 流水线。
01 · 背景与痛点
在 Style3D 实习时，多阶段 Agent（视觉 → 品牌增强 → 记忆 → 检索 → PPT）每次改 prompt 都要手动回归 1-2 天。那不是在工程，那是在赌博。
02 · 产品设计与 Agent 架构
方案：把评估拆成 6 层（L1 任务完成 → L2 轨迹 → L3 中间产物 → L4 状态隔离 → L5 安全 → L6 稳定性），加 8 级错误归因瀑布，每级对应不同的修复责任人。
我的职责：独立设计与实现：6 层评估架构、8 级归因瀑布、xlsx 报告生成、CI 流水线。
工作流设计
graph LR
A[40 项黄金测试集] --> B[6 层逐层评估]
B --> C{Blocker gate}
C -- L1-L5 任一为 0 --> D[Hard fail]
C -- 全部通过 --> E[8 级归因瀑布]
E --> F[xlsx 三表报告]
03 · 复盘
从‘单轮人工评测 1-2 天’到自动化：核心卡点是把‘谁负责修哪里’翻译成可执行的结构（6 层评估 × 8 级归因瀑布），责任归属一旦明确，xlsx 报告与 CI 只是顺水推舟。复盘：先定义失败模式再写测试，顺序反了会反复返工。
04 · 成果与产品思考
40 项对抗性黄金测试集，dry-run 一次跑通出 3-sheet xlsx（Overview / Case Detail / Blocker Analysis）；15 个测试全过；CI 已接入。
产品思考：评测的价值不是打分，而是把"谁负责修哪里"说清楚。
Open source · Eval framework
AgentLens
A 6-layer CT-scan-style evaluation framework for AI Agents, with 8-level error attribution waterfall and one-click xlsx reports.
Open sourceRESOURCES
01Problem
When a multi-stage Agent fails, teams spend 1-2 days locating whether it's prompts, data, or session isolation — "where did it break" is unanswerable.
02Approach
Split evaluation into 6 layers (L1 task completion → L2 trajectory → L3 intermediate quality → L4 state isolation → L5 safety → L6 stability) plus an 8-level attribution waterfall, each level pointing to a different fix owner.
03My role
Solo design + implementation: 6-layer eval architecture, 8-level attribution waterfall, xlsx report generation, CI pipeline.
01 · Background & Pain
During the Style3D internship, a multi-stage Agent (vision → brand → memory → retrieval → PPT) took 1-2 days of manual regression per prompt change. That is not engineering, that is gambling.
02 · Product Design & Agent Architecture
Approach: Split evaluation into 6 layers (L1 task completion → L2 trajectory → L3 intermediate quality → L4 state isolation → L5 safety → L6 stability) plus an 8-level attribution waterfall, each level pointing to a different fix owner.
My role: Solo design + implementation: 6-layer eval architecture, 8-level attribution waterfall, xlsx report generation, CI pipeline.
Workflow design
graph LR
A[40 项黄金测试集] --> B[6 层逐层评估]
B --> C{Blocker gate}
C -- L1-L5 任一为 0 --> D[Hard fail]
C -- 全部通过 --> E[8 级归因瀑布]
E --> F[xlsx 三表报告]
03 · Pitfalls & Hard Lessons
[TBD: share 1-2 of the hardest debugging / cost-cutting / architecture decisions]
04 · Outcome & Product Thinking
40-item adversarial golden set; dry-run produces a 3-sheet xlsx (Overview / Case Detail / Blocker Analysis); 15 tests passing; CI wired up.
Product thinking: The value of evaluation is not the score, but saying clearly who owns the fix and where.