互动拆解 · Eval

拆解一次 Eval

「换了新模型，感觉更聪明了」——感觉不能上线。这里你亲手搭一组评测，看分数怎么把模糊的「感觉」变成能拍板的数字，也看清「凭一个例子下结论」会怎么骗到你。

坑就在这：A 模型在第一个例子上明显更漂亮。只看一个例子，你会选 A。把样本量拉满再看——结论可能反过来。

逐条判对错，再看总分

上线

模型 A · 文采派

—

话说得漂亮

上线

模型 B · 朴实派

—

答得更准

测试样本AB

点「跑评测」开始。

改完 prompt，正是用这套评测来证明它「真的更好」，而不是感觉更好。

Agent、RAG、Prompt、Eval——四个拆解都体验过了？看看下一个。