网络推广怎么做
AI 模型评测正在从“谁更聪明”转向“谁能以更低成本做出可靠决策”。Artificial Analysis 最新 Decision Index v2 中,专业决策模型 Drex Max v1.1、GLiDE v1.2 得分 73,Mammoth 27B 得分 72;通用模型 Claude Haiku 5.5(Max)为 77,GPT-6 Luna(Max)为 76。 通用模型只领先 3 到 4 分,却付出了更高成本和更长耗时:GPT-6 Luna(Max)每百万项任务约 1530 美元,是 Drex Max v1.1 的 15 倍,单项任务耗时约 40 倍;Claude Haiku 5.5(Max)每百万项任务约 6240 美元,单项耗时约为 Drex 的 119 倍。 对机构开发者来说,榜单真正传递的信号不是“通用模型没用了”,而是专业决策模型开始具备独立的成本价值:在文档审核、事实抽取、合规判断和工具调用等固定任务中,轻量模型可能比旗舰模型更适合规模化部署。 新版 Decision Index 不只统计答对多少题,还把模型的置信度纳入决策得分。每道题得分为: Decision Score = 50 × (1 + c – (p – c)^2) 其中,p 是模型给出所选答案的概率,c 表示答案是否正确,答对为 1,答错为 0。汇总后等价于: Decision Score = 50 × (1 + Accuracy – Brier Score) Brier Score 用于衡量置信度校准。如果模型答错却非常自信,会受到更大惩罚;如果不确定时主动转人工或升级到更强模型,实际体系可能更安全。 Decision Index v2 整合了 AA-Paperclip、EvalSafe-O NET-AA、AA-Omniscience-Decision、HLE-MultiChoice、AA-Symmetry 和 When2Call,覆盖文档决策、事实抽取、知识掌握、推理、答案一致性和工具调用。 AA-Paperclip 包含 1500 份简历、收据、发票及钻研论文,每份文档有 5 道决策题和 10 道事实提取题,必须全部答对才算通过。新版还增强了私有数据集的占比,并移除已经接近饱和的测试工程。 专业决策模型中,Drex Max v1.1 和 GLiDE v1.2 都拿到 73 分,Mammoth 27B 为 72 分。三款模型只差 1 分,说明专业模型在固定决策任务上的能力已经接近。 但综合得分接近,不代表每个维度相同。Drex Max v1.1 的单项答案正确率达到 97%,但在 Paperclip 中只有 71% 的文档完成全部 5 道决策题,88% 的文档完成全部事实抽取。模型可能“多数题答对”,却在整份文档级任务上失败。 AA-Symmetry 则测试模型面对不同措辞时能否保持答案一致。Mammoth 27B 得分 96,Elephant 9B 得分 93;部分模型的高分与较高弃答率有关,因为它们面对不确定问题时更愿意承认不知道。 这对机构体系很要紧:可靠决策模型不只要准确,还要知道什么时候应该停止、转人工或升级。 Claude Haiku 5.5(Max)和 GPT-6 Luna(Max)分别拿到 77 分和 76 分,领先专业决策模型 3 到 4 分。但性能差距带来了巨大的成本差异。 Mammoth 27B 与 GPT-6 Luna(Max)只相差 4 分,但任务速度快 118 倍。对于每天处理百万级文档的业务,少量精度差距是否值得几十倍成本,需要用真实业务损失计算,而不是直接选择最高分模型。 专业模型的成本差距超过 60 倍。Celeris-1.1 Decision 每百万项任务约 14 美元,Drex Max v1.1 约 102 美元,Clef 则达到 859 美元。 差异不只来自 Token 单价,还来自文档输入是否复用。Drex Max v1.1 和 Decider v1.2 处理同一份文档的多道题时,可以只计算一次文档输入;GLiDE v1.2 和 Decider Flash v1.2 则会为每道题重新输入整份文档。 在 AA-Paperclip 中,GLiDE v1.2 每项任务平均需要约 6.3 万输入 Token,Drex Max v1.1 只需要约 9000。结果是 GLiDE 每百万项任务成本约 780 美元,接近 Drex 的 8 倍,尽管 Token 标价只高约 33%。 这给开发者一个直接提醒:调整成本时,先看请求结构和缓存策略,再看每百万 Token 单价。相同文档的多轮问题应该复用输入,能够缓存的上下文不要重复发送,评测和生产都要记录真实 Token 消耗。
我也说两句