先说那个让人烦的场景
上周帮朋友看他那个客服工单分流服务。逻辑不复杂：判断用户这句话是「退款」「物流」「产品质量」还是「其他」。
他一开始用大模型，prompt 里写死四个选项，要求输出 JSON。上线三天，问题全出来了。
json.loads 偶尔失败，模型爱加「好的，根据您的问题…」这种前缀。偶尔输出个不在选项里的第五类。最要命的是延迟，一次一两秒，工单量一上来，队列就堆住了。
这类任务本质不是「生成」，是「判断」。让一个擅长写诗续写的模型去干选择题，形式上就是错配。
Laya 就是冲着这类场景来的。
它到底是个什么东西
按 README 的说法，这是一个多语言、非自回归的 System 1 决策引擎。
几个词拆开：
非自回归，意思是不逐个 token 往外吐，一次前向直接把结果算出来。没有解码循环，也就没有 JSON 解析这回事。
System 1，借的是卡尼曼那套说法，指快速直觉判断，对应的是慢思考的推理模型。
它支持三类决策：从固定选项里选一个（typed choice）、给一段文本打分（score）、以及是/否判断（yes/no）。覆盖 100 多种语言。
技术上它基于 ModernBERT 这类编码器结构，用 RLCD 的方式做强化学习训练，目标函数是严格适当评分规则（strictly proper scoring rules）。翻译成人话：训练时就在逼模型输出接近真实概率的分数，而不是随便给个 0.99。
这点在工程上很值钱。你设定一个 0.7 的阈值来决定「要不要转人工」，模型说 0.7 时，就真的有七成左右是对的。
三个我觉得真正有用的点
一、延迟从秒级到毫秒级
README 给的数字是单次前向 33ms。注意这是模型推理时间，不含网络、预处理、排队。实际服务里加个几十毫秒也正常，但和生成式的秒级比，不是一个量级。
对工单分流、评论区审核、RAG 里判断检索片段相关不相关这类高频轻量判断，这个差距直接决定了架构能不能简化。
二、Router 按请求挑 checkpoint
多语言场景老有一个尴尬：你写中文 prompt，用户发来一句夹杂英文和日文的话，模型就飘了。
Laya 带一个 router，按请求内容自动选合适的 checkpoint。你不用自己维护「什么时候加载哪个模型」这一层逻辑。这个设计从文档看是项目的一个主要卖点，也是它敢说 100+ 语言的底气。
三、输出自带校准
普通分类模型最大的坑是分数不可用于阈值。它给你 0.98，你信了，结果错得离谱。
Laya 把校准放进训练目标里，这点是我最关注的部分。因为业务上真正需要的往往不是「答案」，而是「答案 + 我该多相信它」。
装一下，看看接口
PyPI 上有包：
pip install laya
具体调用 API 我不在这儿凭印象写参数，容易写错害人。官方给了 Colab 和在线文档，照着跑一遍十分钟够了。
一个典型用法的形态是：传进去一段文本 + 一组选项（比如 ["退款", "物流", "质量", "其他"]），拿回来每个选项的分数。你在外面写一行 max() 加阈值判断就行。
比这更值一提的是 yes/no 用法。比如内容审核里「这条评论是否包含人身攻击」，同一个模型换个决策类型就干了，不用另起一套。
用之前必须知道的几件事
它不是生成模型，别指望它做抽取。 「从这段话里把订单号提出来」这种任务它不接，它只做封闭式的判断和打分。选项集要你自己定好。
选项集的质量直接决定结果。 你把「退款」和「售后」并列放进选项，模型自己也会纠结。这不是模型的锅，是标签体系没设计好。
33ms 是纯推理数字。 生产上要算上服务框架、批处理策略、冷启动。建议先按自己的 QPS 压一遍，别拿 README 的数字直接做容量规划。
领域适配还是得自己验。 校准做得好，指的是训练分布内的概率可信。你要是拿它判医疗或金融里的细分类目，务必先拿几百条真实样本跑一遍混淆矩阵，重新定阈值。
项目比较新，API 有变动可能。 截至整理时 Star 三万多，热度不低，但它还在快速迭代期。生产接入建议锁版本号。
适合谁，不适合谁
适合：要做意图分类、内容审核、检索相关性打分的后端和算法同学；多语言产品里需要一套统一判断逻辑的团队；想把「调大模型 API 做分类」这笔账算下来的项目。
不适合：需要抽取、摘要、生成的场景；标签体系还没定、处于探索期的业务；对模型可解释性有强合规要求的场景。
还有一类要提醒：如果你的分类任务样本量充足，几百条标注就能训一个小模型，那其实不必上这个。Laya 的价值在零样本和低标注成本这一侧。
我会怎么用它
我的判断是，它更像一把「决策层」的螺丝刀，不是万能工具箱。
合理的架构是把它放在流程的前置位：先做一轮快判断，把明显能定的分掉，剩下的模糊样本再交给大模型或者人工。这样既压了成本，也压了延迟。
至于要不要现在就上生产，我的建议是先在旁路跑两周，只记录不决策，拿它的分数对照真实结果。校准好不好看，两周数据比任何 benchmark 都实在。
你们现在线上做分类，是硬扛大模型，还是已经换成小模型了？踩过什么坑，评论区聊聊。
项目卡片
- 项目：Laya
- GitHub：NandhaKishorM/laya
- 技术栈：Python / PyTorch / ModernBERT
- 运行环境：PyTorch，支持 PyPI 安装
- 状态：活跃迭代中，截至整理时约 31k Star
- 适合人群：要做意图分类、审核判断、相关性打分的开发者
本期项目
评论区