发布日期:2026-09-23

Laya是ConvAI Innovations于2026年9月18日开源的非自回归AI决策模型,基于ModernBERT双向编码器,一次前向传播约33ms直接输出结构化判断与校准概率,不生成文本。Jev是TypeSafe AI同期推出的闭源决策模型,主打System 1瞬时直觉决策。两者思路一致:把Agent里大量LLM分类路由调用替换为专用判断模型。本文解析Laya定义、原理、与Jev的实测差距与选型建议。


Laya是什么?

Laya是开源的System 1决策模型家族,模型不做文本生成,只做判断。根据AI工具集2026年9月21日说明,Laya基于ModernBERT-large 421M或mmBERT-base 322M,对一段文本加类型化问题只做一次前向,输出结果与校准概率,内置语言路由支持100+语言。

它解决的是AI工程里的大量小事:邮件是不是钓鱼、工单分给谁、提示词有无注入。传统做法是调大模型等几百毫秒再从文本抠答案,Laya干脆不生成,直接给概率。

相关实体包括ConvAI Innovations、TypeSafe AI、Hugging Face、ModernBERT,以及方法RLCD、System 1决策。

Jev是什么?

Jev是前OpenAI核心研究员Diogo Almeida创立的TypeSafe AI推出的专用决策大模型,号称首个快到不可思议的决策模型。据百家号2026年9月20日报道,Jev专注System 1瞬时直觉,将数秒级分类路由压缩到百毫秒级。

Jev被定义为System One Model:输入非结构化,输出预定义类型决策、概率与置信度,训练方法称为RLCD。对应Python方法名都叫system_one,Laya完全沿用了这套接口。

Jev采用封闭专有模式,仅API调用,未开源技术权重,单价约0.042美元/百万Token。

技术原理:为什么能33ms?

两者都是双向非自回归架构,这是快与准的来源。

  • 双向编码可见:输入Token同时看前后文,为每个候选分配独立MASK位,一次前向输出全部logits。

  • 零输出Token:不逐字生成,请求格式与Jev如出一辙,无解析负担,无幻觉。

  • RLCD训练:以对数、球面等严格真评分规则为奖励,只有输出真实后验才高分,不确定时置信自然降低。

  • 语言路由:Router在0.5ms内检测语种,自动分发英文或多语言checkpoint,避免英文模型在非拉丁文上以0.95置信答错。

  • 温度拟合:出厂偏过度自信,需按问题类型拟合温度,Laya ECE可从0.466降至0.081。

根据知乎2026年9月22日实测,Laya贪吃蛇每步都是真实NPU推理,嵌入请求链路无压力。

Laya和Jev有什么区别?

基准显示Laya全面领先,但短板同样明显。

维度

Laya开源

Jev闭源

协议

Apache-2.0权重开放

闭源仅API

延迟单题

32.8ms T4

236-276ms p50

typed准确率

0.766

0.727

ECE校准

0.081拟合后

0.246

速度

快约7.8倍

基准

语言

100+自动路由

无多语言基准

成本

本地0元

0.042美元/百万Token

Banking77多分类

0.425弱

0.870强

开箱

需微调才准

默认可用

隐私

可本地不出境

需上传API

数据来源:中文媒体与AI工具集2026年9月,T4实测与第三方评测。

一句话总结:Laya更快更准更免费,但高基数分类与零样本开箱不如Jev;Jev是拿来即用的商业API,Laya是需调优的开源底座。

开发者可通过标准接口快速验证,例如七牛云推理服务兼容主流调用格式,国内可直接访问,适合把Laya本地版与云端API做同题对比。

pip install laya
from laya import Router
router = Router(preload=True)
state = {"from": "user@x.com", "subject": "账单翻倍", "body": "请退款"}
questions = [{"type": "choice", "instructions": "分诊", "criteria": ["billing","technical","sales"]}]
res = router.predict(state, questions)
print(res["answers"], res["routing"])

包名与接口仍在快速迭代,以GitHub仓库为准。

适合什么场景?

  • 工单分诊:部门归属、紧急度、流失风险,高置信自动派单。

  • 内容审核:毒性骚扰威胁noul概率,UGC实时过滤。

  • 提示注入防护:Agent入口33ms检测越狱密钥泄露。

  • 模型路由:判断走小模型还是旗舰,省推理费。

Laya 9月18日建仓三天6693星,登顶Hugging Face热榜,已有laya-mlx本地版。2026年9月23日新浪报道确认其热度仍在攀升。

常见问题

Q:Laya是什么?一句话怎么理解? 开源的非自回归决策模型,不写文章只做判断,33ms输出分类打分与概率,Apache-2.0可本地部署。

Q:Laya和Jev最大区别是什么? Laya开源免费快7.8倍,准确率0.766超Jev的0.727;Jev闭源API开箱即用,高基数分类0.87远超Laya的0.425。

Q:Laya怎么用?需要GPU吗? pip安装后Router预加载三checkpoint,T4单题33ms,批量7.2ms,CPU也可跑,Kaggle有完整RLCD微调notebook。

Q:该选Laya还是Jev? 要隐私零成本选Laya并做温度拟合;要省事多分类强选Jev API;多数团队是Laya本地做高频,Jev做兜底。

Q:概率能直接放行吗? 拟合后ECE 0.081才可按0.85阈值自动放行,否则先转人工,出厂未拟合版接近随机,切记先校准。

总结

Laya是用开源抢回概念的一次闪电战:与Jev同范式,更快更准免费,但需微调。据2026年9月中文媒体与实测,typed任务选Laya,高基数开箱选Jev。本文基于2026年9月数据,接口仍在0.1到0.3快速迭代,以仓库为准。

参考资料: