Mira Murati 的首个开放模型:每处理一个 token,只启用 410 亿参数
OpenAI 前 CTO Mira Murati 创办的 Thinking Machines Lab,发布了公司第一个自研大模型 Inkling。它能读文字、看图片、听音频、写代码和调用工具,完整权重可以下载,也能在 Tinker 上继续训练。
一分钟速览
- OpenAI 前 CTO Mira Murati 创办的 Thinking Machines Lab,发布了公司第一个自己从头训练的通用大模型 Inkling。
- 官方开放了完整模型权重,开发者可以下载、部署和继续训练。大家常把这类模型叫“开源模型”,更准确的说法是“开放权重模型”。
- 它能处理文字、图片和音频,能写代码、调用工具、操作网页,也能完成持续几十轮的复杂任务。它只输出文字,不直接生成图片或语音。
- 它有 9750 亿总参数,但处理每个 token 时只启用约 410 亿参数。可以把它理解成一家公司有很多专家,每项工作只找最合适的几个小组参与。
- 开发者可以调节它思考多久。简单任务少想一点,复杂任务多想一点,用输出长度换速度、成本和准确率。
- Thinking Machines Lab 同时提供 Tinker 微调、Playground、Cookbook 和第三方部署服务,覆盖试用、继续训练和部署。
- 它的单项能力没有全面超过头部模型,而且自己运行最低仍需要约 600GB 显存,普通用户更适合通过在线服务使用。
OpenAI 前 CTO 离职创业一年多,交出第一款自研模型
Mira Murati 曾担任 OpenAI CTO,2024 年 9 月离开 OpenAI,随后在 2025 年创办 Thinking Machines Lab。公司吸引了多位来自 OpenAI 的研究人员,把重点放在让企业和开发者更容易理解、修改和训练模型。
Thinking Machines Lab 最先发布的产品是模型微调平台 Tinker。开发者提供自己的数据和评分方法,Tinker 负责微调开放权重模型。当时 Thinking Machines Lab 还没有自己的基础模型。
2026 年 7 月 15 日,公司发布 Inkling。这是它第一个自己从头训练并公开的通用大模型。完整权重放在 Hugging Face,采用 Apache 2.0 许可证,同时直接接入 Tinker。公司由此有了“自己的模型+自己的训练平台”。
那么,Inkling 到底是什么?
一句话说,Inkling 是一个可以下载、部署和继续训练的多模态基础模型。它能接收文字、图片和音频,也能写代码、调用工具和操作网页。它不是面向普通用户的独立聊天 App,更像一台通用发动机:开发者可以把它装进编程助手、客服、资料分析工具、网页代理或企业内部系统。
大模型训练完成后,会留下大量决定模型如何回答问题的数字,它们就是模型权重。Inkling 把完整权重放到 Hugging Face,并使用 Apache 2.0 许可证,开发者可以下载、部署和修改。但官方没有因此把全部训练数据、训练代码和训练过程一并公开。所以大家口头上可以说“开源模型”,更准确的技术说法是“开放权重模型”。
它和普通开放模型有什么不一样?
不少开放权重模型的发布重点是权重文件。Inkling 从发布第一天就接入 Tinker。开发者可以先在 Playground 里试模型,再把自己的数据、评分规则和训练任务交给 Tinker,得到更适合自己业务的新版本,最后下载或交给第三方服务部署。
只下载模型权重
还要自己准备训练代码、数据格式、评测、GPU 集群和部署工具,工程门槛依然很高。
Inkling 加上 Tinker
从试用、准备数据、继续训练、评测到部署可以沿着同一条链完成,少搭很多基础设施。
核心亮点:Inkling 有多厉害?
先看全局位置。官方把 Inkling 和四个代表性模型放在十项测试里比较。蓝色粗线是 Inkling:没有哪一项压倒所有对手,但代码、工具、视觉、音频、事实性和指令遵循没有明显断板。这正是它作为“可继续训练的通用底座”的定位。
1. 规模:9750 亿参数,还有一个更快的小版本
Inkling 原版拥有 9750 亿总参数,采用混合专家架构。模型处理每个 token 时,只启用其中约 410 亿参数。它最多支持 100 万 token 的上下文。这里说的是 token,不是字符;Tinker 当前提供的实际使用档位是 64K 和 256K。
Inkling-Small 预览版拥有 2760 亿总参数,每个 token 激活约 120 亿参数。因为预训练数据和训练方法升级,它在不少测试中接近甚至超过原版,速度更快、成本更低。但并非每项测试都一样强,Small 的完整权重也还没有发布。
Inkling
每个 token 激活 410 亿参数
最大上下文 100 万 token
Inkling-Small
每个 token 激活 120 亿参数
重点降低延迟和成本
2. 可控思考:想多深,由开发者决定
很多推理模型会自己决定思考多久。简单任务也可能输出很长的内部推理,增加等待时间和费用。Inkling 把这个选择交给开发者。发布页展示了从 0.2 到 0.99 的思考强度:数值低,回答更快、更省 token;数值高,模型会花更多时间处理数学、代码和多步任务。
3. 原生多模态:从训练开始就能看图、听声音
Inkling 的视觉和音频组件从头训练。声音先变成模型能读取的频谱图,图片切成 40×40 像素的小块。它们经过轻量转换后,与文字一起进入同一个模型处理,不需要先把所有内容转写成文字。
或调用工具
听觉方面:它能转写语音、听从声音指令、回答录音问题,也能分析较长音频。
视觉方面:它能看图表、公式和数学示意图。遇到细节时,还可以调用 Python 放大或裁切图片。
4. 实际干活:没把握时少猜,接到任务能持续做下去
没把握时少猜:训练团队设计了允许放弃回答的奖励。短问答只有答对才得分;没有把握时,说“不知道”或给出保留判断更合算。另一套评分器会搜索网页,检查回答中的事实。这能减少自信地瞎编,但不能保证模型永远不犯错。
动手能力:它被训练来写代码、执行程序、读写文件和操作网页。官方用完整任务展示它能否把工作持续做下去。
一次生成求职网页,再操作网页填表
Inkling 先根据一句需求生成求职申请网页,页面包含职位介绍、联系方式和申请理由。接着,嵌入网页里的自动执行程序读取用户保存的个人资料,把表单填完。这段演示同时用到了写代码、生成界面和浏览器操作。
接受 40 轮评审反馈,持续修改多人游戏
另一个任务是制作多人贪吃蛇。要求里包含服务器统一计算游戏状态、玩家和机器人同场、碰撞规则、排行榜、测试和启动说明。Inkling 先做出版本,再根据 GPT Codex 的评审连续修改 40 轮。这个例子展示的是长任务能力:模型能保存上下文、接收批评、反复运行测试并继续修正。
制作 9 页旅行杂志
模型搜索六座城市的早餐资料和图片,整理成一份风格统一的 PDF,包括封面、城市专题、对比页和参考资料。
调用 Tinker 完成一次微调
模型写训练代码、准备数据、设置评分规则、调用 Tinker 训练,再让外层程序换到新的模型权重。
微调演示的目标很具体:让模型以后所有英文回答都避开字母 e。模型先写一个评分函数,只要输出里出现 e 就得 0 分,没有 e 就得 10 分;随后生成训练数据和配置,通过 Tinker 完成 32 批次、3 轮、共 96 步训练。
背后的“黑科技”与趣闻
越学越省话:内部思考变成“电报体”
Inkling 的预训练数据包含文字、图像、音频和视频,共 45 万亿 token。后训练又进行了超过 3000 万次强化学习任务尝试。一次尝试可以理解成模型完成一遍工作、得到评分,再根据结果改进。
训练团队发现,随着强化学习继续,模型内部的思考会自动缩短。早期句子完整、连接词很多;后期会省掉冠词、介词和部分语法,变成像电报一样的短句,但仍能得到相同的最终答案。这个变化没有被写进奖励目标,是模型在 token 成本压力下自己学出来的。
强化学习早期
“我们需要理解这个算子。这个五维线元素是……”
句子完整,但内部推理更长。
强化学习后期
“需要确定特征值问题……内部度量是……”
省掉连接词,保留推理骨架。
舍弃主流 RoPE,改用相对位置编码
很多大模型使用 RoPE,也就是旋转位置编码,帮助模型记住内容在长文中的位置。Inkling 改用相对位置编码,更关注两段内容相隔多远。它的注意力层还按 5∶1 交错:连续五层先看附近信息,下一层再看整个上下文。
常见做法:记录内容所处位置
模型给每段内容加入位置信息。文本长度明显超过训练范围时,位置变化可能影响稳定性。
Inkling:记录内容之间的距离
模型更关注两段内容隔了多远。发布团队测试中,处理超过训练长度的长序列时表现更稳。
怎么才能用上它?
想直接玩:进入 Tinker 的 Inkling Playground,目前可以限时免费试用。
想微调或二次开发:完整权重已经上传到 Hugging Face,并提供适配 NVIDIA Blackwell 显卡的 NVFP4 量化版本。需要用自己的数据继续训练时,可以使用 Tinker 和官方 Cookbook。
下载得到,不代表普通电脑跑得动
Hugging Face 上的完整权重约占 1.9TB。BF16 版本至少需要约 2TB 聚合显存;NVFP4 量化版本最低仍需要约 600GB。普通开发者更适合使用 Playground、第三方 API 或 Tinker,自托管属于数据中心级工作。
展开查看:主要跑分和测试口径
Inkling 在代码、工具调用、图像、音频、知识问答和安全测试里都有成绩,能力覆盖较广,但没有全面超过头部开放或闭源模型。
这些测试衡量不同能力,分数不能横向比较难度。成绩按最高思考强度 0.99 报告,工具环境也会影响代码测试;预测、音频和部分视觉结果使用团队内部测试,仍需第三方复测。
模型卡还列出安全缺口:角色扮演或间接包装的有害请求,偶尔能绕过拒答。面向公众部署时仍需增加内容过滤、限流和监控。
Inkling:从只交一份权重,变成模型、训练和部署连成一条路
Thinking Machines Lab 的第一个自研开放权重模型,能同时读文字、图片和音频,还把继续训练的入口一起交给开发者。
↓ 一页读完 · 有一张会动的图
Inkling 是一个可以下载、部署和继续训练的多模态基础模型。它不是独立聊天 App,更像能装进编程助手、客服、资料工具和网页代理的通用发动机。
✘ 但只拿到权重,训练代码、数据格式、评测、GPU 集群和部署工具仍要自己搭
这正是旧摩擦:模型文件开放了,继续训练和真正上线仍是另一套重工程。
Inkling 从发布第一天就接入 Tinker。开发者可以先试玩,再用自己的数据和评分规则继续训练,最后下载新版本或交给第三方服务部署。
自己准备训练与评测
自己组织 GPU 集群
自己补部署工具
Tinker 继续训练
Cookbook 提供做法
下载权重或第三方部署
完整权重采用 Apache 2.0 许可证。更准确地说,它是开放权重模型,因为训练数据、训练代码和完整训练过程没有一并公开。
Inkling 有 975B,也就是 9750 亿总参数。但处理每个 token 时,并不会把它们全部跑一遍,只启用约 41B,也就是 410 亿参数。
Inkling 不只把模型做大,还把“想多久”和“看什么”放进同一套模型里。
0.99:数学、复杂代码和多步任务多想
用输出长度交换速度、成本与准确率
图片切成 40×40 像素小块
声音变成频谱图,三种输入共同推理
Inkling 可以下载,不等于它适合在个人电脑自托管。完整权重约 1.9TB,最低显存要求仍是数据中心级。
✘ 自托管属于数据中心级工作;模型能力也没有全面超过头部模型
面向公众部署还要补内容过滤、限流和监控,因为模型卡承认某些包装过的有害请求可能绕过拒答。
- × 继续训练很重
- × 真正上线很重