OpenAI 终于开源了!16GB 内存就能跑,这波操作太狠了!
家人们,等了整整 6 年!从 2019 年 OpenAI 第一次说要开源,一直到 2025 年,这 “开源鸽王” 的封号今天终于能卸任啦!就在今天,OpenAI 正式开源了自家的两款模型:gpt - oss - 120b 和 gpt - oss - 20b,还发布了中文介绍《隆重推出 gpt - oss》。
最早在 2019 年,OpenAI 就明确提出要开源了,这一等就是 6 年啊,各位。
这次开源的两款模型,都是基于 Apache 2.0 许可证的轻量级语言模型,不仅能商用,还都采用了 Transformer 架构和专家混合(MoE)技术。gpt - oss - 120b 大约有 1170 亿参数,每个 token 激活约 51 亿参数;gpt - oss - 20b 有 210 亿参数,激活约 36 亿参数,而且都支持最长 128k 的上下文长度。
重点来了!这两款模型对内存的要求一点都不高。gpt - oss - 120b 在核心推理测试里,表现几乎和 OpenAI 自家的闭源 o4 - mini 模型差不多,关键是它能在单个 80GB GPU 上高效运行;gpt - oss - 20b 性能接近 o3 - mini 模型,只需要 16GB 内存就行,家里有普通电脑或者想放在边缘设备上用的朋友,有福了!
下面给大家详细说说这两款模型的参数:
模型 | 层数 | 总参数 | 每个令牌的活跃参数 | 总专家数 | 每个令牌的活跃专家数 | 上下文长度 |
---|---|---|---|---|---|---|
gpt - oss - 120b | 36 | 117b | 5.1b | 128 | 4 | 128k |
gpt - oss - 20b | 24 | 21b | 3.6b | 32 | 4 | 128k |
这两款模型是用主要是英文的纯文本数据集训练的,重点关注了 STEM、编程和通用知识这些领域。而且,它们用了 OpenAI o4 - mini 和 GPT‑4o 所用令牌化器的超集来进行数据令牌化,也就是 ‘o200k_harmony’,这个令牌化器今天也一起开源啦。
接下来说说大家最关心的怎么部署。 现在 gpt - oss - 120b 和 gpt - oss - 20b 这两个模型,已经能在 huggingface 上下载了: https://huggingface.co/openai/gpt - oss - 120b https://huggingface.co/openai/gpt - oss - 20b
个人用户我建议试试 20b 模型,只需要 16GB 显存。毕竟不是谁都有 80G 显存去部署 120b 模型的,哈哈!
要是用 Ollama 安装 20b 模型,操作也简单:
# gpt - oss - 20b
ollama pull gpt - oss:20b
ollama run gpt - oss:20b
下载量大概 14GB,下载好了就能用 Ollama 开始对话了。
除了自己下载安装,现在还能直接在线试用这两个模型: https://gpt - oss.com/ 官方还支持联网呢!
给大家对比一下测试数据:
测试项目 | DeepSeek - R1 - 32B(蒸馏/推理版) | gpt - oss - 20B |
---|---|---|
GPQA Diamond | 71.5~81.0 | 71.5 |
Humanity's Last Exam | 8.5~17.7 | 17.3 |
AIME 2024(数学) | ~91.4(更高版本) | 96.0 |
综合智力指数(人工分析) | 48~49 (推理/逻辑优势) | 51 |
实际推理/代码/复杂任务 | 较强,近 o1 - mini、Qwen 32B | 略高一档于同等规模 Llama,实测近 o3 - mini |
从数据能看出来,gpt - oss - 20b 在很多方面的表现都很不错。如果 16GB 显存就能部署一个性能接近 o3 - mini 的纯文本本地模型,那在家里用起来可就太方便了。
最后我想问大家,你会在自己家里整一个这样的模型吗?
版权声明:
作者:氧化菠萝
链接:https://www.oxida.cn/openai-finally-open-source-you-can-run-with-16gb-of/
来源:氧化菌菠萝
文章版权归作者所有,未经允许请勿转载。