小米开源“XiaomiMiMo”大模型:以7B参数超越OpenAIo1-mini

ZAKER 科技 4 月 30 日消息,"Xiaomi MiMo" 公众号今日发文宣布,小米开源首个 " 为推理而生 " 的大模型 Xiaomi MiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo 是来自全新成立不久的 " 小米大模型 Core 团队 " 的初步尝试。

在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。

后训练:核心是高效稳定的强化学习算法和框架算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

审计非标意见暴露田野股份多重风险:收入虚增疑云与内控失效下的退市危机

中国4月制造业PMI为49%,较上月下降1.5个百分点

自营投资拖累业绩 财通证券一季度营收净利双降

本轮巴以冲突已致加沙地带52365人死亡

习近平在上海考察时强调,加快建成具有全球影响力的科技创新高地

惠发食品(603536)业绩预告收警示函,或引发股民索赔

百达翡丽花50亿造新厂,年产量将逐步提升

关税对欧洲银行业影响几何 德银和汇丰业绩中可找寻答案

林毅夫:到2049年中国经济体量有望达到美国的两倍

“北大第一村官”、财政部司长吴奇修4月25日被带走

退市新规后首个年报季 组合类财务退市指标“亮剑”显威

万亿GDP城市一季报陆续出炉:17地经济增速跑赢全国,这一城动能最强

东风着陆场近日气象条件满足神舟十九号安全返回要求

钢琴卖不动了?珠江钢琴与海伦钢琴利润三位数暴跌

光大期货:4月30日能源化工日报

浦发银行:一季度实现归母净利润175.98亿元,同比增长1.02%

智能终端出海服务创新联合体成立

五大国有银行明确将撤销监事会

传将分拆中国业务英伟达:完全为假消息

从孔雀尾巴到蒙娜丽莎,一个鸟类学博士眼中的“美”

<< 上一篇

神舟十九号载人飞船返回舱成功着陆 神舟十九号载人飞行任务取得圆满成功

下一篇 >>

千味央厨业绩变脸:传统油炸食品卖不动了? 费用激增拉低净利润

版权声明

除非注明,文章均由 24小时全国售后服务客服热线-全国官方售后服务点热线号码 整理发布,欢迎转载。

转载请注明本文地址:http://qlzijzu.com/post/58988.html

相关文章