7B参数规模能力超越OpenAI !小米推出首个推理开源大模型Mimo【附大模型行业发展趋势分析】

花花2025-05-05科普教程92

据“小米大模型”公众号消息,小米开源首个为推理(Reasoning)而生的大模型「XiaomiMiMo」,联动预训练到后训练,全面提升推理能力,目前MiMo-7B的全系列模型均已实现开源。

在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

小米技术团队表示,MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段,模型通过挖掘高质量推理语料并合成约2000亿tokens专项数据,采用三阶段渐进训练策略,累计训练量达25万亿tokens。

后训练阶段则引入创新强化学习技术,包括自研的"Test Difficulty Driven Reward"算法和"Easy Data Re-Sampling"策略,有效提升模型在复杂任务中的稳定性。技术团队还开发了"Seamless Rollout"系统,使训练效率提升2.29倍,验证速度加快1.96倍。

大模型是指包含超大规模参数(通常在十亿个以上)的神经网络模型。这些模型基于神经网络结构构成,受到人脑神经系统结构的启发,由人工神经元(节点)和它们之间的连接组成。通过调整这些连接的权重,神经网络能够学习和适应输入数据的模式。当前,全球AI大模型行业正处于技术创新与商业化加速推进的阶段。OpenAI、Google、微软等美国企业在这一领域处于领先地位,主导着生成式AI、自然语言处理等技术的发展,其模型如GPT系列和PaLM等已经得到了广泛应用。

其中,中国科技公司在大模型领域掀起的开源浪潮,正以技术破局之势重塑全球人工智能创新版图。

中国大模型发展经历了三个主要阶段。初期探索阶段(2000年代初至2010年代初)主要集中在基础AI理论和小规模应用的研究,缺乏大规模数据和高性能计算资源。随着2012年深度学习的兴起,进入了快速发展阶段(2010年代初至2020年初),期间国内大企业如阿里巴巴、百度、腾讯和华为开始大力投资AI技术,推动了大模型技术的发展和应用。到了成熟与应用阶段(2020年初至今),中国在自然语言处理和计算机视觉等领域的大模型技术已达到国际先进水平,模型广泛应用于商业、医疗、法律等多个行业。展望未来,预计中国将进一步加强跨模态、多任务学习的应用,提升模型的透明度和安全性,巩固其在全球AI竞争中的地位。

_开源模型训练平台_模型开源是啥意思

当前全球的人工智能产业处于高速发展期,大模型技术引领着人工智能领域正在迈向新的发展高度。前瞻产业研究院初步测算,到2030年,我国大模型市场规模将超过2200亿元,年复合增速在40%以上。

开源模型训练平台_模型开源是啥意思_

创新工场董事长兼零一万物CEO李开复表示,在AI技术快速发展的浪潮下,2025年会是AI应用大规模落地的元年。过去两年大模型能力不断提升,在问答能力上已经远超人类。新技术持续突破,数字化AI与真实物理世界将进一步融合。较云计算,AI2.0应用层的爆发周期将缩短到两年内。超大预训练模型的价值将进一步体现在“教师模型”的角色中,其本质将更趋近于大模型时代的基础设施。学习范式正从“人教AI”到“AI教AI”转变。

前瞻经济学人APP 产业观察组

相关文章

ETF日报:中美经贸会谈联合声明对整车影响不大,对汽车零部件短期或有明显提振,可关注汽车ETF

ETF日报:中美经贸会谈联合声明对整车影响不大,对汽车零部件短期或有明显提振,可关注汽车ETF

今日大盘低开震荡,截至收盘,上证指数跌0.4%报3367.46点,深证成指跌0.07%,创业板指跌0.19%。量能方面,A股全天成交1.12万亿元,较上日小幅缩量。盘面上,汽车、机械等表现亮眼,美容护...

美银Hartnett:美国任何军事行动都会是短暂的,特朗普不希望油价涨

美银Hartnett:美国任何军事行动都会是短暂的,特朗普不希望油价涨

美银认为,美国对伊朗的军事行动将是短暂的,特朗普不希望汽油价格超过每加仑4美元。该行指出,黄金成为2025年表现最佳资产,但私人客户配置仍严重不足。而美元空头头寸拥挤,今夏最大痛苦交易可能是做多美元,...

欧盟前高官猛批欧美关税协议:极为糟糕,根本不可行!

欧盟前高官猛批欧美关税协议:极为糟糕,根本不可行!

财联社8月5日讯(编辑 卞纯)就在欧盟宣布根据欧美贸易协议推迟对美关税反制半年之际,欧盟前高官批评称,这一协议“极为糟糕”。他的批评主要集中在两方面:双方达成的协议传递出一种欧洲软弱的形象;欧盟将无法...

卓创资讯:豆粕周六普涨150元/吨 4-5月套盘确定性较高

卓创资讯:豆粕周六普涨150元/吨 4-5月套盘确定性较高

热点栏目 客户端 卓创资讯豆粕分析师王文深 【导语】清明+周末+对美征税,历史的韵脚重温18年的节奏。从豆粕现货市场表现看,关税消息发布后,沿海贸易商周六涨价幅度在150元/吨左右,略低于18年关税...

长安期货范磊:供给波动加剧 地缘降温油价或回归弱势

长安期货范磊:供给波动加剧 地缘降温油价或回归弱势

热点栏目 客户端 一、宏观 上周时间美联储各位官员接连释放了偏向鹰派的言论,其核心理由基本是在围绕目前通胀下降的路径比市场原本预期的更加曲折,同时上周五时间美联储素来青睐的通胀指标PCE物价指数也出...

日本认定谷歌公司违反《反垄断法》

日本认定谷歌公司违反《反垄断法》

据新华社,日本反垄断机构——日本公正交易委员会15日认定美国谷歌公司在日本市场违反了反垄断法,并向这家美科技巨头发出禁止令,要求其立即停止不正当竞争行为。 据悉,这是日本首次对IT巨头作出这一行政令。...