MiniMax 国内首个 MoE 大语言模型上线 拥有处理复杂任务能力
2024-01-16 17:51:28 已围观 61 次来源:互联网编辑:凯旋生活网
【网易科技1月16日报道】今日,MiniMax宣布国内首个MoE大语言模型abab6上线,经过了半个月的内测和部分客户反馈,该模型在MoE结构下,拥有处理复杂任务的能力,并在单位时间内提升了训练效率。相较于之前版本abab5.5,在处理更复杂和对模型输出有更精细要求的场景中做出了改进。
据介绍,自2023年4月发布开放平台以来,MiniMax已服务近千家客户,包括金山办公、小红书、腾讯、小米和阅文等多家互联网公司。MiniMax开放平台平均单日token处理量达数百亿。
据了解,MiniMax表示abab5.5与先进模型GPT-4相比仍有差距,主要表现在处理更复杂场景时可能违反用户要求的输出格式或发生错误。为解决此问题,MiniMax自6月份开始研发MoE模型abab6,参数规模更大,有望在复杂任务下取得更好效果。
此外,扩大参数规模可能带来推理速度降低和训练时间延长的问题,为保证abab6的运算速度,MiniMax采用MoE结构,将模型参数划分为多组“专家”,每次推理只有一部分专家参与计算。这一结构使abab6在处理复杂任务时更为高效,目前是国内首个千亿参数以上的基于MoE结构的大语言模型。(江淼)
- 1以赛促旅推动经济发展,四川各地谋新求变争当“显眼包”
- 2库克的60条商业思考:苹果公司一直在遵照“北极星”的指引
- 3新经济观察|体育消费产业环节众多,折射消费升级新活力
- 4新经济观点 | “未成年人模式”来了,给网络防沉迷带来哪些新变量?听听专家怎么说
- 5安华农险股权变阵:三股东同步退出,第一大股东融捷集团接盘
- 6行走成都丨夜晚蜂拥而出的成都年轻人,都打车去了哪里?
- 7斗鱼Q2财报:利润增至6140万元,连续三个季度实现增长
- 8实现多种细胞的图案化共培养,浙大团队发展细胞排布新方法,为细胞的生物制造带来替代策略
- 9攀登AI for Science新高峰,《2023科学智能全球发展观察与展望》看到未来 |元璟科技分享
- 10iOS 17.3 已修复,“快捷指令”高危漏洞被披露:可发送敏感数据