中意知识网 中意知识网

当前位置: 首页 » 常用知识 »

小红书首次开源文本大模型dots.llm1

6月10日,据小红书技术团队消息,小红书hi lab(Humane Intelligence Lab,人文智能实验室)团队首次开源文本大模型 dots.llm1。据介绍,dots.llm1是一个大规模的Mixture of Experts(MoE)语言模型,在总共1420亿参数中激活140亿参数,dots.llm1在训练11.2T token高质量数据后,达到了可与Qwen2.5-72B相媲美的性能。

未经允许不得转载: 中意知识网 » 小红书首次开源文本大模型dots.llm1