6月10日,据小红书技术团队消息,小红书hi lab(Humane Intelligence Lab,人文智能实验室)团队首次开源文本大模型 dots.llm1。据介绍,dots.llm1是一个大规模的Mixture of Experts(MoE)语言模型,在总共1420亿参数中激活140亿参数,dots.llm1在训练11.2T token高质量数据后,达到了可与Qwen2.5-72B相媲美的性能。
小红书首次开源文本大模型dots.llm1
未经允许不得转载:
中意知识网 »
小红书首次开源文本大模型dots.llm1