通义千问发布首个千亿级参数开源模型

2024-04-28      来源:黄冈房产   浏览次数:3709

扫描到手机,新闻随时看
扫一扫,用手机看文章
更加方便分享给朋友

通义千问发布首个千亿级参数开源模型Qwen1.5-110B,继承Transformer架构与分组查询注意力方法,支持32K上下文长度及多语言处理。

观点:4月28日,通义千问宣布推出1100亿参数模型Qwen1.5-110B,标志着其成为全系列中首个达到千亿级参数的开源模型。该模型继续沿用了Qwen1.5系列的Transformer解码器架构,并采纳了分组查询注意力方法,显著提高了模型在推理过程中的效率。

此110B模型的一大亮点在于其能够支持长达32K的上下文长度,并且拥有卓越的多语言处理能力。它能够兼容包括中文、英语、法语、德语、西班牙语、俄语、日语、韩语、越南语以及阿拉伯语在内的多种语言,这一特性使其在全球化的应用场景中具有显著优势。

审校:武瑾莹

打赏
凡注明"来源:红安好房网"的稿件为本网独家原创稿件,引用或转载请注明出处。 【编辑:黄冈房产网】

相关文章

0相关评论

热点楼盘

更多