首页 > 新闻舆情 > 快讯 > 商汤“书生・浦语”2.0大语言模型开源

商汤“书生・浦语”2.0大语言模型开源

快讯 零壹财经 零壹财经 2024-01-17

关键词:商汤大语言模型开源


1月17日讯,商汤科技与上海AI实验室联合香港中文大学和复旦大学发布了新一代大语言模型书生・浦语2.0(InternLM2)。
 
据介绍,InternLM2是在2.6万亿token的语料上训练得到的。沿袭第一代书生・浦语(InternLM)设定,InternLM2包含7B及20B两种参数规格及基座、对话等版本,继续开源,提供免费商用授权。目前,浦语背后的数据清洗过滤技术已经历三轮迭代升级,号称仅使用约60%的训练数据即可达到使用第二代数据训练1T tokens的性能表现。

据介绍,通过拓展训练窗口大小和位置编码改进,InternLM2支持20万tokens的上下文,能够一次性接受并处理约30万汉字(约五六百页的文档)的输入内容。InternLM2在20B参数的中等规模上,整体表现接近ChatGPT。(IT之家)

耗时 130ms