复旦大学 MOSS 团队:MOSS 参数规模约是 ChatGPT 的 1/10 今日热议
发布时间:2023-03-02 09:59:52 文章来源:IT之家
当前位置: 主页 > 资讯 > 国内 > 正文


(相关资料图)

3月2日消息,自从ChatGPT爆火以来,各大科技公司都争相推出了相关竞品。而国内方面,复旦大学抢先一步,自然语言处理实验室已推出国内第一个对话式大型语言模型——MOSS。

MOSS来自复旦大学计算机科学技术学院教授邱锡鹏团队,名字与《流浪地球》电影中的AI同名,已发布至公开平台(附官网地址https://moss.fastnlp.top/),邀请公众参与内测。

MOSS与ChatGPT相比,有哪些主要差异?据澎湃新闻,复旦大学计算机科学技术学院邱锡鹏团队表示,最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。

我们选择百亿规模这样级别的参数,是因为学术界主要是做一些探索性的技术,这个规模也在财力物力承受范围之内。我们认为在这个参数级别上,这些模型也能涌现出一定的智能能力,我们也能赋予它们对话的能力。实验结果证实了我们的猜想,MOSS模型可以非常顺利地与人类进行聊天互动。

MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径,将于后期进行开源。

据第一财经,邱锡鹏在2023年世界人工智能开发者先锋大会上表示,如果优化顺利,计划在三月底开源MOSS。

据介绍,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

另据上观新闻报道,邱锡鹏教授团队表示,MOSS目前的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。MOSS还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。

标签: 语言模型 复旦大学计算机科学技术学院 公众参与

最近更新