斜视手术

首页 » 常识 » 预防 » 2457亿参数全球最大AI巨量模型源
TUhjnbcbe - 2023/7/7 20:08:00

编辑:好困yaxin

古代文人,或一觞一咏,畅叙幽情,或风乎舞雩,咏而归。「吟诗作对」成为他们的标配。刚刚,全球最大人工智能巨量模型「源1.0」发布,能赋诗作词,比人类还像人类。

理科生文艺起来,可能真没文科生什么事儿了。

不信?你看看这首七言诗:

虽非蟾宫谪降仙,何惧冰殿冷彻骨。

窥帘斜视金屋小,多少俊才在此关。

读完之后,不得不说真牛啤!意境内涵都很赞。

不仅能写诗,还能做词,比如下面这首:

疑是九天有泪,

为我偷洒。

滴进西湖水里,

沾湿一千里外的月光,

化为我梦里的云彩。

你能想象,这是完全不懂写诗的理工生的杰作吗?

确实如此。简直让李白看了会沉默,让杜甫看了会流泪。

这就是浪潮刚刚发布的全球最大规模人工智能巨量模型,名曰「源1.0」。

除了能够作诗赋词,它还能对话、写对联、生成新闻、故事续写...

亿参数,这个全球最大规模人工智能巨量模型可是读了亿词。

要知道,一个人的一生也没有办法读完这么多词语。

既然称为全球最大,有多大?

全球最大规模人工智能巨量模型!

全球最大这个称号可不是闹着玩的!

「源1.0」不管是在算法、数据还是算力上,都做到了超大规模和巨量化。

算法方面,相比于亿参数的英文语言模型GTP-3,「源1.0」共包含了亿个参数,是前者参数量的1.倍。

而且,最重要的是,「源1.0」和GPT-3一样都是单体模型,而不是由很多小模型堆砌起来的。就单单在这一个方面,「源1.0」就可以荣登全球最大的自然语言理解模型了。

图源:writeup.ai

数据方面,「源1.0」几乎是把近5年整个中文互联网的浩瀚内容全部「读」完了。通过自研的文本分类模型,获得了5TB高质量中文数据集,在训练数据集规模上领先近10倍。

此外,「源1.0」还阅读了大约个亿词。这是什么概念呢?

假如人一个月能读十本书,一年读一百本书,读50年,一生也就读本书,一本书假如20万字,加起来也只有10亿字,需要一万年才能读完亿词。在如此大规模的数据加持下,「源1.0」的数据集也自然成为了全球最大的高质量中文数据集。

算力方面,「源1.0」共消耗约PD(PetaFlop/s-day)。相对于GPT-3消耗PD计算量得到亿参数,计算效率大幅提升。如果说,让「源1.0」一天24小时不间断「阅读」的话,只需要16天就可以看完近五年中文互联网的几乎全部内容。

嗯?原来已经把近5年的中文互联网内容全学完了?

u1s1,「源1.0」yyds!

成果如何呢?

你猜,这些对话中,每个问题对应的A和B中,哪个是「源1.0」生成的呢?(答案在文末)

亲自体验「图灵测试」是不是很好玩?别急,后面还有很多题等着呢!

现在我们先来看看「源1.0」最厉害的模仿能力。也就是,对于一个完全不存在的「词语」,只需要一个用例,「源1.0」就能学会这个「词语」的用法。

看到这些熟悉的「词」是不是感觉有那味了(doge)。突然有些期待,如果「源1.0」学会了「小丑竟是我自己」这个词会怎么用,诶嘿嘿。

既然提到了图灵测试,那我们就来看看测试的结果怎么说?

「源1.0」在测试中实现了高达50.84%的平均误判率!

图灵测试采用「问」与「答」模式,即观察者通过控制打字机向两个测试对象通话,其中一个是人,另一个是机器。观察者不断提出各种问题,从而辨别回答者是人还是机器。

通常认为,进行多次测试后,如果机器让平均每个参与者做出超过30%的误判,那么这台机器就通过了测试,并被认为具有人类智能。

在「源1.0」的测试结果中,受访者的平均区分正确率是49.16%,这意味着平均误判率为50.84%。在新闻生成这一领域,误判率更是高达57.88%。

其中,正确率是指能正确将机器生成的文本识别出来的比例。正确率70%,意味误判率超过30%。

数据看着太单调?没事!大家期待的「真题」环节来了!

答案在文末哦~

世界第一是怎样一种体验?

那么,这个拿下世界第一的最大AI模型,到底有多强?

不如拉出来跑个分、刷个榜看看!

英文语言模型评测有GLUE、SuperGLUE,例如GPT-3这类的各种预训练模型都会在上面进行评估。和GLUE类似,CLUE是中文第一个大规模的语言评估基准。其中包了括代表性的数据集、基准(预训练)模型、语料库和排行榜。而这些数据集也会覆盖不同的任务、数据量、任务难度等。

顺便安利一下最近新出的国内首个以数据为中心的AI测评DataCLUE。

言归正传,「源1.0」占据了零样本学习(zero-shot)和小样本学习(few-shot)2项榜单的榜首。

在ZeroCLUE零样本学习榜单中,「源1.0」以超越业界最佳成绩18.3%的绝对优势遥遥领先。其中,在文献分类、新闻分类,商品分类、原生中文推理、成语阅读理解填空、名词代词关系6项任务中获得冠*。

1
查看完整版本: 2457亿参数全球最大AI巨量模型源