武陵观察网 科技 有关ChatGPT的一些非专业认知

有关ChatGPT的一些非专业认知

本文来自微信公众号:萧良善(ID:giftxiao),作者:萧良善,头图来自:视觉中国

我从2020年开始做AI传播,由于是非专业出身,这几年一直在努力学习和消化,也希望让更多非专业人士能懂AI。

ChatGPT兴起后,我以最大热情去阅读论文和各种专业材料,包括反复请教大模型方向的的专家,对ChatGPT逐渐形成了一些基础认知。因为最近不少非AI专业的朋友对ChatGPT很感兴趣,今天分享出来希望能对大家有用。

一、ChatGPT不是聊天机器人

ChatGPT的内核是大语言模型(LLM,也称大模型)本质是“生成”(Generation),对话只是个表皮。所以ChatGPT用在其他领域,比如微软将其与办公软件结合(智能写邮件),与搜索引擎结合,这是再正常不过的事情。

也不要因为“生成”,而对AI开始惊讶。遮盖掉句子中的一个词,让AI进行填空也是“生成”,这种完形填空已经是AI领域里存在几十年的经典任务。只不过以前AI只需要根据上下文“猜出”中间那一个词,现在要“猜出”后面一堆的词,甚至形成一篇通顺的文章。

完形填空这个逻辑还能套用在AI作画上,遮掉一张人脸照片中的眼睛,AI可以凭借数学计算补上一双它想象出的眼睛。AI作画就是靠这样一点点地猜想,不断地做拼图,最后形成一张全新的画面。

二、ChatGPT不是突然冒出来的,而是学界持续研究的结果,是大模型路线的胜利

ChatGPT发展的根源是预训练模型的发展。预训练模型首先要归功于谷歌2017年提出transformer架构,爆发点是OpenAI在2020年提出的GPT-3,1750亿的超大参数带来了很多超乎想象的能力,AI开始能够写作文、写代码等,曾经引起科技圈的不少讨论。

预训练模型是AI的全新研究范式,能够让AI从传统任务型模型(一千个任务需要一千个模型,研发成本高),走向一个模型解决多种任务(先训练一个基础模型,然后再针对下游任务进行微调),大模型更是如此,其目标是one for all,一个模型解决所有任务,这就离通用人工智能不远了。

但不是所有人都看好大模型,暴力美学毕竟不太优雅,一些顶级AI学者在尝试其他道路,比如朱松纯一直在提倡小数据、大任务。他回国建立了北京通用人工智能研究院,其愿景和OpenAI极为相似,都是发展通用人工智能。

三、ChatGPT是伟大的AI产品,但未必是0-1的原始创新。

图灵奖得主杨立昆最近批评ChatGPT缺乏创新,虽然听起来有点酸,但也反映了一种重要的视角。对于AI研究者来说,真正的原始创新,是CNN、BP、GAN、Transformer这样的重大理论创新,他们构成AI的基石。

ChatGPT的伟大更多是工程上的,证明了大模型+HFRL(基于人类反馈的强化学习)的技术路线的成功。它既不是HFRL的提出者,那是谷歌在2017年提出来的;ChatGPT重点使用的强化学习算法PPO,也是业界的成熟算法。

杨立昆的批评其实也可以用于AlphaGo,很多人会把它当成AI的重大创新,当成AI行业的里程碑,其实它只是强化学习的一个应用,原始创新有限。(这里多说一句,腾讯跟随AlphaGo做了绝艺,那创新意义就更加有限了)

四、ChatGPT的成功背后,是OpenAI坚持走不寻常路。

谷歌基于Transformer做了BERT,直接改变了自然语言理解(NLU)这个领域,引起了多数AI研究者的跟随。但OpenAI另辟蹊径,不是去做理解,而是做生成(generation),所以有了GPT(Generative Pre-trained Transformer)系列模型。

从GPT-1到GPT-3,OpenAI做了两年多时间,用大力出奇迹的办法(GPT-3训练成本高达百万甚至千万美金),证明了大模型的可行性,参数从1.17亿飙升至1750亿,也似乎证明了参数越多大,AI能力越强。也因此,在GPT-3成功后,包括谷歌在内竞相追逐做大模型,参数高达惊人的万亿、甚至10万亿规模,掀起了一场参数竞赛。

但这时候,反而是OpenAI沉寂了下来,没有再推高参数,而是又用了近两年时间,将人类反馈和强化学习引入大模型。业界虽然也有人在做类似工作,将知识融入大模型,将强化学习引入大模型…但大都是试探性的,没有大手笔和坚持不懈的投入,因为这条技术路线一直未被有效证明。

Open AI延续大力出奇迹的方法,花费重金,用人工标注大量数据,从而跑通了这条技术路线。由于论文没有公开,我们目前无从知道标注量,但数量肯定是极大的,成本是极高的。可以佐证的是,Open AI这几年只有GPT、DALL等少数几个项目,但却花费了数亿美金,之前甚至遭到不少媒体的质疑。

五、ChatGPT现在暴露出来的问题,大多不是真问题

对ChatGPT的很多批评是,它生成的内容经常是不真实的,或者是带有偏见的,ChatGPT很有可能会污染互联网。作为一个技术进步主义者,我倾向于认为这样的指责除了展现批评者的道德优越感外,意义不大。因为AI技术一大特点就是它能够快速进步,昨天的问题到今天也许有些困扰,但到了明天就不是问题。

GPT-3出来时,曾经出现过一个广泛流传的质疑,如果你问它太阳有几只眼睛,它会回答一只或两只,批评者以此来证明GPT-3缺乏常识。GPT-3也经常出现一本正经的胡说八道的现象,离题万里或者内容经不起验证。

但在ChatGPT上,这些已不是大问题,它难免还是会出错,但大体还是较为合理、有根据的,它甚至拥有了自我纠正的能力。如果经常使用ChatGPT,还会发现,ChatGPT特别会讲政治正确的话,会搞平衡,避免歧视和偏见。比如当你问A和B谁更好时,它会回答说各有优势,这就是不断训练优化的结果。按照这样的速度发展,ChatGPT的理性完备程度会超乎想象。

当然,ChatGPT还是会被不当利用,比如一些学生拿去写作业造假,但很难算是ChatGPT的错……互联网的出现,让抄袭变得轻而易举,让低质量信息泛滥,我们也许会偶尔怀旧纸质时代,但不大可能回去。ChatGPT只是一个工具,如何利用好工具,这是人类要面临的问题,而不是工具本身的问题。何况,还有以魔法来对抗魔法,既然可以有ChatGPT生成内容,那同样可以有模型来做对抗性的检测。

ChatGPT无疑导致人员失业——这是技术进步必然带来的副产品,已经在人类历史中多次重演。ChatGPT注定会替代某些低水平、重复性的劳动,让一些岗位消失,但也会带来一些新的、更具创造性的岗位。从农业时代进入工业时代,再从信息时代进入AI时代,人类的工作和生活注定迎来巨变,我们需要积极拥抱变化,而不是期待回到过去。

六、中国企业没有做出ChatGPT,可以骂,但不值得鞭笞

中国在AI领域缺乏原始创新、跟随美国的确是现状,要分析原因能说出一大堆,但我们不必因此就妄自菲薄。

从全球来看,AI行业已经形成了一超一强的格局,一超指美国,一强指中国,其他国家不足道矣(虽然加拿大有Hinton,英国有DeepMind),因为只有这两个国家才形成了AI的全面研究和广泛的产业应用,这和互联网行业的发展紧密相关。当然,更是因为AI行业的极致开放,AI研究没有秘密可言,这才让AI技术发展迅速,日新月异在这里不是形容词,一些榜单成绩的刷新甚至以天来计算。

我们虽然没有第一个推出ChatGPT,但并不代表我们这方面的工作处于空白或者卡脖子状态(AI和芯片全然不同)。可以确定地说,中国版的ChatGPT的推出只是时间问题,几个月或者最多一年,因为我们已经在路上了。

ChatGPT的核心是GPT系列模型,中国一些企业已经打造出GPT-3水准的大模型,重点是要再加入SFT(Supervised Fine-Tuning)和HFRL。这固然不是容易的事情,但在技术路线已经被证明的情况下,肯定可以实现,别怀疑中国人的工程能力。

......

先写到这里,最后说说个人感想。

20年我刚入AI行业时,整个行业充满了悲观的论调,深度学习撞墙,AI泡沫即将破灭,尤其是以AI四小龙流血上市、大厂裁撤AI Lab标志,AI行业仿佛岌岌可危……但ChatGPT等AIGC技术在2022年的出现,一扫阴霾,AI仿佛新生,已成全民热议的话题。

我相信这种轮回还会不断出现,AI技术目前远远没有达到成熟的程度,AI产业还极为稚嫩。但这可能就是AI的魅力,当你以为AI技术不过如此、AI产业就是这个样子的时候,某一项AI技术的突破,忽然打开了新的天空,让外人看起来石破惊天。

(因为非AI专业出身,上述观点难免有错,欢迎专家批评指正。)

本文来自微信公众号:萧良善(ID:giftxiao),作者:萧良善

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com

正在改变与想要改变世界的人,都在虎嗅APP

本文来自网络,不代表本站立场,转载请注明出处:https:

认知,路线,参数,ChatGPT,有关,模型,训练,OpenAI,任务,创新,杨立昆,谷歌,模型,OpenAI,萧良善

武陵观察网后续将为您提供丰富、全面的关于认知,路线,参数,ChatGPT,有关,模型,训练,OpenAI,任务,创新,杨立昆,谷歌,模型,OpenAI,萧良善内容,让您第一时间了解到关于认知,路线,参数,ChatGPT,有关,模型,训练,OpenAI,任务,创新,杨立昆,谷歌,模型,OpenAI,萧良善的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。