生成预训练（GPT，Generative Pre-trained Transformer）是一种基于互联网可用数据训练的文本生成深度学习模型。该技术用于问答、文本摘要生成、机器翻译、分类、代码生成与对话AI等领域。就在上月，人工智能公司OpenAI在GPT基础上推出了AI聊天机器人程序ChatGPT，目前已在全球积累了上百万用户。
GPT-1诞生于2018年，这一年也是NLP（自然语言处理）的预训练模型元年。性能方面，GPT-1有着一定的泛化能力，能够用于和监督任务无关的NLP任务。但由于GPT-1的泛化能力毕竟有限，因此只能算得上是一个还不错的语言理解工具，而非对话式AI程序。
2020年5月，OpenAI发布了GPT-3，在众多NLP数据集上都取得了很强的性能，包括翻译、问答，以及一些需要即时推理或适应的任务，如在句子中使用一个新词或执行三位数运算。GPT-3可以生成评估员难以区分的新闻文章样本。2022年初，OpenAI又发布了InstructGPT，係微调版本的GPT-3。
OpenAI官方今次表示，ChatGPT是在人类帮助下创建并训练的，人类训练师对该AI早期版本回答查询的方式进行排名和评级。然后，这些信息被反馈到系统中，系统会根据训练师的偏好来调整答案──这是一种训练人工智能的标准方法，被称为强化学习。AI依靠海量算力学习跨领域知识，虽然不够精确，却能够大大节省认知的时间消耗，较人类通过“视觉＋大脑”的读书培训模式更快，如果能通过算法来识别答案正确与否（第一性原理），AI将成为人类的全知导师、生产助手。
笔者认为，对Web3行业来说，GPT至少能从两个方面提升工作效率。首先是内容生产领域，Web3世界里仅靠专业生产者提供内容服务是无法满足需求的，而AI在内容输出的质量、画面呈现和沟通效率上都远超人类。其次是智能合约部署和安全审计领域，由于代码构造上的完整性，AI可以提供专业的开发参考范本和校验检查，当然在智能合约的开发上不能完全依赖AI的程序式输出，毕竟独立项目建立在个人的需求之上，但安全审计流程的关键是反复检测和寻找漏洞修复，AI在数据对比和筛查方面的优势十分突出。
有望取代搜索引擎
笔者认为，Web3同样可以为以ChatGPT为代表的AI赋能。
首先，ChatGPT可能改变人们使用“谷歌”或“百度”等搜索引擎获取信息的习惯，并且搜索引擎上的信息由于有竞价排名而不够客观准确。用户如能通过ChatGPT又快又好地获得信息，势必会逐步放弃搜索引擎的使用。不过，ChatGPT在知识产权、服务器配置和算力消耗等方面也会产生成本，在如何商业化ChatGPT生成内容的问题上，通证经济是一个有效的解决路径。ChatGPT生成的内容如能以NFT的形式推出，让用户通过比特币、以太坊等支付方式获得，无疑会成为数据原生内容的对价刚需。
其次，Web2的广告模式、搜索引擎优化模式可能会被颠覆。移动互联网的应用（如社交软件等）正在涌现越来越多的人工智能生成内容。正如在传统媒体刊发的作品获得稿费，人工智能生成的内容也将获得与之匹配的算力奖励。
