产品沉思录通常是很少讨论热点话题的，不过少楠跟我约稿，我就比较没有顾及，愿意跟大家聊聊在热点漩涡中的观察和思考，也很期待各位的指正和批评。这次就试着聊一下，ChatGPT 的出现究竟意味着什么。
ChatGPT 是 AI 聊天机器人，功能使用的细节与其它机器人并无差异。具体使用方式、更多有意思的案例，可搜索的资料够多了，这里不做赘述，接下来还是重点聊背后的逻辑。
另，下面是一个 DEMO ，值得注意的是，ChatGPT 不能联网，完全不知道 flomo 和少楠。
▎ChatGPT 革命性之处
表面上，ChatGPT 有这样几点「革命性」之处：
- ChatGPT 很接近体感上我们认为的「图灵测试」的机器人，因为它用了一些技巧，让我们不会感觉到违和，语句通顺、答如所问、条理清晰等等。
- ChatGPT 真正能解决一些问题。跟 Siri 只能解决最基础的设定闹钟、获取天气这样的确定性需求不同，很多人真的认为 ChatGPT 会帮助甚至替代内容创作者。一些案例如下：
正因如此，ChatGPT 是最快获得 100 万用户的产品之一，花费了 5 天时间（对比 Facebook 10 个月，Instagram 2.5 个月）
AI 聊天机器人是互联网从业者相对熟悉的产品的，但为何今年出现的 ChatGPT 有了全新可用的水平？正如依赖搜索算法提供联想功能的输入法时代到来后，传统的输入法就显得突然老旧了起来，也让用户意识到：原来输入法可以这么好用。
首先，ChatGPT 背后依赖的是知名的 AI 团队 OpenAI：
- 2015 年 12 月：OpenAI 由一群包括 Elon Musk 和 Sam Altman 等个人和组织创建，旨在推进和促进人工智能领域的研究。
- 2016 年：OpenAI 开发了第一个人工智能系统，击败了职业玩家在《Dota 2》游戏中。
- 2017 年：OpenAI 发布了 GPT-1，这是一个能够生成人类文本的语言处理模型。
- 2019 年：OpenAI 发布了 GPT-2，这是一个比 GPT-1 功能更强大的语言处理模型。
- 2020 年：OpenAI 发布了 DALL-E，这是一个能够根据文本描述生成原始图像的创意 AI 系统。
- 2021 年：OpenAI 发布了 GPT-3，这是目前为止最大最强大的语言处理模型。
GPT-3 即 ChatGPT 的底层模型。要聊 GPT-3 的革命性，我们不妨先简单过一遍机器学习的发展路径。
- 1950 年代开始，基于规则的机器学习算法出现。大概可以理解为，如果要机器识别一句话，它要先去分析词性、主谓宾关系的语法等等，再去理解。
- 1980 年代，随着计算性能和数据量的指数增长，基于统计的机器学习算法成为主流。大概可以理解为，机器并不关心任何规则，只关心基于训练集的概率问题（像 AlphaGo 并不懂围棋的复杂棋术，但它熟悉几乎所有的棋谱可能性，每一步都是在往更大概率获胜的路径上下棋）
- 1990 年代到 2010 年代，神经网络/深度机器学习得到长足发展，CNN、RNN 等神经网络算法成为主流。他们能处理更复杂的数据，并搭建更复杂的算法，处理更复杂的问题。
- 2017 年，Transformer 出现，它的主要区别在于优化了过往的神经网络逻辑，把重点和次要问题区分开来（attention 机制），能得到更有效的模型。用通俗的比喻的话，我们作为产品经理，要获取每个用户的用户画像，是复杂而低效的，但我们可以更关注更符合我们期望的「目标用户」抑或代表大多数用户的「典型用户」，这样就大大减轻了计算量，在要处理的参数过多时，也能增强准确性。
图片来自惠文内部分享
另外，在 Twitter 上 A16Z 的 Jack Sosolow 对 AI 的观察里，也引用了一篇文章《Training Compute-Optimal Large Language Models》，里面明确提到了一个当下的现状：
谷歌比较了两个 LLMs（大语言模型），其中一个参数少 4 倍，但数据多 4 倍。拥有更多数据的那一个最终明显更准确。因此，对于 LLMs 来说，计算不再是最大的杠杆，而数据才是。
以上这一大段，太长不看的版本就是：
机器学习一直在统计的路上行进，除了算法迭代更新，最核心的差异渐渐只围绕一个要素：数据量。数据量就是复杂度，数据量就是准确度。
2018 年，GPT-1 诞生；2019 年，GPT-2 诞生；2021 年，GPT-3 诞生。它们在算法基于 Transformer 的基础上，做了一件重要的事情，就是「肯砸钱」「肯砸数据」。
如 GPT-3 就投入了 1200 万美金。结果也令人满意。此图是微软为了证明自家的 Turing NLG 的参数够多制作的，而后来发布的 GTP-3，参数量是其 10 倍有余。意味着 GTP-3 能解决的复杂度大大提升：
ChatGPT 是依赖 GPT-3 搭建的，但它又增加了很重要的一个逻辑，被称为：RLHF（Reinforcement learning with human feedback），字面意思理解，就是利用人类反馈的强化学习。
怎么理解呢？这就涉及到数据获取的问题了。前文说了，数据量意味着一切，那么怎么获得有价值的训练数据呢？机器学习领域也经过了几轮迭代：
- 没有爬虫数据，全靠志愿者提供问题和答案；
- 可以搜集一些数据，依据问题，人工（标记员）给出期望的答案；
- 可以搜集一些数据，机器初步给出各种问题的答案，然后人工（标记员）做排序（奖励模型）；
可见标注的成本逐步降低，降低就意味着投入资源减少、训练集的数据量可以增加。
RLHF 干脆更进一步，就是拉用户入伙。不再存在标记员，而是机器给出答案后，观测用户行为，构建奖励模型。
可以极简地类比为，互联网产品搜集用户看短视频的停留时长、点赞行为等，来构建用户的喜好模型。ChatGPT 也能做到类似的优化学习。
图片来自惠文的内部分享
也就是说，如今海量涌入体验 ChatGPT 的每个用户，都在让 ChatGPT 变得更加强大。而 RLHF 是很难完成的，在它出现之前通常被认为是一个假想，现在则得到了实证。
▎ChatGPT 意味的质变和尚未质变的
因为以上所述的原因，ChatGPT 在表现上超出它的同类一个档次，可以说是发生了质变。
质变的表现就是答案的准确性（或至少表面的准确性）极高。背后的原因可以简述为几点：
- 超前的数据量；
- RLHF，用户参与迭代优化；
- 运用 RLHF 的另一个方式：加入上下文的关联。机器会参考相当长度的上下文关系，来进行多轮对话，大幅提升了理解用户真实意图并给出理想答案的可能性（有网友测试上下文的窗口大小可能是 8192 个 token：twitter.com）
- 会质疑不正确的前提，同时会主动承认错误、主动提出无法回答等，这些是更谨慎的处理方式，会避免不准确的数据污染模型，这也提升了模型训练的准确度。
不过 ChatGPT 离很多朋友想象的真正的强人工智能还是不一样，它没有到能有逻辑判断、价值判断的阶段，更罔称有「自我意识」了。它依然还是一个超强的统计模型，既然是统计模型，就还是「复读机」。只是这个复读机设计足够精妙，每次读的，是经过重新梳理和排布的内容。
正因如此，它也会存在明显的问题，这几天也被一些专家讨论：
- 对于强化学习阶段的 ChatGPT 来说，它并不知道真相、并不知道标准答案。它的回答均来源于语料库。而倾向于回答的，以语料库的统计概率为准。
- 也因此，它更倾向于生成理想的答案（plausible answers）而非正确的答案（correct answers）。这很好验证，你只要要求它反驳自己的上一条观点，它会很口齿伶俐地给出论据。
- 这也是它潜在的核心难题：作为一个只搜集信息来训练模型的 AI，无法确保信源的准确性。这可能是无法替代搜索引擎和各种内容平台的原因之一。
▎ChatGPT 的潜在未来
说到 ChatGPT 会替代搜索引擎这一点大众的普遍看法，我的老师俞军对此有这样的看法：
- 颠覆Google，成就一个新的互联网大厂，这个是不可能的。
- 搜索引擎，从PC互联网早期的简单内容分析算法，然后PC互联网大发展过程中，Google凭超链分析算法崛起（因为互联网链接爆发式增长），要说超链分析颠覆了内容分析，基本是可以的，虽然也是继承式超越的关系。
- 再往后，PC互联网后期，超链之外，也逐渐利用用户点击数据。而到了移动时代，用户数据大发展（正如当年的PC互联网超链大发展），这促成了推荐引擎的崛起，也成就了字节这样的奇迹，推荐引擎到处普及。
- 但是，如果要说推荐引擎颠覆了搜索引擎，显然也不成立，只是分流走了不小的搜索需求，更抢走了大量用户时间。
- 从某个视角，我会认为这个顺序并无违和：内容分析---超链分析---推荐引擎---“语义分析学习+智能交互”。
- 数据和技术两方面的积累都到了新的临界点，新技术就开始进入大众视野，应用开始普及。
- ChatGPT当然是了不起的东西，能在多少细分领域发挥巨大作用，现在是未知的，演化才刚刚开始。
- 我个人认为，它更是一种基础技术，像推荐引擎一样会被所有需要它的大小公司应用和摸索，这其中很难出现Google这样天然一家独大的平台，可能也很难出现字节这样一路惊艳打出来一个领先平台。
- 尤其是中文互联网，会更失落一点，因为，除了移动时代相对PC互联网时代的公共内容快速下降、APP割裂封闭，还因为大环境急剧变化，以后没有人写内容了（除了金钱导向的职业内容生产者）。当文字内容缺乏更新，无源之水，中文语义分析的进步或许会被拖累。
太长不看版本就是：会在很多垂直领域分流，但未必会重现搜索引擎的辉煌，成为超大体量的平台。
对于 ChatGPT 的亲生父亲—— OpenAI 的 CEO Sam 来说，重做一个 Google 显然也不是他的追求。
他在一次跟 Greylock 创始人 ReidHoffman 的谈话中，提到了对 AI 下一个时代的想法（我做了内容方面的简化和整理）：
- 它不会为人类产生净新知识，因为它只会做其他人做过的事情。即使是这样它仍然非常具有价值，因为它使获得信息的边际成本非常低，虽然它不会治愈癌症，它不会增加人类科学知识的总和。
- 有三件事情值得关注：
- AlphaFold 与生物技术。（在2020年11月30日，该人工智能程序在蛋白质结构预测大赛CASP 14中，对大部分蛋白质结构的预测与真实结构只差一个原子的宽度，达到了人类利用冷冻电镜等复杂仪器观察预测的水平，这是蛋白质结构预测史无前例的巨大进步。）
- CoPilot 与编程（微软 GitHub AI 编程工具。）
- 人工智能可以开始成为一种人工智能科学家并且可以自我完善。从长远来看，人类进步和经济增长的唯一真正驱动力是能够促进科学进步的社会结构，然后是科学进步本身。
- 未来 AI 将无处不在，我对未来十年的基本模型是，智能的边际成本和能源的边际成本将迅速趋向于零。
他在自己的一篇博文中，还提到了更完整的一个理念，即万物摩尔定律 Moore's Law for Everything。
他是这么论述的：
- 要想过上美好生活一共有两条路：个人获得更多的财富（使个人更富有），或者物价下跌（使大家更富有）。
- 在过去的几十年里，美国的电视、电脑和娱乐成本已经下降，但其他成本却大幅上升，最明显的就是住房、医疗和高等教育的成本。如果这些成本继续飙升，仅靠财富再分配是行不通的。
- 人工智能将降低商品和服务的成本，因为劳动力是许多供应链层面的驱动成本。
- 人工智能医生可以比任何人类大夫更好地诊断健康问题，人工智能教师可以准确地定位和解释学生不理解的问题。
- 「万物摩尔定律」为买不起他们想要东西的这一代人吹响了号角。想像一下我们的世界在未来几十年，所有的东西包括住房、教育、食品、服装等价格每两年就会减一半，这听上去虽然像是乌托邦，但技术确实能为我们实现这一目标（且在某些情况下已经实现了）。
我个人认为，这也许是 ChatGPT 一个更有说服力的参考。未来内容创作者，应该更关注的是创意、观察和思考，而非语句、措辞和书写技巧，后者将由 ChatGPT 来帮助我们解决。它不是内容创作者的敌人，但会重新洗牌这个行业。
推荐阅读：