维特根斯坦的《语言游戏说》指出,语言本身没有精确的含义,语言在于运用。

听起来,语言的边界,就是人类思想以及智能的边界。

LLM 通过超大量语料的训练涌现出智能,其可以达到的极限,可能是基于语言的智能上限了吧?

智能是否全部可以用语言表达?LLM 所掌握的智能,对于人来说是否可解释?

有一些知识,是无法言传的。

比如围棋中 AlphaZero 左右互搏的棋谱中所展现出来的超长距离的战略布局,布局开端的一手棋,在几十甚至上百手之后,才起到决定胜负的作用。恐怕用 “味道“、”借用“ 这些词已经很难解释清楚其作用了吧?

既然无法解释,那么对于人类来说,就是不可理解、不可学习的。

世界上大多数事情是很难解释因果关系(causality) 的, 退而求其次的,在有能力搜集到数据的情况下,我们最多可以分析事件之间的相关性(correlation). 相关性是一个介于 0 到 1 之间的概率数字。

同理,LLM 所掌握到的智能,由于它学习到的任何一个 pattern, 一个作用,一个逻辑,其背后都可能会连接到很多个神经元,与之对应的会有很多连接权重(weight) 数字。因此,LLM 的逻辑归因不是简单的因果关系,而是复杂的多个因子(神经元)经过复杂作用的相关性的组合。

人类学习知识的方式,是基于不断的简化和归纳。首先要从大量观察到的事件中,总结出某种 pattern, 提炼出 concept. 以及它们之间作用的规律,然后才可以内化成自己可以掌握的知识。

比如学围棋,也需要从基本的概念学起,然后逐步掌握很多人类总结出来的棋理,并在实战中逐步学会应用。

然而,任何围棋学习到一定程度的人都知道,棋理不是绝对的。在实战中,很多时候不同的棋理甚至是互相矛盾的,该用哪一条棋理呢?

中国古时候就有人总结出了《围棋十决》的棋理:

“不得贪胜,入界宜缓,攻彼顾我,弃子争先,舍小就大,逢危须弃,慎勿轻速,动须相应,彼强自保,势孤取和。”

听着非常有智慧是不是?确实这套棋理也确实在过去指导了无数人的棋力成长。

然而,在近年来竞技围棋愈演愈烈,尤其是在2016年人机大战的冲击下,又有好事者发明了与之完全相反的《新围棋十决》:

“坚决要胜、入界宜深、攻彼忘我、弃子另杀、大小都要、逢危就战、爽在轻速、棋都不应、彼强硬搞、势孤玉碎。”

这套理论虽然略带幽默,但还是很有道理的。其底层逻辑就是:高手怎么下都是对的,棋理在实战中能不能奏效,必须建立在力量的基础之上。

人下围棋为什么赢不了 AI? 本质上,实际上是因为 AI 通过训练,已经掌握了更高级的,建立在长距离 context 之上的战略。而这种战略,对于人类来说,是无法言说,无法理解的。这是一种无法言说的复杂智能(或者说知识)。

LLM 也是一样,姑且不论除了语言之外有没有别的智能的形式,实际上 LLM 通过语言,已经习得了人类无法理解的更复杂的智能。这种智能是基于对于更宏观的事实的了解之上的,建立在更大的 context 之上的。是不可言说的。

或者说,LLM 这样一种机器脑,已经掌握了很多不可言说的,但是可以执行的知识

对于人类来说,其实也有很多感受是难以描述,但是可以体会的。比如职业围棋手经过长期刻苦训练所形成的那种敏锐的 “棋感”,对棋形 “味道” 的嗅觉;或者是从事科研、工程等领域长期研究之后,突然得到的“顿悟”,即所谓的 ah-ha moment. 跟这都有点像。再比如,音乐也是一种适合去直观感受,而不必追求深度理解的东西。甚至有可能,音乐正是用于缓解人类求知痛苦的一种解药。