Sora到底懂不懂物理世界? 将来会不会懂?

　　当然，Jim Fan 对「Sora 没有在学习物理，而只是操纵 2D 像素」这一说法进行了一系列反驳。他认为，这种观点忽略了模型在处理复杂数据时所展现出的深层次能力。就像批评 GPT-4 不是学习编码，只是随机挑选字符串一样，这种批评没有认识到 Transformer 模型在处理整数序列(代表文本的 token ID)时所表现出的复杂理解和生成能力。

　　对此，谷歌研究科学家 Kevin P Murphy 表示，他不确定最大化像素的可能性是否足以促使模型可靠地学到精确的物理，而不是看似合理的动态视觉纹理呢?是否需要 MDL(Minimum description length，最小描述长度)呢?

　　与此同时，知名 AI 学者、Meta AI 研究科学家田渊栋也认为，关于 Sora 是否有潜力学到精确的物理(当然现在还没有)，其背后的关键问题是：为什么像「预测下一个 token」或「重建」这样简单的思路会产生如此丰富的表示?

　　他表示，损失函数如何被激发的并不重要，损失函数的设计动机(无论多么哲学化或复杂)并不直接决定模型能否学习到更好的表示。事实上，复杂的损失函数可能与看起来很简单的损失函数实际上产生了类似的效果。

　　最后他称，为了更好地理解事物，我们确实需要揭开 Transformers 的黑匣子，检查给定反向传播的训练动态，以及如何学习隐藏的特征结构，并探索如何进一步改进学习过程。

　　田渊栋还表示，如果想要学习精确的物理，他敢打赌需要主动学习或者策略强化学习(无论如何称呼它)来探索物理的精细结构(例如物体之间的相互作用、硬接触)。

　　其他观点：Sora 被认为是「数据驱动的物理引擎」太荒谬

　　除了众多 AI 圈大佬之外，也有一些专业性的观点开始反驳 Sora 懂物理引擎这一说法。

　　比如下面这位推特博主，他认为 OpenAI 是数据驱动的物理引擎这一观点是荒谬愚蠢的， 就好像收集了行星运动的数据并将它们喂给一个预测行星位置的模型，然后就得出该模型内部实现了广义相对论的结论。

　　他称，爱因斯坦花了很多年时间才推导出了重力理论的方程。如果有人认为随机梯度下降(SGD)+ 反向传播仅凭输入输出对就能理解一切，并在模型训练中解决问题，那这个人对于机器学习的理解是有问题的，对机器学习的工作方式了解也不够。

　　爱因斯坦在理论推导中对现实做出了很多假设，比如光速恒定、时空是灵活的结构，然后推导出了微分方程，其解揭示了黑洞、引力波等重大发现。可以说，爱因斯坦利用因果推理将不同的概念连接了起来。

　　但是，SGD + 反向传播并不是这样，它们只是将信息压缩到模型权重中，并不进行推理，只是更新并转向实现具有最低误差的参数配置。

　　他认为，机器学习(ML)中的统计学习过程可能会显然低误差「盆地」，即无法探索不同的概念， 因为一旦陷入这些低误差「盆地」或者局部最小值就无法重新开始。

　　因此，SGD + 反向传播发现了看似有效但却很容易崩溃的、脆弱的解决方案捷径。这就是为什么深度学习系统不可靠并且实际训练起来很难，你必须在现实中不断更新和训练它们，这就很麻烦。

　　梯度下降的工作原理就像一只苍蝇寻找气味源一样，即苍蝇跟随空气中的化学浓度向下移动，从而引导它导向气味源。但如果仅依赖这种方式，则很容易迷路或陷入困境。