闲谈

其实机器学习
一直以来应用都是非常简单的原理，类似于小学时候给几个点，用y=ax+b找出最合适的线拟合，在复杂的模型也是给输入+结果，让模型模仿拟合回归出来的.gpt之所以超出我们从业者的预期，是因为它能达到的功能远超输入+输出这个简单过程了，它似乎可以输入任意的文本，根据情况做出合适的响应。而它的训练过程却相对简单朴素，它在训练的时，我们给GPT训练的题目是预测句子的下一句话。比如我写文章从来不____，那他会学习拟合打草稿这三个字。
gpt学习了大量这样的next word
prediction，它的神经里通过这个方式对文学的理解具备了很深的造诣，达到了目前的高水平高标准，复杂来说，这其实牵扯到其他的例如Position，Encoding， Attention等技巧，但简而言之，不得不承认GPT的训练方法其实根本上很朴素，是量变产生质变的结果。这也是为什么ai行业的另一个主流声音是gpt最多也就这样了，因为似乎Next Word Prediction
训练的GPT逻辑没有那么强，要达到通用ai则可能需要引入世界模型，更复杂多元的底层逻辑，但是具体什么情况有待观察。

机器飞升之路

机器学习的一个重要灵感来源就是生物大脑，
肉体本身会有思想逻辑是基于神经元的，这个肉体人脑训练的底层逻辑其实也是next word
Prediction，比如你打字的时候，脑子里除了有一个大纲，除此之外，更多的时候你在心流状态下顺手就打出来了。这个顺手就是next word prediction
这也是，为什么狗，猩猩已经很聪明了，还是不具备复杂的智能。因为缺乏语言，而gpt却智能一些。正是因为对于语言本身的习得，哪怕是浅层的。 另一方面，就是大纲，逻辑的习得，
比如，动物的神经元远少于人类，但是神经元多的动物例如海豚，猩猩都有强的意识，那神经元的数量在动物界很关键。那么类比到机器学习，我们可以预见到增加算力的GPT将会拥有更强大的智能。
所以一个开放式的问题就是，随着神经元增多，GPT能否完成从昆虫到海豚，从海豚到人类的蜕变？最后一个方面，多模态
再聪明的二维动物也理解不了三维世界，其实我们能理解上下四方，能感知，想象，思考，很大程度是因为我们接受的信息是多元的，包括语言，声音，图像，等等。所以同样的，GPT如果想达到通用人工智能，对模态学习的需求会必不少。
而多模态学习不会很复杂，例如Next Word Prediction
这样简单的例子就可以学习到如此深刻的语言知识，图像比如人类，动物看到图像，会下意识分类，这个不断分类的过程就是人类关于图像的底层学习训练思路，而这个在机器学习中已经被研究的很透彻了。所以简而言之，GPT的机器飞升之路，漫长，但似乎有摸得着的路线图可以去实现