@lambdaq 你这个例子恰好说明了大脑的 cache 很小…但大脑 disk 的上限，应该有论文在研究。

@thinker007
@swim2sun
是的。所以我也并没有讨论大脑是如何工作的。我认为 AGI 至少应该行为表现的像大脑，大脑可以通过接收自然语言，视频，音频..学习，而且效率远大于目前的 ChatGPT 。

@jhdxr 当然，如果 ChatGPT 可以在 predict 过程中自己更新参数，我承认我整篇文章都错了。

@jhdxr
1. 不知道你想反驳啥... 人类可以通过自然语言形式的知识学习，神经网络只能通过向量形式的知识学习。如果普通人可以把知识天然得向量化并传授给 ChatGPT ，那我就认为它是 AGI 。
2. 你觉得你调一次 ChatGPT 的 API 告诉它一些知识，它的参数会变化？神经网络学到的是参数，但你跟 ChatGPT 说话并不能更新参数，所以你觉得调用 ChatGPT 的 API 就可以让 ChatGPT 学习吗？那么学的是啥？既然啥都没有学到那他把你告诉它的知识存在了哪里？

@0o0o0o0 你说的第一点启发了我，声音各种转化的过程属于 AI 的功能，所以为啥不给 ChatGPT 添加一个把自然语言向量化的模块让它可以直接通过自然语言学习呢？

@Chihaya0824 我不知道你是怎么向 ChatGPT 提问的。但是其中不准确的几个点感觉没说到点子上啊。
1. ChatGPT 的训练材料包含自然语言，但这些不能直接喂给 ChatGPT ，许多向量化等操作后早就不是自然语言了。
2. 我文中并没指明通用人工智能一定要通过自然语言接口学习。而且 ChatGPT 通过 fine-tune 来实现各种任务和我的观点并不冲突。
你可以把我这些话再发给它看看能不能理解...

@0o0o0o0 其实我这里的对立面是指：其他方向的研究人员看到 ChatGPT 目前如此成功，跟风去搞 ChatGPT 。很有可能像多年前符号主义打败连接主义一样，走了很多年弯路后发现符号主义是错的。ChatGPT 也有可能带偏整个业界，导致 AGI 出现晚许多年。至少在我看来。

@yangyaofei
1. 教和训练的区别就是伪人工智能和通用人工智能的本质区别。举例来说，如果有些知识是没有被 ChatGPT 训练的，你想让 ChatGPT 学到这些知识，只能通过训练的方式，但不会写代码的人是做不到的。对于通用人工智能，不会写代码的人却可以通过许多方式，自然语言也好，其他方式也好，如此的通用人工智能人人都有却又人人不同，并且自我迭代。

2. 也许吧。但 ChatGPT 并没有达到我的预期。

3. 如果你懂的话希望你解释下，如果你想反驳一个人请举出错误的观点并加以论证，而不是给人贴标签。如果你继续贴标签的话，希望不要回复了。

@yangyaofei 我确实没有看过 Transformer 的论文，但 Transformer 不基于神经网络吗。如果路走错了，走的再远也是错的。关于 17 楼你的几个点
1. 我说的教是指把这些知识以自然语言的形式告诉 ChatGPT 。你如果指训练，它当然可以从 1+1=2 学到微积分，但有什么用，没学过代码的人能从零训练一个懂微积分的神经网络吗。但学过微积分的人却可以教会其他人微积分。
2. 如你所说，神经网络目前并没有好的解决方案。
3. ChatGPT Token 的限制当然并不直接受限于长期存储模块，但最初的神经网络本就不是为了实现通用人工智能而设计的。
4. 我给出了我理想中通用人工智能的定义，你当然可以说它是错的。

@swulling 如你所说，当前阶段 LLM 的效果的确是最好的，所以希望其他方向的实验室不要去跟风。 我的观点是 ChatGPT 不是正确的道路，不管是不是，我都想尽快体验到我理想中的 AGI ，宁愿我的观点是错的。

@binux 盲人的智力和正常人并没有区别，聋子也一样。

@manasheep 狭义上的通用就是 ChatGPT 这样，一个预先训练好的大模型，啥都懂，啥都会，但不能通过它提供的能力自然而然的学习。广义上的通用是这样的，她开始啥都不会，甚至 1+1=2 都不会算。但你可以教她，先从学会说话开始，学会说话后，教她 1+1=2 ，教她使用互联网，然后对她说，你已经是一个成熟的 AI 了，今天我想写一段 xx 功能的 python 代码，但我不会。你自己去互联网上学学怎么写代码，然后给我写一下这个功能。

@yvescheung 如果学习相当于调 API ，那人类的所有知识直接通过自然语言的形式告诉 ChatGPT 就可以了，为啥还需要训练。

@akira 难道神经网络的训练不是另一种意义的学习吗

@swulling 我没这个能力。只是希望业界认真搞 AGI 的别跟风去研究 ChatGPT ，反正不是我理想中的 AI 。

@yvescheung 表示怀疑。首先 ChatGPT 的 token 数量有限制，就算没有限制，给它一部上百万字的小说，你觉得它能搞记住多少里面的内容？除非你用梯度下降去训练它。

@iloveoovx 我还定义了结构是功能的元数据，不随功能而改变...神经网络的结构当然有变化，但如果神经网络的结构随着功能变化而变化，例如参数值，那就不是我定义的“结构"。


@llwwbb7 确实不需要，我也没说通用人工智能一定要通过自然语言学习，通过梯度下降学也可以，但效率就是问题了。

@yangyaofei 谢谢。我只是论文看腻了，感觉神经网络路走歪了，怎么调都搞不出通用人工智能，发点牢骚。

@binux 你说的有道理。但我觉得孩子学到可以理解"1+1=2"的语言输入远小于任何一个神经网络达到相同程度的语言理解力所需的输入，归根结底是因为智力上的本质区别。所以我觉得神经网络结构确定后无论怎么调参，智力都有限，即便 ChatGPT ，通用人工智能应该聚焦在怎么设计结构而不是怎么训练。

@binux fine-tunning 不是从零开始啊。

@Ricardoo 我没觉得是符号学派啊。人类基因进化如果对比为预训练，人类通过自然语言学习的过程和 ChatGPT 哪部分对应呢？

@churchmice 希望可以指点一下错误的地方，我也想学习学习。