probe301 最近的时间轴更新
probe301

probe301

V2EX 第 8912 号会员,加入于 2011-05-23 00:57:39 +08:00
probe301 最近回复了
也可以考虑 Obsidian 插件 Omnisearch (笔记是中文时, 必须搭配分词插件 Word Splitting for Simplified Chinese in Edit Mode and Vim Mode)

这就有一定程度的模糊搜索能力, 还能自己调文件名 or 小标题的搜索权重
355 天前
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
@swhhaa


> 但我认为不存在主动改自身结构的智能,这里的“结构“指开始接收训练数据那一刻的全部状态

从实践角度, 这世上哪有啥固定不变的东西? 一个人三岁到三十岁, 脑结构怎么可能不变?
换个思路, 智能体不可以扩展自己吗? 当我想展现出 "数学智能" 时, "我+笔记小抄+文献库" 不能算个复合智能体吗?

我感觉你想表达的这个 "结构" 的含义, 其实有点像 "认知主体 (人 /动物 /硅基体) 的先天认识形式"?


> 我要教会它写代码只通过和它对话的方式肯定是不行的,只能用梯度下降的方式

这楼里之前有网友贴过论文了, 上下文学习可以看作模型的隐式微调


> 如果我能通过和 chatgpt 对话的方式教会它写代码,我也认为它是通用的

我感觉你可能低估了 ChatGPT 的能力
不知道楼主对 提示词工程 了解多少, 可以看看这个人的研究
https://www.zhihu.com/question/582621456/answer/2891745513
注意最后他长图里的例子, 当教给 ChatGPT 啥是 "模式 A+B" 之后 (近似理解为函数复合), ChatGPT 自动学会了模式 A+B+C
这还没完, 他做了很多实验, 一直研究到 ChatGPT 能否自己模拟自己
他的实验, 是侧重模式识别的,
你关心的是 "理解抽象定义并具体应用" (演绎式的), 这我目前没找到亮眼的例子, 找到了分享给你
当然以目前能力 "假设 chatgpt 不会写代码, 临时去教 chatgpt 写代码" 我也觉得没戏, 跟你看法一致

---

此外, 楼主似乎觉得智能体应该表现出 "训练推断没明显分界" 的特性, 我的理解是:

从最终要达成目标上, 赞同
从当前实践上, "训练+推断两阶段分离" 的好处, 要远胜过 "训练与推断融为一体" 的好处, 原因:

1 当下阶段, 分离了有利于 debug, 方便研究
2 视角拉远, "训练+推断两阶段分离" 可以模拟 "融为一体" 的效果,
你可能反驳: 以人为制定的步骤, 模拟出 "推理后把新知识内化到原模型", 不算本事
我的观点: 先用着再说, 小步前进有益于理解 AI 的行为, 也有益于理解人本身
3 方便产品设计: 也许以后 ChatGPT 可以加个 "把用户标注的问答记忆到用户私人 LoRA 里" 的功能, 融一起可就摘不出来了, 考虑到 LoRA 可叠加合作, 也许以后一边干活一边顺手训练出符合你个人代码风格的微调层, 然后把它分享给小伙伴
355 天前
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
从附图能看出楼主在修正自己的认识, 认可这份严肃认真
但楼主这个表述, 实在是困惑

把 GPT 当函数 f, 把人说的话定义为 x, GPT 回答是 f(x),
那这 dx 是啥东西? 我只能理解成, 根据后面公式 x 其实指喂过的所有数据的整体, dx 是新增训练数据
可是看 ChatGPT 官方给的微调接口就会知道, 微调要求你给出有监督 x->y 数据
此时这 x 是啥形式? 以及 g(x) 的具体定义是啥?
后面 f 做加法操作, 大概定义为 f 更新自己内部状态吧

后面看不懂, 只能模糊理解为, 楼主觉得以 ChatGPT 为首的模型设计, 从根源上超参数 g 是预定的, 这种模型不灵活, 学习潜力差, 于是被迫以大量语料勤练习做为弥补, 最后让 ChatGPT 顶多学成个鹦鹉
(这里 鹦鹉 vs 乌鸦, 是朱松纯提出的比喻, 鹦鹉=不理解只会模仿, 乌鸦=主动观察思考, 并在不允许试错时一次就做对任务)


从我的理解, 楼主是认可以下观点的:

1 模型能自我迭代很重要, 最好能主动改自身参数, ChatGPT 这种上来就限死超参上限的固定模型, 其认知能力上限也是限死的, 所谓三岁看老
2 对于实现 AGI 目标, 仅凭鹦鹉模式肯定不行
3 AGI 除了输出有用结果, 还必须行为像人, 包括: 使用人类语言跟人沟通, 能被人类文化接受, 决策过程可被人理解

这里有太多可讨论话题, 包括 可否同时做训练+推理的工程实践, 对认知 /智能 /AGI 的定义, 智能是否一定具备归纳演绎溯因能力, 人类语言的局限, ... 实在过于复杂, 我自己也只想过其中一小部分
希望楼主能说明, 自己到底关心哪些讨论话题, 我感觉是 1
357 天前
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
其实, 能理解楼主是在真诚的思考和讨论,
但确实提到事实错误太多了, 看着不舒服, 具体错误不想挨个说

> 我想定义一个新名词 “智力”
定义 “智力” 这太糟了, 宁可用一个冗长但无歧义的词,
比如 "决定生物 /硅基物的学习潜力限制的物理基础" (这词也不精确)
这坨问题已经很复杂了, 别再引入似是而非的词语了

楼主其实不太在意具体工程细节, 他就想跟大伙讨论 ChatGPT 这条思路, 对于实现通用智能的目标, 是不是走歪了

这其实有许多人都批判过了, 有篇
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
全文说的是: 人类的概念, 可能只是人类蹩脚的认知工具 / 脚手架,
别把人类 "为了认识世界而生造的概念" 灌输给机器,
应该让它自己学, 让 AI 能够像我们一样发现, 而不是教给 AI 我们已发现的

楼主可以看看
2023-03-21 07:53:16 +08:00
回复了 bapaws 创建的主题 职场话题 原来墙真的很高~
朋友圈不太适合,

1 从用户的普遍期待上, 朋友圈不是首选的 "学习新知识" 阵地, 主要是个社交联系的场合
2 以自己的使用场景为例, 刷朋友圈时肯定是我精神状态不好, 想放松休闲的时刻
3 可能需要介绍啥是 API key, 咋用 API key, 再加上需要下载应用, 再加上魔法上网, 也许每一层单独都不困难, 但全都做就很困难
4 写推荐是大学问, 我也在琢磨这个, 怎么以忠实朋友的立场, 介绍你觉得有价值的东西 (要诚恳, 要简明, 要共情, 不要自以为是, 不要卖焦虑, 不要博眼球)

最后, 得接受事实, 人家不乐意用就算了
技术上似乎能做到, 比如选多个文件夹压缩, Windows 是可以把复数个文件夹路径都传给压缩软件的
Everything 估计也能做, 不支持可能觉得没大必要吧

除了你说的办法, 还可以:
直接搜上级文件夹再禁掉不想要的路径
研究 "高级搜索" 这里一堆细节选项
2023-03-10 14:06:20 +08:00
回复了 sigoden 创建的主题 分享发现 GPT3.5 真是一款万能工具,是时候清理下工具箱了
请尊重无偿提供工具的人, 即使这些工具只是个简单包装

1 我能驾驭新鲜的生产力工具, 但最好只有我会, 其他人都不懂 /用不着, 才最好

2 我能驾驭新鲜的生产力工具, 且会分享出来, 但只跟有同样价值的人交换

3 我尽量让所有人都能看到好处, 并提供便利让大家都能用上

我很敬佩第三种人, 无论他出于什么动机

另外楼主你这个 "Act like a english-chinsee translator" 拼错了, 但一般不碍事
2023-03-09 14:45:51 +08:00
回复了 coolair 创建的主题 问与答 Windows 下浏览器复制如何复制纯文本?
粘贴时按 Ctrl+Shift+V 一般软件就按纯文本处理了

实在不行可以浏览器插件, Chrome 有个 "拷贝猫" 挺好用, 其他的也行
2023-03-05 23:21:39 +08:00
回复了 xwanjia 创建的主题 推广 有过一些经历,决定输出知识
希望 OP 能输出点知识, 先让我们看看?
好心提醒, 你这直接收费那么贵, 潜在客户可能觉得是 "故意发使用弱智诈骗短信, 筛选目标人群"
2023-02-20 13:30:25 +08:00
回复了 MonTubasa 创建的主题 分享发现 知乎刷多了,总觉得三观和情绪被知乎给带歪了
> 如果你不持续挖掘,那么不管你的关注列表曾经如何翎顶辉煌,也一定会曲终人散去。你只是在抱怨这个社区大了,这种挖掘难度变得更高了罢了。但是有价值的信源的密度变低了,意味着其绝对数量真的就变少了吗?... 问题最终还是归结于“怎么能有效的提高采集效率”。... 你关注得好,知乎对你就是好地方,你关注得不好,知乎就是个坏地方。

https://www.zhihu.com/question/19666344/answer/823306722
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3263 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 14:02 · PVG 22:02 · LAX 07:02 · JFK 10:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.