sentinelK

因为工作内容从之前的逻辑因果系统切换到了混沌概率系统。
类似于从开发岗转到了管理岗+开发岗。

人肉上下文更多了，占用了更多的大脑缓存。

之前你只需要思考你自己的 function 如何实现即可。
现在你需要思考：

到底如何才能生产出这个 function ？
这个 function 的生产任务更适合交给谁？
我怎么证明这个“人”生产的 function 是合格的？
我靠他这个 function 的实现我怎么看不懂？
他这个 function 的实现真的符合我的要求吗？
这个“人”生产这个 function 怎么耗费了我这么多额度？怎么提升费效比？
我要不要把这个“人”的经验提炼成 skill ？
这“人”写的能过 code review 吗？我要不要微调一下？
算了就这样吧。

大概是这样，和我 10 年前带组的感觉差不多。

1 、各家后训练的算法技巧提升了。导致最终输出更加贴合用户的需求。
2 、AI 工具的能力逐渐丰满，让 LLM 不再是两眼一抹黑。

当初有这个问题有很多个维度的理解。
1 、为了占领市场（凸显效果好），各家都会有意的让模型随机性加大。
2 、各家的工具都太粗糙，一开始连联网能力都没有。普通人根本没有能力提供给 LLM 合理的上下文。就像是你的女朋友跟你说“我的那个在哪里”，你怎么答都是错的。
3 、模型预训练没形成范式，全靠大力出奇迹，没有基础认知这个概念。

@EthanZC 看似包月，本质上还是按量付费。只是按量付费的套餐。
这其中和 API 之间的费用差距主要在于赌你用不完，或者因为有有效期而导致你无法合理最大化产出。

这其中最值得玩味的还是 Copilot ，从完全的按照请求次数收费，一口气转型成 39 美元套餐=39 美元 token 额度≈各家 API 价格。这其中的脑回路也是神中之神。颇有点包子 2 块钱一个，10 块钱 5 个的神韵。

@letwewell 盈利没有问题，但是历史上从来没有出现过这种消费者完全没有任何信息的商业模式。
类似于，你去一个饭馆吃饭，你只能说你饿了。然后你吃什么、吃多少、花多少钱，都是饭馆说了算。

即便是这样，其中一家饭馆还要跳出来说他家的饭馆必须领先行业，否则全世界的人都要饿死。
只能说魔幻……

模型提供商自从开始转型成“token 收费”，就没有动机去优化费效比了。

而且你这次请求跑了多少 token ，其实也是他们说了算。
有的提供商甚至会弄类似“代币”的虚拟概念。他说你花了多少，就是多少，无需解释。

@hutng 是的，如果是 llama.cpp 可以用 llamabench 来验证下。pp 是输入速度，tg 是输出速度。

Agent 执行一次任务要无数次交互 LLM(查网址、跑终端、改代码)，每次都要罚站。和 chat 场景完全不同。

@hutng 用的是什么硬件？使用 Agent 工具调用本地 LLM 的时候，首次启动的输入 token 少则 5~6K ，多则 10k 起步。prefill 速度比 decode 速度还要重要。5090 的 prefill 速度大概是 3000+t/s 。

如果设备的 prefill 速度不过千，那就相当于每次调用 LLM 都要罚站。

绝大多数的“总结”方案都是直接扒字幕的。

也就是说，如果你要的视频观点、内容主要以语言的形式呈现，那么效果就不错。
如果是以视觉效果呈现，成本就比较高了。

举个例子，比如有的 up 喜欢说“结论如图”/“自己截屏查看”，这种情况市面上的“总结”方案就做不到。