Soulxe2v's recent timeline updates
Soulxe2v

Soulxe2v

V2EX member #558550, joined on 2021-10-15 12:58:36 +08:00
Soulxe2v's recent replies
3 days ago
Replied to a topic by NorthGod Local LLM 多机异构显卡组合推理
@NorthGod

1 、我先说我之前提出的问题。
1 )“单机可以复现分布式的 bug”,这本身就很荒谬。你可以说你刚开始写的时候不需要一定要在多机跑,但是你都要明确修一个属于是分布式的 bug 了还不需要多机跑,那真的有点说不过去。你修 bug 不需要尽量原环境下复现,然后打日志,再根据日志修的吗?
要么就是你跑的模型根本不需要多机,单机就能完美甚至多开几个来运行,那你分布式的目的是什么?只是为了热备就没有必要做成这样,大可以所有节点都跑同一个模型,节点看情况上下线,然后写一个请求的路由,哪个节点在线,就跑在哪个上面就得了。
要么就是根本就没跑模型,只是 AI 让你感觉自己跑了,那更离谱了,连实测都不算,根本就是在臆想。
还是说你修 bug 就是跟 AI 说出了什么问题,让 AI 猜多几遍?
2 )学生身份不是万能金牌,没人教你那就老老实实看一楼给你推荐的书,光靠 AI 和网页只会害了你,AI 是能编出来看起来合理但实际上不通的结果,网页也能找到许多错误的内容。就目前我对这个项目和这个帖子的理解,你完全就是跟 cc 说要做我要做一个什么什么项目,然后 AI 给你梳理出框架之后,你也不知道框架对不对,就让 AI 硬跑,出了问题就让 AI 硬修,最终得出了这一个全靠 AI 的项目,但是自己都不知道里面写了些什么。
3 )你的代码行数注水的简直离谱,文档里的原文“核心代码量 八万余行(控制面 Go + 推理引擎 Python 的生产代码;连测试与桌面客户端计逾 14 万行)”。我原本也对代码行数没什么概念,但是当我拉下来 llamacpp 、vllm 两个同类型流行项目用"git ls-files | xargs wc -l"统计了一下总行数后,我就知道你这代码量简直扯的离谱,llamacpp 项目总行数 191615 ,vllm 项目总行数 117300 ,你的意思是你一个人凭借 AI 用两个月时间就做出来了能对标两三千人社区做了三年的成果的项目吗。

2 、我提出对 #19 的质疑:
1 )首先你不是只有 4 张卡吗,为什么能得出 PP=8 的时候 RTT≈4ms ?又是 AI 帮你编的吧。其次多机 PP 慢的原因不只是因为 RTT ,模型在单张卡上的 prefill 过程是不用时间吗?下一张卡的 prefill 过程不用时间吗?更别说你还是混用不同算力的卡。PP 只有在最后一张卡 prefill 完了才会出首个 token ,请问你为什么会得出卡越多但是却几乎不增加首 token 延迟?你自己难道不清楚 PP 是什么东西吗?
2 )我不用 vllm ,但就我自己用 llamacpp 实测来看,qwen3 30bA3b 这个模型上下文只能到 32768 ,开不了 131072 ,除非用其他技术手段硬开,当然你也可以说你用的 30b 不是这个,只是我也不知道你还能用哪个 30b 了。
3 )“30B-int8 塞进单卡是能塞“,我就想问了,你知道 qwen3 30bA3b int8 的模型有多大吗,31.98G 的大小怎么塞进 5090 ?还跑上并发了?这个时候就不考虑 prefill 时间会爆炸了?当然你也可以说你用的 30b 不是这个,只是我也不知道你还能用哪个 30b 了。
4 ) DeepSeek V4 有两种,一个是 flash 一个是 pro ,flash 是 284bA13b ,pro 是 1.6tA49b ,就算 pro 部署不了,你也应该把目标放在尽可能部署出一个 flash 版上,否则做 PP 的意义何在呢。
5 )“( 2026 生产部署 ~80% 高频任务中小模型就够,成本差 10-30 倍)”。谁给你的数据?中小模型是有多小?是你文档里写的 Qwen3-8B 还是 Qwen3-0.6B ?你真用过这两个模型吗,一个虽然智商不足还算勉强能用,另一个根本就是幻觉严重不微调完全没法用,谁会在生产环境部署这些模型?如果没有私密性需求,用这种模型真不如直接调官方 api 或者中转站。

3 、我提出对 #20 的质疑:
”而且我们自己会写的引擎吐出的文字并没有任何奇怪的说话方式或者行为等等“。希望你自己再次看完这句话没有笑出声来,这还是中文吗? AI 生成就算了,你就不能多跑几次选个通顺点的吗?

4 、我提出对 #21 的质疑:
1 )文档里不是说”按算力分配工作量“吗,4060laptop 和 5090 之间各种标称性能都差了接近十倍,laptop 版还会受各厂商的温度墙、功耗墙限制,差距只会拉的更大,出现 1:10 的模型层分割比例很离谱吗?你不会连这两张卡的参数都不知道吧。
2 )什么叫作”受限于目前没钱的条件,无法得出准确的性能答复“? 5070 还回去了,那你不是还有 4060lp 、v100 、5090 吗,我就当你 v100 也不是你自己的,那你 4060lp 和 5090 两张卡也能跑啊。调优不用实际跑的话术都来了,你不实际跑你怎么知道瓶颈在哪,是卡与卡之间算力差太多还是卡与卡之间显存速度差太多,或者是其他的各方面的因素,你总得把实验做了才能得出结果吧。
3 )人家让你回答网络栈开销怎么解决、项目细节是什么、是不是真测了,又说是自证陷阱。那你自己也得有点可信度啊,AI 发贴、AI 回复,我都怀疑项目本身是不是也全是 AI 帮你建、AI 帮你写、AI 装模做样帮你测试、最后 AI 帮你提交。

这次给大家回复倒是学会删 markdown 格式了,但是莫名其妙的比喻加上没必要的解释括号,你如果还是只会用 ai 写回复,你的项目可信度只会继续大大降低。
5 days ago
Replied to a topic by CNN iPhone 照片文档等数据存在 iCloud 算备份吗?
不太能算。
iCloud 某种方面上能算备份,因为它确实在云端给你留了一份数据。
但也不太能算备份,原因是,iCloud 这种云服务目标是实时同步,一个设备不小心删掉了某个文件,那就全部设备都不会有这个文件了。

至于有人提到苹果突然倒闭这个因素,我只能说突然倒闭的概率可能比我硬盘明天变红盘的概率还低,当年 360 云盘发公告要跑路的时候也不是秒死,还是活了几个月。

真觉得还是有风险,无非就是再开几个网盘会员,然后逐渐把数据拉下来,加密打包好再传上去,总不能全都倒闭了吧。

硬盘没有及时性需求就不用加,硬盘也是会坏的,把数据全放一块盘上,盘要是坏了也有你好受的。
1 、不是……而是……句式,”不是“后面接事物,”而是“后面接对前面事物强行升华后的概念。
例如:这不是一份家常菜,而是一份能抚慰人心的灵丹妙药。
我个人认为这种句式听起来太装了,不舒服。

2 、部分动词或名词使用了(或许)不应该出现的双引号。
例如:操作系统会将数据”写入“到硬盘里。
不是说这句话的意思错了,我个人是认为没有必要特意为这两个字加上双引号。

3 、经常用破折号,甚至在没有必要使用破折号的地方使用破折号。这个是我自己用 AI 写了点文学垃圾才发现的。
例如:……他环顾四周,发现这里的一切都维持在一种诡异的静止状态中——沙发上的靠枕依然整齐地摆放着,茶几上的水杯里还残留着一圈干涸的水迹……
这个破折号可以很轻松地换成“:”或者“。”,但是 AI 偏偏就选择了比较少人使用的破折号。

4 、喜欢用“极其”、“极度”、“XX 性的 XX”等相关表达。
这个就没有例子了,因为有点太多了。
反正我不喜欢这种很多“极”的表达
5 days ago
Replied to a topic by microka Chrome Chrome 150 版本启用 Manifest V2 的方法
@microka
我带的是这个参数"--disable-features=ExtensionManifestV2Unsupported,ExtensionManifestV2Disabled",之前也是这么用。
应该没有问题才对,但是今天下午我突然发现有广告才发现我的 UBO 被禁用了,按道理我应该不会是我自己关掉了吧。
5 days ago
Replied to a topic by microka Chrome Chrome 150 版本启用 Manifest V2 的方法
不太行,打开了之后用上几天,还是会自己关回去,看来得考虑转 firefox 了。
你每次提问让它先给具体方案,如果发现给出所有方案都不满意,你再把你的想法说给它。

另外,你如果自己都不知道自己想要什么,那你怎么知道 llm 做出的修改不符合你的要求呢,你换人类工程师来做,也是无法理解你的需求的。
@godall
原来你还有接短信的需求吗,那你还是用手机会比较好,前提是你确定你手上的手机或者买到手的手机支持联通电信的 VoLTE ,否则大概率还是接不到短信(有些设备是不用 VoLTE 也能在 4G 网络下接到短信,基本就是厂商配置了一点但是没配置完,不建议你去赌这种机器能用)。
mifi 能在 4g 下接短信的也是有的,但是 30 多肯定捡不到,便宜的东西都是老古董,能捡到没阉割到频段的都算你好运气了,更不用说还要捡到可以在 4G 下接短信的。
并且既然你有收短信的需求,大概率也需要做短信内容转发,用手机做转发也能更方便点。
日常是多日常,有些软件不给用在模拟器,可能会被封号,自己得注意一下。

一般用 mumu 就够了,mumu 现在功能很全面,唯一缺点就是桌面不干净有广告,不过很介意广告方面可以用 mumu 国际版。

genymotion 性能不好,安卓版本相对落后、收费功能过多(相对于商业模拟器来说)、蓝叠广告多、应用宝太臃肿,还有 AS ,AS 的模拟器的硬件加速约等于没有,你真的能用下去吗。
一般来说 mifi 比手机便宜。。现在还能用的 4G 手机都 70-80 元左右呢,4Gmifi 会捡的话 30 左右就能捞一个了。
如果你是有现成的手机,但是没有现成的 mifi ,那就当我没说。

1 、手机热点断连是没设备连接,监控静止没流量应该不会断,如果真断了,那这个摄像头就有点奇葩了。办法也是有的,把自动关闭热点、超时自动关闭这种开关关掉就行了。
2 、这个没办法简单解决,通电自启需要解锁和 root ,具体怎么改教程一搜全都是,顺便再改个直供电,免除电池后面 boom 掉的情形。
10 days ago
Replied to a topic by mingtdlb Local LLM 跑本地大模型 电费要多少?
能产多少 token 取决于你用的什么卡、跑的什么参数的模型、模型架构是什么、跑的什么量化、有没有用其他优化。
按照现在个人本地部署普遍 qwen3.6 27b 或者 gemma4 31b 的情况下(两个都是能以单卡 5090 32G ,q4 量化部署的,参数量相对比较大的稠密模型),其实大概 60-80 左右的 tps 也出不了多少 token ,粗算一下一度电也就能出 40wtoken 左右。
自部署换用 MoE 模型倒是个提升吞吐量数字的好办法,可是消费级单卡能部署的 MoE 模型实际用起来都太笨了没什么用途,尤其有些 MoE 模型还默认强制开深度思考,那就更慢了。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3009 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 08:14 · PVG 16:14 · LAX 01:14 · JFK 04:14
♥ Do have faith in what you're doing.