V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mightybruce  ›  全部回复第 4 页 / 共 29 页
回复总数  577
1  2  3  4  5  6  7  8  9  10 ... 29  
看来你这个内存比较富裕,golang 等一堆语言也是可以用的。
直接做嵌入式 web 服务的话,c 推荐 mongoose, civetweb 。
go 标准库就可以搞,也不需要借助其他。
嵌入式 web 基本都是 C, C++ , 这种不是多的很。何必找一些不成熟的项目。
这种项目首先要考虑的就是资源占用,占用大的一概不考虑了。

https://github.com/civetweb/civetweb
59 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
https://arthurchiao.art/blog/gpu-advanced-notes-1-zh/
可以看看这个人写的一些科普吧。
59 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型权重分担在各个计算节点上内存和 GPU 显存,每一次推理不是一张显卡,是好几张显卡同时计算。
你只要买英伟达的专门用来大模型训练的高端显卡比如 A100, H100 或国内华为相应的显卡昇腾 910B 训练机器, 人家自然会告诉你存储、网络,cpu, 交换机的选择。
59 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型的参数 就是在各个服务器的内存以及 GPU 大模型的 专门的显存里面的。
我语气有一点冲,不过你的确是在自我想象

RDMA 现在已经有支持以太网的方案,并非一定要 IB
59 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
存储使用 PCIE 接口的带宽都不适合 70B 大模型 以上的多卡训练和推理的大模型, 你去云计算厂商和 AI 大模型公司那里多了解了解吧。
59 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
兄弟你就别自我意淫吧,没搞过就别想什么了。 大模型训练是不可能每次从磁盘上读取的, 另外大模型非常大,神经网络都是多块 gpu 每个计算一部分,通过高速网络和缓存并尽量减少 cpu 和 操作系统的占用。
传统的 PCIE 都嫌慢,你还跟我说用磁盘,哈哈,我都笑死了。
了解 RDMA 是什么技术,
IB, 以太网 RoCE 都可以支持 RDMA.
你要是 2016 年来提这个问题,我还有点兴趣,那时候微服务治理发展阶段才开始不久。

这个问题现在还不知道怎么解决,我只能说你们上微服务就是错误的选择。
70 天前
回复了 wangclack 创建的主题 问与答 求指点国产手机品牌关系
不玩游戏,强力推荐 oppo find X7 X8 , 自带端侧 70 亿参数大语言模型,而不需要联网调用一些大模型厂商的 API 就能处理很多一些办公相关的任务。
85 天前
回复了 perbugwei 创建的主题 职场话题 到底什么是奋斗
睡不好,吃点褪黑素片。
建议平时多锻炼锻炼身体,然后扩展一下社交圈,这样以后有用。
88 天前
回复了 webszy 创建的主题 程序员 有没有开源的 serverless 平台
有开源的 serverless 平台,不过如果你不懂 k8s 和 istio 以及一些服务网格, 你也搞不定。
咱们不要用成年人思维去看小孩, 成年人思维定势, 小孩的想象空间和创造性是比成年人强的,要善于引导。
编程训练不是 教打字的猴子,这种训练还不如用一些可视化编程语言替代。

算法思维和数学逻辑抽象这个阶段培养远比搞什么打字猴子有意义。

方式和方法错误
https://python-minifier.com/
看看这个是否满足
VS 是宇宙第一的 IDE, 那是不少年前的事情了。
那时候写 c++的 IDE 只有 VS 最好用, 其他像 netbeans, eclipse, clion 都不怎么行,也不怎么智能
这种不可行的,ssh 即使可以打开也是非常慢的, 你就不能用远程 frp h 行的,ssh 即使可以打开也是非常慢的, 你应该考虑的是各种内网穿透的操作,比如 frp
96 天前
回复了 miaeLKK 创建的主题 问与答 有没有化学大佬?
说错了, 苯环中有氧取代

学名是 6-甲基-3-乙酰基-2,4-吡喃二酮钠盐
96 天前
回复了 miaeLKK 创建的主题 问与答 有没有化学大佬?
脱水乙酸钠(英语:Sodium dehydroacetate ,常被误译为“脱氢乙酸钠”)是一种有机化合物,分子式 Na(CH3C5HO(O2)(CH3)CO),为脱水乙酸的钠盐,性状为白色粉末。用于杀菌剂,塑化剂,牙膏添加剂和食品防腐剂[2]。
分子式是有一个苯环的。
1  2  3  4  5  6  7  8  9  10 ... 29  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5272 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 01:20 · PVG 09:20 · LAX 17:20 · JFK 20:20
Developed with CodeLauncher
♥ Do have faith in what you're doing.