V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ShadowPower  ›  全部回复第 12 页 / 共 105 页
回复总数  2094
1 ... 8  9  10  11  12  13  14  15  16  17 ... 105  
245 天前
回复了 puppyxxx 创建的主题 程序员 程序员 10 年,想转做 AI 应用方向
简单说说我的想法吧。

要想做 AI 应用方向,还能取得独特的竞争力,至少需要:
1. 会训练模型;
2. 如果需要在端侧部署,需要熟悉一些推理框架,以及设备都有哪些限制。

其中,
第一点需要有数据收集、整理、清洗,以及编写训练代码的能力;
第二点需要了解 ONNX 格式(可以谷歌搜索一下)。今天的 pytorch 模型转 ONNX 比几年前容易得多,但是有时候会遇到问题,比如有不兼容的算子,或者某个模型的开源代码用了 CUDA 库实现,那么就需要自己动手解决。
有了 ONNX 之后,一般各种设备都会提供转换 ONNX 模型到专用模型格式的工具,或者它可以直接加载运行 ONNX 模型。
但是可能会有性能问题,取决于设备。有时候调换一下模型权重数据的不同维度,实际运行性能可能有几十倍的差距。

LLM 出现之前的绝大多数模型,都可以用一张 3090 显卡来训练(像 BERT 模型这个规模的不行)或者微调(对下游任务,自己微调 BERT 是可行的)。
一般来说,做应用开发方向不需要自己发明新的模型架构。但是世界上绝大多数开放权重的模型只是为了验证论文中的数据,是用数量非常有限的,没有版权问题的数据训练出来的。

或者它已经用了大量数据来做预训练。但是,没有针对你需要的下游任务做微调。
这时候就需要自己去训练或者微调它。


如果是 LLM 相关的应用,那上面的一切都不需要学,只需要会调用 API ,平时多玩玩 LLM 就可以了。今天的 LLM 都强大到 Prompt 随便写,都有不错的效果了。
如果是 AI 画图的应用,可能需要自己训练一些 LoRA ,来实现别人不具备的产品竞争力。如果只是网上公开的模型部署在服务器上给人用,现在的平台太多了,很难有独特的优势。



有很多产品思路,实际上用以前的模型就能实现。但是当年的硬件性能很低,而且没有搭载 NPU ,用显卡来跑的话,功耗和发热非常高,噪音很高,而且电脑会卡到什么事情都做不了。
今天 NPU 逐渐普及到电脑上之后,当年很多只存在于服务器上或者论文里的模型算法,已经可以落地到实际产品中了。

随便举些例子:
做自带和弦识别的音乐播放器(也许搞音乐的会用得上);
自动制谱的音游;
利用强化学习实现的,可以人机对战的单机游戏。不是棋牌类,而是实时操作的类型;
相册,但是识别图片中的动漫角色叫什么名字,出自什么作品,支持自然语言搜索,还可以自动创建分类;
自动对敏感信息打码的截图工具(有 v 友已经做过了,但我记得只支持 iOS )

AI 应用的思路,不能局限在一两个模型上。平时可以找找目前都有哪些模型,然后想想这些模型的能力可以用在软件的哪些功能上面。
247 天前
回复了 shujuliuer 创建的主题 Windows 可能是全球最快捷的修改 hosts 文件方式
@lscho
op 写得太复杂了,其实非常简单,用 Powershell 以管理员权限运行程序是这样写:
Start-Process 程序名 参数 -Verb RunAs

程序名只需要填上:notepad
参数填上 hosts 文件路径:'C:\Windows\System32\drivers\etc\hosts'

我觉得还挺直观的。虽然没有 unix 命令那种一两个字母看起来短,不过实际上在脚本里可读性非常强。


然后用 Powershell 来运行它,只需要这样:
powershell -Command "这里是要执行的命令"

有缩略写法:
pwsh -c "这里是要执行的命令"


把这个添加到快捷方式里,就可以实现双击执行某条命令了。


对比苹果的设计,AppleScript 是这么写的:
do shell script "open -a 'TextEdit' /etc/hosts" with administrator privileges

整体上甚至差不多,格式都很像。如果追求“双击就能运行”,那么这就是最简单的方法了。
除非配了免密码,不然用 sudo 的方式需要输入密码。
247 天前
回复了 Xntu 创建的主题 Apple 黑苹果末路?
@zhouquanbest 确实,想想 2018 年那时候,mac mini 丐版要 6000 多,新出的 MBA 特别卡(后来证明淘汰得特别快),而 MBP 也将近 15000 元起步……
247 天前
回复了 shujuliuer 创建的主题 Windows 可能是全球最快捷的修改 hosts 文件方式
@lscho 我想知道为什么这是你不用 Windows 的原因……
难道这玩意还影响开发吗?
247 天前
回复了 shujuliuer 创建的主题 Windows 可能是全球最快捷的修改 hosts 文件方式
@strobber16 公司有一堆环境,微服务改配置里的注册中心和中间件的 IP 地址要花点时间。用域名,直接改 hosts ,然后全部重启就搞定了
247 天前
回复了 Xntu 创建的主题 Apple 黑苹果末路?
@wangxiang 没有必要,内存大很有用
248 天前
回复了 shujuliuer 创建的主题 Windows 可能是全球最快捷的修改 hosts 文件方式
我用 SwitchHosts……
249 天前
回复了 verylove 创建的主题 分享创造 程序员太卷了,来搞音乐了~~欢迎拍砖~~
简单说一下感想:
旋律没有记忆点。没有想让人反复听,想要哼几句的片段
混音不是很好,人声过于突出,和伴奏的混响听起来也不太一致,比较干
249 天前
回复了 Jayleonc 创建的主题 MacBook Pro 月薪 1.4w 的程序员,应该升级 Mac 吗?
@dilidilid 其实 op 就是觉得贵,才会问这个问题……
因为描述里已经写了,内存有点少,存储也不够(删东西才够)。
如果不觉得贵,应该早就买好了。提问则说明内心还是犹豫的,花这笔钱会有心理负担。
我也觉得手头已经有台 MacBook 的情况下,搭配一台扩展性好一点的 PC ,做大内存、大存储的开发机挺不错。
不喜欢 Windows 也可以装 Linux 。
249 天前
回复了 B1ankCat 创建的主题 Linux 关于最近 R4L DMA 事件的 Linus 回应
@TanKuku 这个语言目前还没达到“用于评估的最小可行产品”阶段,投入生产得是很久以后的事情了
249 天前
回复了 B1ankCat 创建的主题 Linux 关于最近 R4L DMA 事件的 Linus 回应
@capric 这点我是知道的,但这只是标准库里实现的智能指针,可以不用……
仅从语言本身来看,它的内存管理不依赖引用计数。有些语言的内存管理不能不使用引用计数,比如 Objective-C 、Python 等。
然后,哪怕是 C 、C++没有引用计数,项目中仍然可以自己实现这样的内存管理机制。

他的意思可能是指 C++没有,觉得换成 Rust 一定会有。这种说法是不成立的,我想说的只是这一点。
249 天前
回复了 B1ankCat 创建的主题 Linux 关于最近 R4L DMA 事件的 Linus 回应
@iceheart
1. rust 并不使用引用计数。内存管理依赖的是所有权系统,它是显式且编译期检查的;
2. 如果你觉得 C 和 C++没有 runtime ,那么 Rust 也没有;
3. “换成 rust ,同样的问题就没有了吗?”。工程上的问题并不是“绝对没有 bug”,“绝对可靠”才行,而是在成本、风险和收益之间进行取舍。C++成本、风险都很高,收益微乎其微,而 Rust 则不同。
250 天前
回复了 chenxiankong 创建的主题 Apple 感觉 macos 的交互延迟做的很烂
@chenxiankong #38 我试了一下,是真的,长知识了
我试了一下,OpenTabletDriver 不管用
https://i.imgur.com/RX1vDwo.png
250 天前
回复了 Jayleonc 创建的主题 MacBook Pro 月薪 1.4w 的程序员,应该升级 Mac 吗?
没必要,钱花在 Mac 上其实不会产生多少收益
251 天前
回复了 chenxiankong 创建的主题 Apple 感觉 macos 的交互延迟做的很烂
@Takizawa 这个还好,可以单独重启 explorer.exe 。macOS 那种问题都没办法,只能选择重启整个系统……
我知道有 killall Dock 这种命令,不管用
251 天前
回复了 WangStormstout 创建的主题 iPad 想买一个 iPad 当做爱奇艺工具。
@docx 其实只看视频真的是大多数非学生、考公党用平板的需求……
251 天前
回复了 chenxiankong 创建的主题 Apple 感觉 macos 的交互延迟做的很烂
这些我觉得还好,其实最影响效率的还是 macOS 的动画关不掉,有些操作形成肌肉记忆了就觉得动画非常碍事……
macOS 运行时间越长其实 bug 越多,我现在发现鼠标滚轮滚动也会出现延迟,而且重启就能消除延迟,开机超过一星期就会出现。Windows 始终没有这个问题。
1 ... 8  9  10  11  12  13  14  15  16  17 ... 105  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2548 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 15:02 · PVG 23:02 · LAX 08:02 · JFK 11:02
♥ Do have faith in what you're doing.