moomtong 最近的时间轴更新 moomtong 最近的时间轴更新 |
moomtongV2EX 第 546781 号会员，加入于 2021-05-31 10:58:51 +08:00 |
moomtong 最近回复了
57 天前 回复了 XinPingQiHe 创建的主题 › 程序员 › 有经验的 v 友看看，这个 AI 知识库私有化部署的方案行吗，怎么改进 |
ollama 主要的场景还是在个人 pc 上跑模型，没有大范围的生产用例。
RAG 的效果是需要根据数据定制化去调的，首先 embedding 横向对比，然后文档的提取和切分方法，像你提到的 pdf 有些开源 RAG 本身内容提取就做的比较烂，可以看看导入的内容准不准确，表格之类读没读出来，标题和编号之类结构化信息有没有保留、能不能查到等等。还有排序方法也可以定制化去改。进一步提升效果的话内容本身也要做增强，补数据、摘要等等。还有不少其它的，网上资料很多可以看看。
但其实在这些之前，既然是集团公司，他们自己的文档现在是在哪里，云文档？公司有自己的知识库吗、要不要对接、现在有远程会议应用吗、有会议室录音硬件吗、你的服务是类似 gpt 的形式还是已有应用内插件的形式，这些个人感觉是先要考虑/谈的。
语音方面 Whisper 本身能力是很 ok 的，但是很可能还需要说话人识别。然后比较现实的问题是会议录音的音质，有的人可能离话筒远很小声，和多个人同时说话这种，目前业界也没什么很好的解。
RAG 的效果是需要根据数据定制化去调的，首先 embedding 横向对比，然后文档的提取和切分方法，像你提到的 pdf 有些开源 RAG 本身内容提取就做的比较烂，可以看看导入的内容准不准确，表格之类读没读出来，标题和编号之类结构化信息有没有保留、能不能查到等等。还有排序方法也可以定制化去改。进一步提升效果的话内容本身也要做增强，补数据、摘要等等。还有不少其它的，网上资料很多可以看看。
但其实在这些之前，既然是集团公司，他们自己的文档现在是在哪里，云文档？公司有自己的知识库吗、要不要对接、现在有远程会议应用吗、有会议室录音硬件吗、你的服务是类似 gpt 的形式还是已有应用内插件的形式，这些个人感觉是先要考虑/谈的。
语音方面 Whisper 本身能力是很 ok 的，但是很可能还需要说话人识别。然后比较现实的问题是会议录音的音质，有的人可能离话筒远很小声，和多个人同时说话这种，目前业界也没什么很好的解。
68 天前 回复了 crazy005 创建的主题 › 问与答 › 黄金持续走高，我 574 一克买的黄金，多钱卖合适啊。 |
国外一些机构半年前就看到$3000usd/oz 了，还早
183 天前 回复了 nicht 创建的主题 › 程序员 › 组织架构频繁变动导致一些系统经常出问题 |
这种我们一般用虚拟组
2021-12-09 10:40:04 +08:00 回复了 LeeReamond 创建的主题 › Python › Python 的 pickle 加载大于内存上限的内容时会分段载入吗？应该怎么处理大文件读取？ |
Memory Map?不确定视频文件行不行
2021-08-09 17:55:43 +08:00 回复了 join 创建的主题 › Linux › 逃离到 Linux 两周的感受 |
感觉 lz 总结得，关键就是千万别有强迫症 hh
比如有个桌面小工具只要一点就 segmentation fault——
错误做法：查资料 debug 各种方法修一周，没修好
正确做法：那就别点它 hhh
比如有个桌面小工具只要一点就 segmentation fault——
错误做法：查资料 debug 各种方法修一周，没修好
正确做法：那就别点它 hhh
2021-08-09 17:47:09 +08:00 回复了 Cbdy 创建的主题 › 支付宝 › 关于用云闪付完全替代支付宝这件事儿 |
云闪付属于一看就是在亏钱的产品，支付市场现在大局已定，美团字节这种体量的下场也很难玩得转。所以硬做云闪付应该多少带点政治任务，有羊毛薅的时候还是可以支持一下
Select Language