V2EX › Kaiv2 的所有回复 › 第 5 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 23

❮

❯

206 天前

回复了 ztfot 创建的主题 › Apple › 关于 iPhone mirroring 的使用场景？

等出来后用着试试就知道了

211 天前

回复了 duhb 创建的主题 › 问与答 › 请各位大佬们帮忙起个名字？

男：杜里里
女：杜嘉里

216 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存

@Kaiv2 写着写着写成了单机的，这么做多此一举，太蠢了。。。应该是分 hash-3.1 .. n.txt 多个机器同时处理，然后合并重复数据 hash-4.1..n.txt

216 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存

1. 先计原始文件 a.txt 算每一行 hash 保存到 hash.txt 文件
2. 复制一份 hash.txt -> hash-2.txt 用于去重计算
3. 取 hash-2.txt 文件中 10000(这个数根据内存大小预估) 个 hash 前 8 位不重复 hash_array_8
4. 重复的的写入 hash-4.txt, 剩于的写入 hash-2.1.txt -> hash-2.txt ，循环处理直到 hash-2.txt 没有记录
```txt
let limit = 10000; // 控制内存使用
let hash_array_8 = [];
let cache_line = []
for(let h_line: read_line(hash_2.txt)) {
if(hash_array_8.size < limit) {
if(!hash_array_8.has(h_line.sub(8))) {
hash_array_8.add(h_line.sub(8))
}
}
if(hash_array_8.has(h_line.sub(8))) {
if(cache_line.has(h_line)) {
write(hash-4.txt);
} else {
cache_line.add(h_line);
}
} else {
write(hash-2.1.txt);
}
}
mv(hash-2.1.txt, hash-2.txt)
```
5. 得到 hash.txt 跟文件一一对应，hash-4.txt 是重复的记录
6. hash-4.txt (如果重复的不多）直接读取到内存，对应读取 a.txt, hash.txt 每一行，比较 hash 重复跳过，不重复写入 b.txt
没有考虑过计算量，内存不够可以考虑试试这个办法

220 天前

回复了 PersistentCutie 创建的主题 › 职场话题 › 小伙伴们有没有遇到过自己愿意追随的 Leader？

@iOCZS ... 服了这脑回路，“剥夺了别人进步的路线”？
公司机房服务器打补丁，你可以要求留下来值班。
分配任务时，如果你觉得你可以做，你可以要求做。

这个是你可以主动的，不是逼迫你做事情

221 天前

回复了 YongXMan 创建的主题 › 推广 › ChatGPT GPT-4o Claude 3 等大模型聚合 AI Chat 平台

提供 API 吗？

229 天前

回复了 kandaakihito 创建的主题 › 职场话题 › 上家卡离职要一个月后才放怎么办

协商不成，直接走

233 天前

回复了 OvO88 创建的主题 › 分享创造 › 审核了半年之后，我的第一个微信小游戏终于发布成功了，嘻嘻

昵称：你来了
谢谢