现在需要对一个文件频繁的读,没有写,文件大小在 100-500G 左右,有顺序读,有随机读。 现在是读取次数太多陷入 syscall 太多然后导致调度占用时间变多,大佬们这种如何优化。
1
JKeita 2021 年 9 月 18 日
顺序读也就每次加载一段数据到内存,随机的话感觉优化不了。
|
2
MidGap 2021 年 9 月 18 日
可以参考 mmap
|
3
rrfeng 2021 年 9 月 18 日 via Android
根据文件内容,拆分后索引起来。
如果文件本身有序那也可以索引 offset |
4
wellsc 2021 年 9 月 18 日
文件啥类型的,纯文本?有没有格式?
|
5
ch2 2021 年 9 月 18 日
直接 mmap
|
6
misaka19000 2021 年 9 月 18 日
mmap+1 让 OS 帮你调度
|
7
llllIIIIllll 2021 年 9 月 18 日
买 1T 内存
|
8
index90 2021 年 9 月 18 日
了解一下 golang 的 netpoll,仿造一个?
|
9
CrazyMonkeyV 2021 年 9 月 18 日
长打开这个文件,不关闭就行了
|
10
b00tyhunt3r 2021 年 9 月 20 日
不 close 不就行了吗?
|