zhouyin 最近的时间轴更新
zhouyin

zhouyin

V2EX 第 679498 号会员,加入于 2024-03-09 10:38:20 +08:00
nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
分享发现  •  zhouyin  •  4 小时 51 分钟前  •  最后回复来自 stabc
19
docker centos6 无法拉取镜像
问与答  •  zhouyin  •  4 天前  •  最后回复来自 zhouyin
7
国内 PHP 卷王是鸟哥
PHP  •  zhouyin  •  5 天前  •  最后回复来自 dsnake1984
38
从闲林搬去老余杭 咋样
杭州  •  zhouyin  •  1 天前  •  最后回复来自 collery
11
utf8 汉字为什么能在 gbk 终端正确显示?
问与答  •  zhouyin  •  20 天前  •  最后回复来自 zhouyin
2
跟富人谈感情跟穷人谈钱 男人该如何处理?
问与答  •  zhouyin  •  39 天前  •  最后回复来自 nativeBoy
54
zhouyin 最近回复了
8 小时 47 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@zhouyin
用了 csvwriter 时间 3 分多

-bash-4.2# time node a.js
finished

real 3m45.028s
user 4m12.751s
sys 2m59.847s
8 小时 51 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@henbf

我又用了一个库 csvwriter 慢得不得了

python 库就是设计得好 不服不行
9 小时 5 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@henbf
python 返回的是数组 只是写入的也是数组
9 小时 24 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
一开始我就是差不多你这样写的 没想到速度没提升 所以改成那样 以为 write 那里有缓冲区

一字不换把你的代码 运行 结果 耗时 一分钟多 望 python 莫及

-bash-4.2# time node a.js
finished

real 1m3.579s
user 1m4.103s
sys 0m2.478s
9 小时 44 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@henbf
我不是 nodejs 高手 我把 a.js 更新了 使用了输出流 但现在报堆溢出错误了 :

```bash
-bash-4.2# node a.js
(node:17974) MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 drain listeners added to [WriteStream]. Use emitter.setMaxListeners() to increase limit
(Use `node --trace-warnings ...` to show where the warning was created)
(node:17974) MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 drain listeners added to [WriteStream]. Use emitter.setMaxListeners() to increase limit
(node:17974) MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 drain listeners added to [WriteStream]. Use emitter.setMaxListeners() to increase limit

<--- Last few GCs --->

[17974:0x1c3dbf0] 40306 ms: Scavenge (reduce) 2046.8 (2082.1) -> 2046.5 (2082.6) MB, 44.4 / 0.0 ms (average mu = 0.342, current mu = 0.316) allocation failure
[17974:0x1c3dbf0] 40396 ms: Scavenge (reduce) 2047.2 (2082.6) -> 2046.8 (2082.8) MB, 31.1 / 0.0 ms (average mu = 0.342, current mu = 0.316) allocation failure


<--- JS stacktrace --->

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
1: 0x7fcfb6136908 node::Abort() [/lib64/libnode.so.93]
2: 0x7fcfb6024451 [/lib64/libnode.so.93]
3: 0x7fcfb732a552 v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [/lib64/libnode.so.93]
4: 0x7fcfb732a8e7 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [/lib64/libnode.so.93]
5: 0x7fcfb74ea305 [/lib64/libnode.so.93]
6: 0x7fcfb74ea3e5 [/lib64/libnode.so.93]
7: 0x7fcfb74fe77c v8::internal::Heap::PerformGarbageCollection(v8::internal::GarbageCollector, v8::GCCallbackFlags) [/lib64/libnode.so.93]
8: 0x7fcfb74ff0a1 v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [/lib64/libnode.so.93]
9: 0x7fcfb7502269 v8::internal::Heap::AllocateRawWithLightRetrySlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [/lib64/libnode.so.93]
10: 0x7fcfb75022f7 v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [/lib64/libnode.so.93]
11: 0x7fcfb74c27d0 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [/lib64/libnode.so.93]
12: 0x7fcfb74badb4 v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawWithImmortalMap(int, v8::internal::AllocationType, v8::internal::Map, v8::internal::AllocationAlignment) [/lib64/libnode.so.93]
13: 0x7fcfb74bcbdf v8::internal::FactoryBase<v8::internal::Factory>::NewRawOneByteString(int, v8::internal::AllocationType) [/lib64/libnode.so.93]
14: 0x7fcfb74c4d5d v8::internal::Factory::NewStringFromUtf8(v8::base::Vector<char const> const&, v8::internal::AllocationType) [/lib64/libnode.so.93]
15: 0x7fcfb733d59d v8::String::NewFromUtf8(v8::Isolate*, char const*, v8::NewStringType, int) [/lib64/libnode.so.93]
16: 0x7fcfb6215390 node::StringBytes::Encode(v8::Isolate*, char const*, unsigned long, node::encoding, v8::Local<v8::Value>*) [/lib64/libnode.so.93]
17: 0x7fcfb6123ef3 [/lib64/libnode.so.93]
18: 0x7fcfb71ba3cc [/lib64/libnode.so.93]
Aborted
```
10 小时 22 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@gainsurier
还有 nodejs c++实现 没 python 做得好
10 小时 24 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
@gainsurier
python 和 php ruby 不就是 c 实现的么 只是 python 实现得好
11 小时 3 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
11 小时 20 分钟前
回复了 zhouyin 创建的主题 分享发现 nodejs Python PHP ruby go perl 处理单个 4 百兆 csv 文件比较
代码传不上来

看这里

https://cowtransfer.com/s/f0a48d2009fd4f
@meitounaoba
上限多少呢
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3307 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 00:09 · PVG 08:09 · LAX 16:09 · JFK 19:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.