V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wutiantong  ›  全部回复第 31 页 / 共 32 页
回复总数  622
1 ... 23  24  25  26  27  28  29  30  31  32  
2018-09-27 16:36:20 +08:00
回复了 foxyier 创建的主题 Python 求助一个网站视频加密方式, 已排除是 base64 加密
你给的字串里 lxxt4hGGB6F3u763zGD9i0X_4EBDh7CAC.6Irkx6q7oz7TYOL2uErB25u1E7 出现了 9 次
2018-09-25 17:43:15 +08:00
回复了 skinny 创建的主题 Python Python 内存占用也太大了。
实际运行环境是新版 MBP,python3.7

```
import collections
import pickle

def make_cnt(section):
cnt = collections.Counter()
for i in range(6000000):
cnt[str(i +6000000*section)] = i
return cnt

if __name__ == '__main__':
cnt0 = make_cnt(0)
pickle.dump(cnt0, open('/tmp/cnt0', 'wb'))
input("Press Enter to continue...")
cnt1 = make_cnt(1)
pickle.dump(cnt1, open('/tmp/cnt1', 'wb'))
input("Press Enter to continue...")
cnt2 = make_cnt(2)
pickle.dump(cnt2, open('/tmp/cnt2', 'wb'))
input("Press Enter to continue...")
cnt3 = make_cnt(3)
pickle.dump(cnt3, open('/tmp/cnt3', 'wb'))
input("Press Enter to continue...")
cnt4 = make_cnt(4)
pickle.dump(cnt4, open('/tmp/cnt4', 'wb'))
input("Press Enter to continue...")
```
这个代码主要是观察 Counter 的内存占用情况,观察结果是:
1. 一个 600 万条的 Counter 占用 900M 内存,平均每条记录占用 150 个字节,5 个这样的 Counter 总计占用内存 4.5G (个人觉得并不算很过分)
2. pickle 序列化后得到的文件是 130 多 M


```
import collections
import pickle

if __name__ == '__main__':
cnt0 = pickle.load(open('/tmp/cnt0', 'rb'))
input("Press Enter to continue...")
cnt1 = pickle.load(open('/tmp/cnt1', 'rb'))
input("Press Enter to continue...")
cnt2 = pickle.load(open('/tmp/cnt2', 'rb'))
input("Press Enter to continue...")
cnt3 = pickle.load(open('/tmp/cnt3', 'rb'))
input("Press Enter to continue...")
cnt4 = pickle.load(open('/tmp/cnt4', 'rb'))
input("Press Enter to continue...")
```
这个代码主要是观察 pickle 反序列化过程中会不会产生额外的内存占用,以及反序列化出来的对象实际大小如何,观察结果是:
1. pickle 的反序列化过程有轻微的内存使用上涨但并不会产生内存泄漏
2. 反序列化出来的 Counter 略小于直接动态生成的 Counter,5 个 Counter 总计占用内存 4.3G


总结一下:
1. pickle 这个库挺不错的,压缩率和运算性能都很可观,而且也没观察到内存爆增或者内存泄漏的情况(至少在我的测试环境下是如此的)
2. 楼主所用的 Counter 每条记录占用 150 字节左右,总计应该是需要 4.5G 左右的内存,6G 内存应该是能撑得住的
3. 我猜楼主在后续的合并操作没有及时回收内存,故而需求了几乎翻倍的内存
2018-09-25 17:39:07 +08:00
回复了 skinny 创建的主题 Python Python 内存占用也太大了。
楼主的不友善态度和杠精精神好像传染了我
我一个没学过 python 的花了点时间搜了一圈 google
又按照楼主的描述写了点测试,我后面贴一下
2018-09-25 14:03:56 +08:00
回复了 skinny 创建的主题 Python Python 内存占用也太大了。
@skinny 不是,你老说没 pickle 什么事,可是你明明就是在用 pickle 做序列化反序列化啊?
2018-09-25 12:07:23 +08:00
回复了 skinny 创建的主题 Python Python 内存占用也太大了。
@skinny 人家 est 所 diss 的是“你不会用 pickle 非要强上才导致的问题不应该怪 python ”,你非要理解成他在袒护 pickle,你这边的沟通理解能力堪忧
2018-09-25 10:16:50 +08:00
回复了 ngg0707 创建的主题 C 为什么 const 引用可以指向常量还可以取到地址?
2018-09-19 15:39:54 +08:00
回复了 v2byy 创建的主题 C 如何更好的在 c++各个 project 共享代码
basically, you need to learn this: https://en.wikipedia.org/wiki/Make_(software)
2018-09-19 13:03:18 +08:00
回复了 v2byy 创建的主题 C 如何更好的在 c++各个 project 共享代码
@v2byy 问题就是你没有把你的问题表达清楚。
2018-09-19 11:54:47 +08:00
回复了 v2byy 创建的主题 C 如何更好的在 c++各个 project 共享代码
static/shared library, compile & link 这些基本概念搞清楚先?
2018-09-12 09:33:56 +08:00
回复了 v2byy 创建的主题 C 下面的代码为什么赋值之后不对
@v2byy 看起来不会有你所说的“赋值不对”的问题,建议你直接 printf(%s, %p)出来看看?
2018-09-07 09:46:44 +08:00
回复了 yuge0099 创建的主题 程序员 用 GitHub 之类合作开发有什么规范吗?
你先学学 git 的原理吧,你所说的文件代码丢失,应该不是丢失了
2018-08-31 10:33:49 +08:00
回复了 razios 创建的主题 问与答 有什么好玩容易上手的桌游推荐?
@zhangzhang 其实大部分桌游都不会有淘汰干等的问题
2018-08-27 11:24:58 +08:00
回复了 zynlp 创建的主题 C [C++] 从 0 到 2 亿随机采样(300 个)的最佳实践?
从 2 亿个数里随机取一个(std::uniform_int_distribution)记为 a1
从(2 亿-1)个数里随机取一个记为 a2,if (a2 >= a1) then (a2 += 1)
从(2 亿-2)个数里随机取一个记为 a3,if (a3 >= max(a1, a2)) then (a3 += 2) elif (a3 >= min(a1, a2)) then (a3 += 1)
依次类推 300 次
2018-08-10 10:44:19 +08:00
回复了 opiviqo 创建的主题 C 请教一个关于 cmake 编译顺序的问题
@opiviqo tests 里面的 CMakeLists.txt 写成这样就行了:
ADD_EXECUTABLE(bin main.c)
TARGET_LINK_LIBRARIES(bin bns)
2018-06-30 15:38:21 +08:00
回复了 automaton0018 创建的主题 C [c++] 新手 求解一道题(最好带注释)
最好带注释?
2018-05-28 14:18:20 +08:00
回复了 Number13 创建的主题 C 如何用 C++ 实现一个简单的文件操作?
既然你“新手练习 C++文件操作”,那你写文件就用 ofstream 写个函数,读文件就用 ifstream 写个函数
你这个 class 写得实在是太尬了
2018-05-28 13:38:06 +08:00
回复了 poorcai 创建的主题 南京 在南京怎么租房才靠谱?
@poorcai 为了避免踩坑你得细心点,看房子时多考虑些问题 准备签合同前一定要见一下房东 记得看房东的身份证和房产证 当然你的身份证也要给人家看
2018-05-28 13:33:18 +08:00
回复了 poorcai 创建的主题 南京 在南京怎么租房才靠谱?
@poorcai 就找 top2 那两家 还是蛮稳的 当然半个月房租的中介费你是得付的
2018-05-28 11:09:48 +08:00
回复了 poorcai 创建的主题 南京 在南京怎么租房才靠谱?
先想好在哪租,然后去找附近的中介带看
1 ... 23  24  25  26  27  28  29  30  31  32  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5953 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 02:32 · PVG 10:32 · LAX 19:32 · JFK 22:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.