```
from datetime import datetime

print("{} start".format(datetime.now()))

with open("3.log", "r") as f:
lines = f.readlines()

print("{} before: {} line".format(datetime.now(), len(lines)))

set_lines = set(lines)
print("{} after: {} line".format(datetime.now(), len(set_lines)))


```

输出:
```
2018-07-30 14:43:24.128476 start
2018-07-30 14:43:47.338141 before: 80000000 line
2018-07-30 14:44:04.591483 after: 80000000 line
```

机器配置: I7, 32G, 固态硬盘, 占用内存 8G



分析:


```
2018-07-30 14:43:24.128476 start
2018-07-30 14:43:47.338141 before: 80000000 line

读取文件耗时 23s

2018-07-30 14:43:47.338141 before: 80000000 line
2018-07-30 14:44:04.591483 after: 80000000 line

去重耗时 17s

```


去重这种事情文件越大, IO 的影响越重. 按照你的生成算法,生成的文件有 1.6G, 这么大的文件全部读取本身就很费时间, 在机械硬盘下这种现象更加明显, 文件大, 文件读取的所占的比重越大.

所以对于这种优化希望还是先 profile 再优化, 楼主能手写 hashtable 我是很佩服了.