记一次令人沮丧的调试 - 又：为什么 enumerate(set(...))的顺序有时是随机的？

[yanhh]

大大前天写了一个神经网络，跑了三天，到大前天重启电脑的时候才发现状态保存没写好，当时以为是有参数变量忘记存了，或者是存储的时候操作错误，查错查了三个小时都没查出问题（还发了个帖子： https://www.v2ex.com/t/739076 ），心情很差，不想调了，就把代码放在一边，跑去做别的事了，每天时不时看看代码，但是怎么看都感觉没问题。

刚刚终于开始单步调试，一调就发现问题了。

问题相当隐蔽：

我的网络输入的是文本，预处理的时候先做了一个字符表：

chars = set(open('...txt').read())
self.char_to_ix = { ch:i for i,ch in enumerate(chars) }

这个字符表看起来每次运行都是一样的，但是实际上不是。

不知道为什么，enumerate(set(...))这个操作每次得到的内容顺序是随机的。大家可以去自己的 Python 里黏贴这一句试试：

{ ch:i for i,ch in enumerate(set('我爱你中国')) }

比比如我第一次运行，结果是：

{'国': 0, '爱': 1, '中': 2, '你': 3, '我': 4}

重启 Python（必须重启），再运行，结果变为：

{'爱': 0, '中': 1, '你': 2, '我': 3, '国': 4}

就是因为这个简单的错误，一旦重启程序，虽然网络参数都保存得很好，但是因为数据源变了，所以训练得从头开始。

最令人沮丧的是，我本来以为这是一个很难调试的错误，所以一直没有去动它；但是真正一开始调试，又发现这个问题如此简单————随后发现，我只是懒而已（= =）

不管怎么样，enumerate(set(...))的这个行为都很奇怪。我简单翻看了一下文档，但是没见到有关解释。打算去 Stackoverflow 问问。

[just1]

set 本来就没顺序啊...

[yanhh]

对啊，就是想不懂为什么 Python 的 set 还有随机性。它生成的时候肯定是一个一个读的吧？为什么要加这个随机性？

[yanhh]

………………一想就懂了，因为内部实现有哈希

[superrichman]

集合没有顺序的
顺便说一句 dict 的 key 也没顺序

[chchwy]

看 set 底下的實現，如果是 tree 那就是有序，如果是 hash 就是無序

[ManjusakaL]

set 中的元素顺序不是随机的，而是有序的，其顺序依赖其 hash 值。大家通常意义上的无序指不是按照插入序而已
至于每次启动 hash 值都不一样，是因为 Python 3 之后 hash seed 会是一个随机数，具体参见 https://docs.python.org/3/using/cmdline.html#cmdoption-r

[guog]

这是 dict 无序啊…

[ErwinCheung]

dict 无序现在版本上来不是说 ok 了的吗

[ErwinCheung]

Python 3.9.0 (default, Nov 21 2020, 14:55:42)
[Clang 12.0.0 (clang-1200.0.32.27)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> { ch:i for i,ch in enumerate(set('我爱你中国')) }
{'爱': 0, '中': 1, '我': 2, '国': 3, '你': 4}
>>> { ch:i for i,ch in enumerate(set('我爱你中国')) }
{'爱': 0, '中': 1, '我': 2, '国': 3, '你': 4}
>>> { ch:i for i,ch in enumerate(set('我爱你中国')) }
{'爱': 0, '中': 1, '我': 2, '国': 3, '你': 4}
>>> { ch:i for i,ch in enumerate(set('我爱你中国')) }
{'爱': 0, '中': 1, '我': 2, '国': 3, '你': 4}
>>> { ch:i for i,ch in enumerate(set('我爱你中国')) }
{'爱': 0, '中': 1, '我': 2, '国': 3, '你': 4}
>>>

[geebos]

@superrichman 3.8 之后 dict 默认是有序字典了

[yanhh]

@ErwinCheung

> 比如我第一次运行，结果是：
> {'国': 0, '爱': 1, '中': 2, '你': 3, '我': 4}
> 重启 Python （必须重启），再运行，结果变为：
> {'爱': 0, '中': 1, '你': 2, '我': 3, '国': 4}

[yanhh]

重新打开一遍 Python 之后运行结果会变，所以重启脚本再次运行的时候会出问题，结果不一样

[Arthur2e5]

数学学过吗？一般的集合是有序吗？对顺序有需求请用 OrderedSet，有序集名字放在那。至于是不是每次都给你同一个顺序，那是实现怎么省事怎么来。

@guog @ErwinCheung Python set() 实现和 dict() 是分开的。dict 的顺序是 py 3.7 开始定义的，是 CPython 3.6 的新行为的固化。

* * *

另外，举需要重启例子的请用 python -c 。`python -c "print({ ch:i for i,ch in enumerate(set('我爱你中国')) })"`，cmd 和 sh 都能跑。

[yanhh]

@Arthur2e5 haha

[swulling]

set 不保证顺序，一句话就完了，写代码不要依赖任何不保证的东西。

作为兴趣去探索这些行为是可以的，但是代码千万不能依赖。

回来你这个问题，正确的代码应该是 set 后再 sort 为列表

[ErwinCheung]

莽撞了哈 感谢大佬们 哈哈哈

[20015jjw]

一次沮丧的看帖

[ETiV]

看到 hash，想到了两年前参与过的一个项目

线上出了 bug，研发调试了一个通宵都没找到问题，来问我

只能一句句帮着分析、定位问题
结论就是，这哥们把 hash 当 md5 用

这哥们儿广东人，一口广普，
“打日志”说成“打艺妓”，记忆犹新

[hello2060]

一次沮丧的看帖。。

[knightdf]

先弄清楚各种数据结构是有序和无序，底层怎么实现的再来说行为奇不奇怪。。

[Wincer]

楼主这个语句，用字典推导式应该是更好的选择。

[HelloViper]

set 就是无序啊，需要有序用 list 啊。。。。。。。。

dict 是 2.6 之后默认 orderlist，先 update 进去的会先遍历到

[yanhh]

@hello2060 哈哈哈

[yanhh]

@ETiV 巧了，我也干过这种事，哈哈哈哈，谁知道 Python 的 hash(...)函数是它返回自己的东西，不是求哈希 后来才知道 from zlib import crc32 （我就临时校验个东西，md5 比较慢，所以选了 crc32 ）

[iceneet]

set 本来就是无序的啊。。 有序的用 list

[yanhh]

@Wincer 不懂，{ ch: i ... for ... } 这个就是字典推导式啊

[yanhh]

@iceneet 主要是它的随机性不是每一次调用都随机，而是每一次重新开 Python 随机，在一个 Python 进程中不是随机的，所以我的程序在一个线程里怎么调用它都一样，我就以为它不是随机的，没意识到它底层是用哈希实现，还以为是 list

[yanhh]

@knightdf 主要是它的随机性不是每一次调用都随机，而是每一次重新开 Python 随机，在一个 Python 进程中不是随机的，我的程序在一个线程里怎么调用它都一样，我就以为它不是随机的。结果就没意识到它底层是用哈希实现，还以为是 list

[Kaciras]

6 楼说的是对的，hash 随机化，启动时添加环境变量 PYTHONHASHSEED=0 即可关闭

[hitmanx]

很多 C++/STL 用久了的人转写 Python 时都会想当然地以为 set 和 map/dict 是基于树结构的 /有序的

[yanhh]

@hitmanx 自己去实现过数据结构的人容易会这样想

[lakehylia]

话说你要保存序列的变量，不是应该用数组 /向量 /列表吗？为什么要用集合？集合在处理序列的变量在运行效率以及空间效率上也不是最优啊。要是我，c++上肯定用 vector，Python 上用 list 。

[fuis]

数据结构是学得有多差。。

[lakehylia]

如果是需要去重，并且保证输出顺序，那肯定要对结果进行排序啊。不然你都不知道它怎么去重的，内在的去重后的顺序也是不确定的。

[zhanglintc]

一次沮丧的看帖

[Wincer]

@yanhh 我意思是 { ch:i for i,ch in enumerate(set('我爱你中国')) } 可以直接使用 { ch:i for i,ch in enumerate('我爱你中国') }，字典推导式在生成的时候，如果存在重复的 key，后一个会自动覆盖前一个 key 的值，所以这个 set 的引入实际上对解决并无帮助，反而还引入了新的问题。

[yanhh]

@Wincer 原来这样！懂了，这个很好

[yanhh]

@fuis haha

[lithbitren]

dict 在 py3.6 以后就用链表实现有序了，dict.popitem 可以把最后添加的键值对取出来，虽然内存比纯 hash 大，但遍历速度比 set 快。

[araraloren]

看了一遍，通通没有说到点上，顺序的 hash 自然可以保证，但是 hash 的随机性 是为了增强安全性，hash 是固定顺序的话很容易被攻击
这有一篇很久之前的文章，https://cry.nu/perl6/secure-hashing-for-moarvm/#hashing-basics