写神经网络，想保存当前状态，调试三个小时都没搞定，烦啊。似乎总是有变量忘记存，但是不知道是哪个。（程序可以正常运行）

[yanhh]

很短的代码，前后翻看好久，就是不知道哪个变量忘了。

虽然忘了变量，但是读取保存的状态之后还是可以继续跑————所以就找不到哪个变量忘记存。可以继续跑，但是损失函数会回到原点，跟重新随机生成参数一样，所以肯定是有哪个变量给忘了。

现在先用 shelve，根据 dir()把所有变量都存起来，测试可行。先睡觉了。

调了三个小时都没调出来，实在是郁闷。发个帖子。

重构了一遍代码，修好了，问题应该是在中间步骤保存了，一部分变量是旧阶段的，一部分是新阶段的。没有变量忘了存。

真实的出错原因 enumerate(set(...))的顺序在不同 Python 实例中是随机的： https://www.v2ex.com/t/740130

[yanhh]

如果有朋友想挑战一下，可以看这个，我把代码复制上来了： https://paste.ubuntu.com/p/jRWr4dfhqg/（没问题的代码略去了）
（ Andrej Karpathy 写的字符循环神经网络）

其中 vocab_size, seq_length, data, hidden_size, char_to_ix, ix_to_char, learning_rate 是常量，不会出问题；
n, p, Wxh, Why, Whh, bh, by, hprev, smooth_loss, mWxh, mWhh, mWhy, mbh, mby 是我识别出来的参数，我都用 numpy.save/load 或者 json 保存和读取了，不会出错。现在找漏掉的变量，但是死活找不到……

[yanhh]

昨晚跑了一晚上加上今天上午，训练了很多，结果因为这个问题一下子所有训练结果都损失了
见训练过程图： https://imgchr.com/i/rfUvDA （下午一点钟的时候损失函数又跳到很高就是因为这个）

[Weixiao0725]

请问你的 training dashboard 是用什么制作的？

[yanhh]

@Weixiao0725 我这个网络是直接 numpy 写的，所以这个仪表盘是自己写，用 Highcharts.js ；然后是用 web.py 写了一个本地的服务器跑起来。如果不用 numpy，用 tensorflow 写网络，就可以用它自带的 tensorflow dashboard.

[jc89898]

你干嘛要这样写呢？为啥不 z 写个 class

[dick20cm]

你好菜啊

[YouLMAO]

菜菜子

[ofooo]

把所有参数放在一个字典里，把保存和载入代码弄成自动遍历的。。。。。

[810244966]

备忘录模式

[northisland]

`param += -learning_rate * dparam / np.sqrt(mem + 1e-8) # adagrad update`


import pickle

with open("snapshot.pkl", "wb") as f:
pickle.dump(param)


厉害了，第一次看到用 numpy 来自己搞定 bp 的人。。。确定不用框架试试？

[yanhh]

@northisland 感谢，这代码不是我写的，是 Andrej Karpathy 写的字符循环神经网络。刚刚调试发现是因为 enumerate(set(...))不知为何在不同 Python 中实例顺序是随机的，而我用它来预处理输入，所以每次训练的输入都不一样= = 详见 https://www.v2ex.com/t/740130，我又发了个帖子

[yanhh]

@dick20cm
@YouLMAO 主要是懒= =今天一调就调出来了，之前不知道为什么没有去动它。