加 fencs 可以, 另外我一直用这个 plugin, 切换编码变得比较容易: 'mbbill/fencview'

@TaMud 元旦放假, 在家看了下, 抓下来了.

这个页面的反爬机制是, 一个 proxy.js 来设置一些 cookie, 这个 proxy.js 加密了, 让你不知道它要检查哪些 cookie. 通过 decrypt 这个 proxy.js 就发现了那些 cookie 的名字以及什么值.

扩充了我自己的 cnProxy 脚本, 如有兴趣看下,见:

https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py#L61

@TaMud 你不已经发在上面了吗... 你是说要我把 request headers 贴上来?

@alexapollo github 有那种 build 各种 contribution 图案的. 应该就是 cronjob 类似的.
要是写编码的机器人, 可能就不用 cron 了, 机器人本身就完成你的马拉松了:)

我第一想到了 cronjob...

我觉得我找工作时用的简历模板是最难看的.... 现在简历还在更新, 还是那个模板.虽不为找工作了, 就做个人存档了.

@TaMud 是, 我昨天觉得三下五除二改了就行了. 结果发现好像有几个 ID 是 server 那边生成的, 不那么容易弄出来. 等有时间了再细研究.

@TaMud 谢谢
等我回家测试一下代理质量.
这个 post 返回的还不错是 json, 脚本应该比较容易改, 还有 download_speed 测试结果.
挺好的.

弄个代理池, 换着爬

沃尔沃那个铲车很厉害, 这个 technik 系列 youtube 都有详细视频, 看着手痒痒. 就是有点贵...

@aheadlead
我完全同意 shellscript 长了调试, 修改, 维护非常头疼. shellscript 的强项本来也不是实现特别复杂的功能, 甚至编写应用程序.我没否认 google 的说法, 我只是说纠结于 100 行有点没必要.

@crowds 恕我直言, 我觉得这太教条了. 你可以搜索一下你电脑里的 shellscript, 超过 100 行的有多少, 他们又有多少会转到 python.
而且这毕竟是 google 他们自己的 convention, 虽然 google 对软件开发行业推动很大, 但不能这么教条我觉得.

@neilp 我不是强调 awk 的方式.
你那一串 pipe, 一下就 5,6 个进程, 而且你的代码里这样情况很多. 一般 grep 和 sed/awk 一起用都是 quick and dirty 的方式. 当然, 你可以说, 我把全部代码中启动 100 个进程,简化到 20 个, 对我这个程序来说性能没什么显著提升. 可是作为咱们搞技术, 如果知道一种方法是最优的, 却选择不优的(我这里不说是最差的), 是态度的懒惰, 不是技术的问题. 特别是, 这个选择并不提高多少开发成本.

当然, 你要学习 awk, 这是成本. 但我觉得 awk 作为 shellscript 编写是必须会的之一. 不说掌握多高深, 但必须会.

my 2 cents

@crowds 这不说明什么呀. 大于 100 行的 shell script 有的是吧?

不知道是不是有点挑剔了, 打开代码看了下, 很多例如:

echo|sed|cut|sed|cut....
grep|sed|sed|cut|cut...
grep|sed|cut|cut....
....

这些真有点眼疼.. 建议看一下 awk, 会对你这个脚本有挺大帮助.

不要为了去学一个东西而学, 只有你需要再学.
我第一次接触 vim 是 2000 年, 当时心里把这种"反人类"的编辑器骂的不行, 但是必须在 server 弄些东西, 每次尽量用 winscp 编辑.:)

2002 年开始只有 linux 系统, 2003 年左右开始接受 vim 并开始用. 到今天, 在我个人心里, 我的编辑器选择只有 vim.用的也很顺手了, 使用中一般不会去想, 去查. 也写过一些插件

说一下我个人体会的"学习"路径:
1. 每天用它, 但用在不重要, 没有时间压力的文本编辑任务上
2. 每天用它, 慢慢重要的编辑任务也有它的身影, 但关键的编辑还是用你以前的 notepad 什么的
3. 所有编辑都用它, 没它觉得很不方便
4. 遇到重复 3 次以上的操作, 就查查 google,帮助等,看有没有简单的方法, stackoverflow, vimgolf 等都是很好的地方
5. 自己某需求频繁,但没有更快的方法, 自己写插件
6. 继续用, 继续学

我个人从 1 完全到 3 这个转变大概花费了 2 到 3 年, 从第 3 步以后, 到现在已经经历了 10 年, 还是在第 6 步.

就用就得了, 用到哪有问题, 自己找办法, 并理解为什么这么能解决. 时间长了就可以了.

如果自己以后要做 linux 的 sys admin, 那就要对网络等很多方面去做有目的更深入了解了了.

P.S. 我前天查了一下我这当地的 2015 的薪资统计, 程序员平均薪资要大于系统管理员. :-)

@DIYgod 看到了，谢谢。我以为是自动生成的

我有一个疑问，　就是你 pdf 是怎么生成的?