@iheshix 你所说的现在 ipad 2 都能实现，前提是你用了 AWS 或者 Azure,没什么的，只不过是一个小时几百上千美元而已。否者你认为 ipad pro 能做到流畅编辑 4k 视频？那么这台 ipad pro 应该是厚度 0.5m 内置核电池了。

@ivmm cloudflare 在生产环境里面都是用 OpenRestry ，还是挺可靠的

@okudayukiko0 我推荐 htop

MySQL 没有 windows 函数，无法实现你想要的效果，若是仅仅选取 user_id 跟 hits 两个 field 倒是可以做到

后台的话， angular 1.x 绝对超级适合，若是性能问题可以尝试在 ng-for 里面加入 track by ，减少 dirty-check 的成本。 angularjs 跟 vuejs 这些是同一个级别的

@tomzhu 不用 monkeypatch.patch_all()，你可以自己一个一个 patch ，具体 patch 了什么 https://github.com/gevent/gevent/blob/master/src/gevent/monkey.py#L575
两大切记， gevent 在面对 CPU 密集型以及本地 IO 密集型的任务，都很无力

@binux 我觉得，还是先推荐读 UNP 比什么都重要，读后才开始“异步”编程，否则一个 sleep ，或者 gevent 里面写日志到本地文件，就全线爆炸了。
太多新人根本不了解所谓的异步，同步，堵塞，非堵塞然后就开始上各种框架，这是一切的问题的根源啊。

@tomzhu 你需要了解 Linux 编程里面的 IO 操作， gevent.spawn 只是一个封装，你大可用系统调用 ioctl 将 fd 设成非堵塞，那么所有的读都是非堵塞的了

@xiaocang OpenRestry 商业化公司这么多，春哥都是在 cloudflare 上班，捐不捐区别不大

@9527ox 嗯之前以为是别的语言，今天一看才是 Android ，的确是没有那样的方法，不过会不会遍历并不慢，慢的是你遍历过程中的操作呢？我看到其他的人基本上都是申请一个大的 buffer ，然后不断往里面写数据

20-30 万的数据量，读还是很快的，写我就不知道了

54

@9527ox 获取了 cursor 对象之后不是应该有 fetchAll 之类的方法吗？是 fetchAll 之类的方法慢？

一定是遍历，不能一口气全部读出吗？

@CNAX 大公司据我所知是有配产品化的工程师，但是你的数学要很厉害，纯数据分析的，根据我身边的人来看，基本上都是数学系出身的。哪怕这样他们也是有开发能力的，他们可能指追求正确性，但是他们必然会开发，你若是不会开发，数学又不拔尖，这口饭大概是悬了。

PS ：数据分析真正要能上台面的肯定是要懂数学的，懂数学的，懂数学的，不是算数，不是算数，不是算数。

说一下自己最近的经历吧，基本上每天都跟最少几十万的数据在打交道，有上百万的，我觉得能说明一些问题。

规整的数据很好分析，但是现实数据都是不规整的，有从 excel 文件来的，有数据库的，有 csv ，一个文件有 13 列，数据库却有 30 列，每个列名都只有意思一样，合并数据需要你来做

这个时候你必须要有开发的能力，一般公司是不可能专门配开发来实现你的模型，因为他们根本就不需要建模，不能用的模型都是垃圾。

同时数据量大上去了， excel 2013 也就支持到 100 万行左右的数据，超过这个上线必须开发。
开发能力很重要！
开发能力很重要！
开发能力很重要！

说完开发能力了，那么剩下就是拼线性代数跟概率论了。不过我目前用的也不多，就线性代数可能用得上一点点。

小数据分析大概就是上面这个样子，仅供参考。

你们撕逼直接在生产环节撕逼也是厉害，我们撕逼最多也就是在 code review 的环节

@mhycy 我说的 SQL 维护成本高就是指新人需要懂 SQL ，我更加指的是裸 SQL 。
你说的查询生成在我看来本质上就是 ORM ，你这样用没有问题，只不过你有没有试过 benchmark ？性能有没有提高？文档跟其他的 ORM 框架比起来怎么样？总不可能每个接触这套东西的人都来人肉问你吧？就算你愿意回答，你真有这么多时间吗？这些在我看来都是维护成本，至于为什么说裸 SQL 维护成本更大呢？原因是新人不用去了解各个数据库的 SQL 实现，他也不用去思考你这套东西跟已有部件的组合。
同时不要神化 SQL ， SQL 能解决很多问题，但是用程序一样能解决，比如外键什么的都能自己进行检查来约束，数据库完全可以当成一个存储引擎外加+SQL 接口的组件来使用
我并不是排斥 SQL ，任何的事情都是要看环境的，你们适合的不一定适合其他人，可能你们本身团队的人员就比较强，我讨论的只是普遍情况下 ORM 可以解决大多数问题，而且很多问题可以通过软件设计来配合使用纯 ORM 的方式进行开发。