R 里面使用 knn 进行计算太慢了~ 求优化建议~

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3803 天前的主题，其中的信息可能已经有所发展或是发生改变。

笔记本i5 双核4线程。跑一个knn ，训练数据1000天，test set 2W条。估计跑了10~20分钟
求性能优化建议。
我已经使用了openblas进行加速了。。。

难道要换个mac？
不知道有没有一些vps能提供这种服务？比如青云这种按秒计费的服务商，我刚试了一下8核4G 0.92元/小时

求靠谱建议

knn

优化

openblas

11 条回复 • 2014-07-05 20:37:28 +08:00

dndx

2014-07-05 09:15:00 +08:00

R 是单线程，性能不行，别说 KNN 这么复杂的算法，就做个简单的统计模拟都是慢的要死。

如果可以用 C++ 重写的话，试一试 http://www.cs.ubc.ca/research/flann/ ，据我用的情况来看比 R 快了几个数量级。

madeye

2014-07-05 09:17:27 +08:00

来块显卡吧 http://vincentfpgarcia.github.io/kNN-CUDA/

RangerWolf

2014-07-05 09:18:50 +08:00

@dndx 哎看来用R入门之后还是得靠cpp python 等传统语言来搞定生产系统
多谢~

RangerWolf

2014-07-05 09:22:03 +08:00

@madeye mac 里面的显卡能用吗？我现在的本子是使用cpu集成的显示芯片的

madeye

2014-07-05 09:26:29 +08:00 via Android

@RangerWolf 不够用的。

canesten

2014-07-05 09:39:15 +08:00 via Android

@RangerWolf
集成显卡完全不行的
想玩CUDA请上英伟达开普勒架构以上的显卡
我记得貌似亚马逊有专门的实例

Comdex

2014-07-05 10:54:32 +08:00 via Android

用golang

canesten

2014-07-05 11:08:37 +08:00

@Comdex
R也可以玩CUDA
关键是显卡
http://brainarray.mbni.med.umich.edu/brainarray/Rgpgpu/

ruoyu0088

2014-07-05 16:41:02 +08:00

能否具体一点？
你要对20000条测试数据在1000条数据中k个最近的数据吗？k值是多大？数据的维数是多少？

road2stat

2014-07-05 19:53:02 +08:00

http://cran.r-project.org/web/packages/FNN/

RangerWolf

2014-07-05 20:37:28 +08:00

@road2stat 我用的就是FNN里面的knn

@ruoyu0088 其实这个是kaggle里面的一个比赛项目： http://www.kaggle.com/c/digit-recognizer
原始的训练数据有42W条，但是在R里面跑了一个晚上也没跑完。。。我就只留了10000条数据作为训练数据了~ 每条数据是784列，k值我选的7

因为太慢了，没有能测试多个k值，不知道影响如何~