lisztli 最近的时间轴更新 lisztli 最近的时间轴更新 |
lisztli🏢 baidu V2EX 第 7663 号会员，加入于 2011-04-06 16:42:30 +08:00 |
lisztli 最近回复了
2019-10-18 13:23:32 +08:00 回复了 MontagePa 创建的主题 › 程序员 › 寻求代理 IP 池方案 |
@MontagePa 那我的场景和你差不多。我是为了给买来的代理提供一个统一的入口，那你就在它的基础上改就好了。
2019-10-17 20:20:55 +08:00 回复了 MontagePa 创建的主题 › 程序员 › 寻求代理 IP 池方案 |
我以前做过类似的工作，在 https://github.com/senko/tornado-proxy 的基础上修改的。
如果你是在一台机器上获得了 2000 个 IP， 在发起连接的时候，选择使用哪个网卡。如果是有 2000 个 IP 做代理，使用同一台机器统一接入，那么发起连接的时候，轮询、随机的选择一个 IP 做为代理再发起请求。
计费部分得你自己再考虑了，可以通过 header 里面的 auth 字段，或者 IP 地址做为依据。
如果你是在一台机器上获得了 2000 个 IP， 在发起连接的时候，选择使用哪个网卡。如果是有 2000 个 IP 做代理，使用同一台机器统一接入，那么发起连接的时候，轮询、随机的选择一个 IP 做为代理再发起请求。
计费部分得你自己再考虑了，可以通过 header 里面的 auth 字段，或者 IP 地址做为依据。
2018-12-31 19:13:24 +08:00 回复了 gerrardxM 创建的主题 › macOS › 黑苹果下显卡性能减弱。 |
@1797031775 “黑苹果 网卡” 直接搜索就行，搞定了一台台式机，一个笔记本了，价格都在 100 - 200 之间。
2018-03-04 23:28:59 +08:00 回复了 Brucepac 创建的主题 › 程序员 › 有没有一种爬虫服务，只需要我指定网站和规则，就可以定时爬数据，并且可以提供我指定格式的 json api 的 |
scrapinghub 和 scrapy 框架直接绑定，有免费配额，可以直接使用。
2018-03-04 23:27:25 +08:00 回复了 Brucepac 创建的主题 › 程序员 › 有没有一种爬虫服务，只需要我指定网站和规则，就可以定时爬数据，并且可以提供我指定格式的 json api 的 |
2017-02-09 15:21:47 +08:00 回复了 begeekmyfriend 创建的主题 › 程序员 › 树形结构的调试打印 |
2016-08-15 18:47:34 +08:00 回复了 kukuwhu 创建的主题 › Python › 懂 Python selenium 的大神进，请教个问题 |
不一定非得跟 selenium 过不去，使用 twisted 或者 tornado 给出的 demo 中的 proxy 的例子，将经过 proxy 的全部流量都写到磁盘上，然后请求结束后，去对应的文件中找你需要的信息去。
2016-08-03 10:19:53 +08:00 回复了 anonymous5l 创建的主题 › 程序员 › [讨论帖]有没有什么好的方式根据经纬度获取到所在城市的名称呢 |
这个太简单了，
首先下载一分中国行政区划的边界数据，公开的数据精确到了 county ，而且不止有中国的。
其次按照某个精确度对地图画格子，计算格子中心（或者左上角）点落在那个 county 内，使用 k-v 存储记录下 「格子 index 」- county 信息
最后写一个服务提供查询。
如果你对上面步骤有不理解的，或者想节省宝贵时间，我这有全套服务和数据，欢迎邮件咨询价格。
邮件： [email protected]
首先下载一分中国行政区划的边界数据，公开的数据精确到了 county ，而且不止有中国的。
其次按照某个精确度对地图画格子，计算格子中心（或者左上角）点落在那个 county 内，使用 k-v 存储记录下 「格子 index 」- county 信息
最后写一个服务提供查询。
如果你对上面步骤有不理解的，或者想节省宝贵时间，我这有全套服务和数据，欢迎邮件咨询价格。
邮件： [email protected]
2016-07-23 01:16:04 +08:00 回复了 Symars 创建的主题 › 云计算 › 如何提高局域网数据传输速度？ |
nc
我是说那个 linux 命令。
我是说那个 linux 命令。
2013-11-18 12:50:37 +08:00 回复了 Sdhjt 创建的主题 › 问与答 › 求一个每月4亿日志的处理方法，谢谢 |
我们使用过infobright， 你可以试试。 在处理日志这种只加不改的场景，特别好用。 前面那些说hbase、redis的，到底处理没处理过日志……
Select Language