写了个程序记录从我的 vps 上经过的所有 http 请求地址

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 3399 天前的主题，其中的信息可能已经有所发展或是发生改变。

vps上的vpn有分给别人用

主要是好奇别人访问了什么网址……当然，只记录网址，不记录数据。

有同样需求的可以用

https://github.com/zhangtf/url_recoder

第 1 条附言 · 2015-01-05 21:53:05 +08:00

额，觉得楼下有人说的有道理。我把它设为私有了……不过貌似已经晚了

第 2 条附言 · 2015-01-05 22:46:44 +08:00

嗯……已经设为public了……

大家随意吧。

注意用别人的vpn的时候，会有被收集数据的风险……

第 3 条附言 · 2015-01-05 23:06:00 +08:00

by the way

openwrt 和树莓派可用……直接放上去编译运行就可以……

第 4 条附言 · 2015-01-05 23:06:41 +08:00

by the way

openwrt 和树莓派可用……直接放上去编译运行就可以……

VPS

网址

VPN

56 条回复 • 2019-03-29 22:22:25 +08:00

zhengxin1993

2015-01-05 21:26:27 +08:00

nginx和apache不是自带记录功能？

tobyxdd

2015-01-05 21:28:06 +08:00 via Android

直接ngrep存成pcap慢慢看

ForgotFun

2015-01-05 21:29:16 +08:00

赞..

way2exluren

2015-01-05 21:29:31 +08:00

@zhengxin1993 不是啊，我这个vpn上建了个vpn，别人用vpn上网的话，他访问过的网址都会被记录，和web服务器无关

way2exluren

2015-01-05 21:30:35 +08:00

@tobyxdd 嗯，这样也可以

zhengxin1993

2015-01-05 21:33:22 +08:00

@way2exluren 看成对web的访问记录了。

Ricky123

2015-01-05 21:37:06 +08:00

楼主你这样不厚道啊
给别人用就给别人用
居然还要监控别人的浏览记录
而且现在还把这样的行为分享出来

建议楼主不要这么做
这让大家对社区以后的分享行为产生不好的臆想

way2exluren

2015-01-05 21:40:33 +08:00

@Ricky123 我买VPS自己搭vpn就是考虑到自己的访问数据会被vpn记录下来。

话说网上公开的vpn，谁知道有没有记录数据呢……

而且所有的数据vps供应商也可以拿到的。

其实我只是想统计下，到底那些网址访问最多……
还有，我的vpn账号只给了几个朋友，而且他们知道我记录

way2exluren

2015-01-05 21:45:56 +08:00

@Ricky123 我觉得你说的有点道理，我还是删了吧

feiyuanqiu

2015-01-05 21:58:48 +08:00

所以有需求的朋友还是花点钱买个vpn才好

way2exluren

2015-01-05 22:00:11 +08:00

@feiyuanqiu 花钱买的vpn也会被记录啊……

lolicon

2015-01-05 22:03:12 +08:00

楼主能不能发一份给我看下，学习下是怎么记录的 aiguozhedaodan# gmail 谢谢

housex

2015-01-05 22:19:47 +08:00

来晚了，看不到了

goodbest

2015-01-05 22:29:46 +08:00

@Ricky123
@way2exluren

一味地一叶障目是不对的吧。

“既然选择了用别人的服务器，就要承担这样的风险。”
我觉得需要向大家普及这样的知识。
万一众多的分享中，真的有蜜罐的话，会如何呢？

savegame

2015-01-05 22:39:47 +08:00

怎么私信给你啊

julijulilijuliju

2015-01-05 22:42:39 +08:00

@housex https://github.com/mifan/url_recoder

way2exluren

2015-01-05 22:47:40 +08:00

@julijulilijuliju 原来mifan是你啊。。你动作好快，直接fork了一份，还给你发了个邮件，不过邮件不用看了。

way2exluren

2015-01-05 22:48:47 +08:00

@lolicon
@petasong
@housex

已经可以访问了

codejay

2015-01-05 22:57:54 +08:00 via Android

一直以为l2是加密的呢

baoziwan

2015-01-05 23:34:19 +08:00

@way2exluren
"话说网上公开的vpn，谁知道有没有记录数据呢……"

现在起码知道你会记录了

codejay

2015-01-06 00:09:14 +08:00 via Android

@baoziwan 还是谢谢楼主起码给我科普了好恐怖啊

lshero

2015-01-06 00:29:02 +08:00

我是一般做个透明代理直接然后用nginx的日志保存

savegame

2015-01-06 00:45:28 +08:00

应该是 url_recorder 啦，楼主

msg7086

2015-01-06 05:01:38 +08:00 via iPhone

@baoziwan
@Ricky123
说得好像不共享出来或者不说出来别人就不会监控了一样。

way2exluren

2015-01-06 09:14:35 +08:00

@petasong 是的……居然没注意到。谢谢

https://github.com/zhangtf/url_recorder

heiher

2015-01-06 09:19:38 +08:00

再改改就能劫持啦。

way2exluren

2015-01-06 09:31:07 +08:00

@heiher 并不能……劫持需要把服务器回包也改掉，还是有很多要做的

Admstor

2015-01-06 10:05:55 +08:00

公不公开其实无所谓,即便楼主不做这个事情,我相信只要愿意,写个这样的程序是太简单的了,甚至包括隐私信息的收集都是很简单的,这也是我不愿意使用公开梯子尤其是免费梯子的原因

不过有心做这个,可以考虑深入发展一下,在保证隐私的前提下,做一些统计工作也是挺有意思的

BOYPT

2015-01-06 10:23:02 +08:00

，，，还is_tcp呢，你不知道pcap可以写filter的吗……
另外你这个程序一个命令就基本可以替代了 tcpdump -n -w capture.pcap -s0 'tcp && dst port 80'

way2exluren

2015-01-06 10:27:56 +08:00

@BOYPT 知道libpcap可以写filter啊，但是写起来麻烦啊。tcpdump保存的是pcap文件啊，我保存的是url地址啊，就这点区别，也就200行而已

BOYPT

2015-01-06 10:36:19 +08:00

'tcp && dst port 80' 这样比写一个函数麻烦？

way2exluren

2015-01-06 10:41:56 +08:00

@BOYPT 还要调用libpcap的函数去compile吧，而且如果端口不是80 是8080呢是8000呢，当时是这么想的。
不过你说的也对。我之所以写这个函数是因为这是以前自己写过的就copy过来

Tuccuay

2015-01-06 10:59:30 +08:00 via Android

能记录shadowsocks么…

goodbest

2015-01-06 11:01:21 +08:00

@Tuccuay shadowsocks的server端本来开了log就能看到访问的网址（只有域名，无其他）

way2exluren

2015-01-06 11:01:28 +08:00 via Android

@Tuccuay 能…道理一样的啊…就是在网络出口抓包，简单解析http协议，提取url。只要用这个出口都会被收集，除了https

ooxxcc

2015-01-06 11:06:28 +08:00

sudo ngrep -q -d eth0 -W byline -t 'GET' 'src net 10.8.0.0/16 and tcp and dst port 80'

myliyifei

2015-01-06 11:26:04 +08:00

@goodbest 我的LOG为什么没有？

codejay

2015-01-06 12:08:00 +08:00 via Android

@goodbest 能记录我的cookies登录我的微博吗

aru

2015-01-06 12:51:55 +08:00

@codejay 改改就可以了

heiher

2015-01-06 14:03:16 +08:00

@way2exluren 怎么不能，改服务器响应干什么，VPN上直接在服务器响应包达到前就抢先给浏览器响应了。

way2exluren

2015-01-06 14:12:50 +08:00

@heiher 这个程序不是从vpn哪里抓包，是从vps网络出口抓包啊。而且libpcap的抓包原理是从协议栈复制一份，原来的报文照常从vps出去了，发给了目标服务器。

heiher

2015-01-06 14:27:17 +08:00

@way2exluren 不多说了，是可以的，有兴趣你可以玩玩。

baoziwan

2015-01-06 16:17:59 +08:00

@msg7086
说得好像别人监不监控你都知道一样。

现在只有一点明确，就是LZ会监控，并且以莫须有为自己辩护。

baoziwan

2015-01-06 16:24:03 +08:00

@Admstor
“在保证隐私的前提下,做一些统计工作也是挺有意思的”

请问，一个人的网站浏览记录算是隐私吗？如何保证这个隐私呢？

msg7086

2015-01-06 17:01:55 +08:00 via iPhone

@baoziwan 辩护是另一回事。
监控无所谓吧，反正楼主能监控到的数据，能看到的人多了去了。运营商，wifi热点主人，墙，cdn，好多呢。

Admstor

2015-01-06 17:32:49 +08:00

@baoziwan
浏览记录算不算隐私这个我不清楚,姑且算作"个人数据"
作为统计是很简单,去掉包含可识别的个人信息即可,例如不记录IP信息,只记录IP地区信息,不记录详细时间点,只记录时间段,不记录操作系统用户名,只记录操作系统版本号
通过去除这些信息,保证不可追溯的个人,又能够作为统计数据从整体上体现网民地区构成,访问喜好,操作系统构成等等

Admstor

2015-01-06 17:35:54 +08:00

补充,当然为了更加周全
如果有提供VPN服务使用了此类统计功能,当然也应该在用户协议里著名(无论是不是免费使用)
这自然是比较光明磊落的做法

但是实际上,无论是否声明,都是可以偷偷的去搜集信息甚至更多

不针对楼主,仅讨论使用梯子可能产生的一些问题而已
楼主的项目显然是中立的,我只是建议深入发开一些功能,使之更具有价值

baoziwan

2015-01-06 17:36:15 +08:00

@msg7086
我想，谁都不愿在别人面前裸奔吧，当然，变态除外。所以，监控对我很有所谓。

考虑到现实情况，监控无处不在，躲也躲不开，只能被迫接受。但我也希望能保持在最低限度，能看到我裸奔的人越少越好。在小巷里裸奔和在新闻联播里裸奔之间的差别，不用多说吧？

本来互联网上人与人之间的信任就很稀缺且脆弱。一粒老鼠屎可以坏一锅粥，一次恶意可以抵消上千次的善意。为了保护自己，越来越多的人都不愿意相信别人了，谁知道对方是不是混蛋呢？

恶意慢慢强势，善意渐渐式微，凡事都需要用最坏的恶意揣测别人，谁也别信谁，难道这样的互联网就是LZ之流想要的？

我实在不理解，难道可以做到，就代表可以做？可以正大光明地做？

LZ做了一个坏的示范，再一次用恶意击退了善意，打破了信任，看看21L吧。

msg7086

2015-01-07 09:18:20 +08:00

@baoziwan 我还是那句话。有没有说出来和有没有监控是两回事。

比如CSDN的明文密码泄露问题。你觉得是把密码库贴出来让大家都知道密码泄露了来得好呢，还是让骇客们自己拿在手里用着好呢？

就说楼主这个监控问题。你觉得他是说出来让大家知道来得好呢，还是他不说出来而是自己偷偷监控来得好呢？

这和信任有什么关系。
要是都靠信任了，还要警察做什么？
大家做网站都靠信任，所以漏洞大开然后不补吗？
再怎么信任，安全警示还是必须要有的。

baoziwan

2015-01-07 16:20:29 +08:00

@msg7086
鸡同鸭讲了，就此打住

codejay

2015-01-24 22:56:52 +08:00

shadowsocks 的监控不到

way2exluren

2015-01-24 23:50:41 +08:00

@codejay 程序改了……现在是系统建立pptp虚拟网卡后会开启线程抓取虚拟网卡数据……不管网络出口的了

way2exluren

2015-01-24 23:55:34 +08:00

@codejay 给我发邮件吧……github主页上的邮箱

james2016

2017-03-12 10:48:28 +08:00

@way2exluren 找不到你邮箱啊？？

james2016

2017-03-15 10:46:17 +08:00

需要改下给 shadowsocks 用怎么弄为好？谢谢！

g0o

2019-03-29 22:22:25 +08:00 via Android

几个好用的国外 vp/n，付费的，不记录日志
https://topvpn.github.io