买了一个服务器 2u4g 的,之前看我帖子知道。 现在这台服务器还是工作量不饱和啊~
所以用几天学习了一下 Python 。 这下好了,今晚上线了自己的一个小爬虫。 功能就是抓取一些感兴趣的信息,然后信息落库到 SQLite ,接着发送到邮件通知。 太舒服了~
1
miv OP 接着,我给大家分享几本我入手 Python 学习的资料吧。有一样的需求可以收藏:
1.《 Python3 反爬虫原理与绕过实战》:这本书牛皮,很多反扒都说了,打开小白的眼界了。 2.《 Python 王者归来》:小白入门好书,挑选其中好看的部分就行,这本书超级全面,啥模块都有介绍。 3. 《看漫画学 Python 》:愉快的书,消遣可以看看。 对于不搞那些异步爬虫,分布式爬虫的人的业余人士来说,学这几本可以就差不多了。 入门门槛低,学习以后让 Python 爬虫帮你干活,也没有消耗很大服务器资源,非常香。 |
2
LeegoYih 2023-04-26 02:32:09 +08:00 1
面向铁窗编程👍
|
4
hsir 2023-04-26 03:25:41 +08:00
“感兴趣的信息”.... 有啥值得抓的数据?🤔️
|
5
em70 2023-04-26 04:20:09 +08:00
爬些视频,用 ffmpeg 转码,一下就饱和了
|
6
muzihuaner 2023-04-26 08:08:50 +08:00 via Android
24h 直播
|
7
imaning 2023-04-26 08:47:09 +08:00
转码这小鸡怕是要炸。
|
8
locoz 2023-04-26 08:55:51 +08:00 via Android
你还差个 Python3 网络爬虫开发实战
|
9
HowardChan 2023-04-26 09:09:56 +08:00
装个 k8s 集群
|
10
jacy 2023-04-26 09:19:17 +08:00
有些服务商的 tos 里不允许长期跑满,小心 ban 机
|
11
artnowben 2023-04-26 09:20:23 +08:00
跑个 DPDK 程序,cpu 直接 100%了,例如用 dperf 测一下这个虚拟网卡的性能。
https://github.com/baidu/dperf |
12
lakehylia 2023-04-26 09:28:27 +08:00
要不要试试视频转码?
|
13
sheeta 2023-04-26 09:36:17 +08:00 via Android
跑 benchmark
|
14
shinko 2023-04-26 09:38:08 +08:00
还好你不是做老板的人。
|
15
fiht 2023-04-26 09:51:51 +08:00 2
> 作为一个抠门的人,如何压榨服务器,不然它吃灰?
这是个很好的问题,也是我最近一段时间一直在思考的事情。 压榨服务器,不让服务器吃灰,本质上是让服务器发挥价值,创造财富。而楼主提到的 “利用服务器跑爬虫” 就是其中一种让服务器发挥价值的事情。 还有另外两个典型的低门槛,用计算资源就能创造价值的事情: 1. 利用闲置的流量 /带宽。一个典型的应用场景是 PCDN ,或者以分享为主的 PT 资源。 2. 利用限制的算力。比如说挖矿。 这两个事情无需专业技能就可以上手。 我也在服务器上投入了不少资源,也在尝试让服务器(计算资源)创造财富,这个是我最近在做的 1 )学习炼丹技术。尝试用深度学习来简化安全运营里的一些运营工作。提高工作效率,学习新技能,节省时间 == 创造财富。 2 )针对 bug bounty 做一些自动的安全测试。发现厂商漏洞,提交漏洞,也可以创造财富 我觉得楼主可以想想,除了让服务器帮助自己学习技能外,怎么使用计算资源为人类创造财富(给自己赚点钱)。 我快把 V2EX 当知乎用了 QAQ |
16
7lQM1uTy635LOmbu 2023-04-26 09:59:17 +08:00 via Android 2
@fiht 那两个低门槛的事情,服务器挂机 pt 会扰乱正常的市场,很多都会 ban 掉。挖矿这个操作,本质就是完全没意义浪费资源的事情,您是真的懂如何资源最大化的。v2ex 当知乎,你猜猜我们为什么不用知乎?搞乱别的环境还好意思说
|
17
Mutoo 2023-04-26 10:04:04 +08:00
作为很抠门的人,我想知道 CPU 由低负载变为高负载的时候电费会增加多少。
|
18
hamsterbase 2023-04-26 10:25:50 +08:00 via iPhone 1
@fiht 用 ai 回答,会被封号
|
19
fiht 2023-04-26 10:55:43 +08:00 1
@nevadax
首先 1 )服务器挂 PT 会扰乱正常的市场。请解释为何会扰乱正常的市场? VPS 限制资源和使用量,在使用量内使用计算资源,有何不可? 2 )挖矿是没有意义和浪费资源的事情,这个是你对挖矿的看法。我不辩驳。 3 )你提到我扰乱别的环境,请详细说明我扰乱什么环境了? 我在和楼主讨论 “关于如何让限制的资源创造一点价值” 里我的看法,我认为我的答案对别人有帮助 ;-) |
20
fiht 2023-04-26 10:55:56 +08:00
@hamsterbase 手敲的哦~
|
23
iOCZ 2023-04-26 11:38:33 +08:00
出租,做毕设啥的
|
24
7lQM1uTy635LOmbu 2023-04-26 12:30:45 +08:00 via Android
@fiht 扰乱市场不是说 VPS 有问题,而是说 pt 。找找为啥盒子刷 pt 被标记。再说,许多 VPS 都有限制,尤其不允许挖矿,您这不是把人往坑里带啊。
|
25
Drumming 2023-04-26 12:47:37 +08:00
卖掉
|
26
miv OP 有台服务器还是很方便。我买一年大概 800 多,够我搞事情了。平时一些东西也会用到。所以算下来还是要搞一台。现在就是要最大化利用了。不然每一天也要花 2 元多的成本。感谢楼上评论,和提供的思路。
|
29
inhzus 2023-04-26 14:13:25 +08:00
当然是 BOINC 捐献自己的计算力给公益项目啦
|
30
tony1890 2023-04-26 14:32:13 +08:00
1. 云盘--kod 、nextcloud 等。
2. 代码仓库--gitea 、gogs 等。 3. 在线编程--code-server 。 4. 博客--避免每次碰到同样的问题都需要在互联网的杂乱信息堆里翻有用信息。 5. docker...... 6. 网站导航 7. 笔记 …… |
31
fiht 2023-04-26 14:46:22 +08:00
@christin
回答您的问题 1. 哪家的服务器可以支持挖矿和跑 PT ,我可以列举一大推 TOS 未禁止挖矿的服务器提供商。 2. 我真的跑过吗?-我真的跑过 我希望您可以用更友好的方式来交流 :-) |
32
kangyue9999 2023-04-26 14:47:02 +08:00 via Android
电费不要钱吗
|
33
fiht 2023-04-26 14:47:38 +08:00
@blankmiss 在“如何利用国内的 VPS 的计算资源来创造收益”的话题下,您这个完全没问题。 如果聊到“如何用计算资源来获取收益”的话,我的回复也没有问题,不冲突 😄
|
34
miv OP @kangyue9999 云服务器啊,每天固定 2 块多的成本
|
35
myqoo 2023-04-26 17:33:11 +08:00
给诈骗网站做压测
|
36
SimonOne 2023-04-26 17:41:17 +08:00
@blankmiss #27 想问下,为啥 pt 站不欢迎上传带宽高的,本质不是分享资源嘛,有高速度的节点帮助大家怎么还不欢迎呢?难道就是因为会让别的低带宽上传的人拿不到分?
这感觉就很奇怪啊。 |
37
520discuz 2023-04-26 19:43:01 +08:00
如果人人都你这个想法,那以后服务器只会越来越贵。放那吃灰不好吗?你现在能那么便宜买这个配置的服务器,也是因为大家一起吃灰才能得到这么便宜的价格。
|
38
pluto1 2023-04-26 19:43:16 +08:00 via iPhone
@SimonOne 在 pt 站这个属于作弊,具体原因的话主要还是不公平之类的吧,当然这个也看 pt 站的政策,有些是直接 ban ,有些是只算 0.2 之类的倍率
|
40
amrice 2023-04-26 21:36:11 +08:00 via Android
我的 2c4g 挂了好几个 docker
|
41
520discuz 2023-04-26 22:21:55 +08:00
@miv 我的意思是,你现在能买的到这么便宜的服务器,就是很多人吃灰(工作量不饱和)你才买的到。如果人人都学你一样想着花些钱就要榨干服务器,你可能又该抱怨为什么服务器那么贵了.
|
42
520discuz 2023-04-26 22:23:25 +08:00
虽然云服务器说是独享资源,但是本质上还是共享母鸡资源,如果人人都和你一样抱着榨干的想法,那后果是啥你自己想
|
43
miv OP @520discuz 你想多了,服务商那边有限制的。在限制范围内,你爱怎么搞就这么搞。
我那个爬虫才 20 多 m 占用,搞 100 个也没问题。买来的东西,就是要给自己创作价值,这才是重要的一点。 而且也不可能人人和我一样,很多人吃灰的多。 |
45
7lQM1uTy635LOmbu 2023-04-27 00:15:09 +08:00 via Android 1
@SimonOne 从贡献的角度来说没问题,主要的问题在于不可持续发展,类似内卷。有人用盒子,正常家用带宽拿不到分,需求还没变(还是需要下载资源的嘛),接下来其他人也会用盒子刷分,造成的结果有两个,一是提高了普通用户门槛,并且变成恶性竞争,二是会占用更多的低配置高带宽 VPS ,进而导致厂商限制(类似于 Oracle 免费 vm 被玩儿坏)。
|
46
kwh 2023-04-27 00:21:54 +08:00
写一个代理
|
47
7lQM1uTy635LOmbu 2023-04-27 00:38:45 +08:00 via Android
@miv 我建议换个方向利用资源。真的不推荐极致创造价值的方式(比如挖矿,盒子之类的),确实不是每个人都这样,总有很多机器吃灰的,但如果这种氛围兴起,仍然会破坏环境,到时候那些可以吃灰的机器总会消失的,只是时间问题。
就好像很多人都在用盗版,国内环境真的不好,小的开发者真没多少人愿意捐赠,但本质来讲,这件事本身不应该这么做。 扯远了,回到正题,换个方向利用资源,2c4g 对吧?如果你用出了 2c8g ,是不是也算赚到了?上面的资源可以分为两部分,一部分是你规划的,稳定的资源,比如你可以造 blong ,gitea ,图床。另一部分用于探索,比如玩玩 k3s ,整整 harbor ,造造 Jenkins 啥的,这些资源不一定非要实际有用,装着好玩儿就行,扩展新领域。 内存不够?没事,加块磁盘,挂成 swap ,个人没啥访问量,性能低一些也没啥。 |
48
7lQM1uTy635LOmbu 2023-04-27 00:40:11 +08:00 via Android
@520discuz 同意
|
49
blankmiss 2023-04-27 08:10:21 +08:00
@SimonOne 下载资源要扣上传 获取上传的方法是下载资源上传,如果一部分人用了盒子,因为盒子的宽带口子大,普通用户根本抢不过盒子,这样盒子用户能拿到绝大部分上传,普通用户只能拿到一点点,每况愈下,普通用户最后都没上传可以下载其他资源
|
50
blankmiss 2023-04-27 08:11:38 +08:00
虽然我也是个不要脸的盒子玩家,机器已经被标记为盒子了
|
52
SimonOne 2023-04-27 10:36:26 +08:00
@blankmiss #49 所以目的是积分要均富,要大家都有的下,不能垄断在高上传的用户手里。
那其实完全可以改积分的计算公式(我看好多站本来那公式就很复杂,肯定考虑了一些影响因素的),上传越快积分越多但是增速会越来越慢(随便瞎想个,不是很严谨的,积分获取速度=ln(速率 /基准速率+1)),这样高上传的用户也不用限速防止被 ban ,其他下种的也能快速下完就很开心。pt 站本来是为了分享资源,同时又防止有人光下不分享才出现的,我想这样也没违背初衷吧。 |
53
XXWHCA 2023-04-27 11:23:34 +08:00
那就参与科研项目运算,造福人类,例如:中国分布式运算 https://equn.com/ 算力拉满保证不吃灰
|
56
Pepsigold 2023-05-01 08:02:14 +08:00
我说说我吧,同配置,做了 16 垃圾站,卖一个补一个,养一个站差不多一年,能卖 6000 往上!
|
57
fiht 2023-05-05 09:49:41 +08:00
@XuanYuan 挖矿是个有争议的话题,以 Top 的云厂商为例
1. AWS: > 我查阅了一下,在 TOS 里没有看到相关的规定。 2. GCP: > You may not use the Free Trial Services to engage in mining cryptocurrency. You must obtain Google's prior written approval before you can engage in any cryptocurrency mining activities. Blockchain activities that are not resource-intensive, such as Proof of Stake (PoS), do not require verification. (获得许可之后可以挖矿,但是禁止使用免费实例挖矿。) reference: https://support.google.com/cloud/answer/7002354?hl=en#zippy=%2Cwhy-was-my-project-flagged-for-cryptocurrency-minin 3. Azure: > However, on Pay-as-you-go subscription type it does not currently have any terms that prohibit cryptocurrency mining. 免费实例和 Student 的公益实例不能挖矿,付费实例可以用于挖矿。 reference: https://learn.microsoft.com/en-us/answers/questions/610334/crypto-mining-with-azure |
58
xiaomoxian 2023-05-09 00:38:38 +08:00 via Android
@Pepsigold 备案了吗
|