freakxx 最近的时间轴更新
freakxx

freakxx

V2EX 第 190042 号会员,加入于 2016-09-02 14:39:19 +08:00
今日活跃度排名 935
根据 freakxx 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
freakxx 最近回复了
15 天前
回复了 xingshu1990 创建的主题 Python Python 列表如何优化
你可以按照这个思路去玩玩看 o 不 ok

设置两个列表,可以设置状态,pending ,processing ,加多个时间

爬取的时候,就只调用 pending 的出来爬,
爬取的时候把状态从 pending 改为 processing
爬取完之后,把 processing 放到新的列表里,作为存留

再做一个定时器,发现 processing 时间超过 N 但还没完成的,重新调为 pending ,或者做对应相关报错处理
15 天前
回复了 xingshu1990 创建的主题 Python Python 列表如何优化
@xingshu1990 #1

这种爬虫基本遵循 垂直爬取就好。

你不用把它剔除掉,而是做一个新的表单,来验证是否已经爬取过,这个方向又走到了布隆过滤器。
简单做就是,爬过就放到一个列表,爬取前验证是否已经存在过,就不用爬取,
颗粒度做小的时候,就是验证链接,爬取过的链接不再爬。

这样子是属于逻辑上的优化,尽量地能够让代码是直观的
@ccnccy #20
@ccnccy #21

实话说,别人没酸你这三瓜两枣,也没抨击你这种 乐于助人的情绪,但属实出的招都是往下三滥走。

广阔天地,大有可为,没必要把这样的事做得这么正义凌然。
另外这里面并没谈到学历和灰产的关系,这也属于你自我臆想的部分。
如果你学历或者技术低,导致你学点东西就往方向走,那么还是劝一句,
网络不是法外之地。

实在觉得你这点批操很牛逼,很骄傲。
往交易方向有,做网格,做机器人,做各种。
实在憋不住,也可以做点群控。

别整了点小技巧,搞得你发明了啥似的。
@ccnccy #18

属于偷换概念了。

你这种营销号已经做很多了。

另外,建议不要用那些虚假的词汇,如人民服务,除了让你的内容看起来更空洞,并不增加真实性和有效性。

> 注册一些服装,假发或者其他的账号,上传你的产品,然后手动去点赞,别人可能会看回来,利用软件点就不行了?
另外像你说的这个,
已经属于法盲阶段,属于自我想当然部分。
主贴的内容,基本涉及都是偏灰产或者制造互联网垃圾的做法。

程序员的迷茫,是程序员的迷茫,你这个迷茫是没钱的迷茫。

你这个迷茫,更多适合是推给那些,想要钱但又没办法创业,又刚好会点技术,干脆就用这点技术制造点垃圾来获得收入的人。


另外,好的东西始终是好的。
好的东西能产生价值,不好的东西产生的只能叫收益。
我尝试过各大网站转载的“放在 urls 文件里执行”的办法,但是很不幸,我发现会执行多次。

。。。这种做法完全就是傻逼的做法,把业务代码扔到 router ,无论代码能不能跑都是不对的

-----

django 是以 app 为基本单位划分业务逻辑,
你需要执行的代码,放在 apps.py 里面做执行
具体搜下 django app run code once 之类的关键词

找到的结果大概这样
https://pythonin1minute.com/where-to-put-django-startup-code/
85 天前
回复了 Macklemore 创建的主题 程序员 [为什么要抱怨同事代码很差]
。。。这他妈把我看呆了

我觉得很多时候,把几个事情揉在一起是一个很有趣的事。

我感觉是

- 技术强是好的;
- 帮助别人是好的;
- 恃才傲物是不好的;
- 知错不改是不好的;

但是这里通过某种逻辑嫁接,把跟着吃屎(如果真的是不好的东西)当做是对的,那这个事情本身就是很傻逼的事情;



===========

又,规范的东西,不是通过人主观的约束,而是通过工具来实现;


===========

又,很多时候,写代码的洁癖是看情况的,大家都知道吃屎是不对的,偶尔不得不吃屎的时候,应该明白有时屎在某种程度上是可以避免的。
而不是纵容自己,吃屎习惯就好。

很多时候防御性编程是必要的,这是为了保护好的代码,不是为了洁身自好。
人掏粪的时候戴手套是好的。
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1932 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 02:33 · PVG 10:33 · LAX 18:33 · JFK 21:33
♥ Do have faith in what you're doing.