这是一个创建于 1115 天前的主题,其中的信息可能已经有所发展或是发生改变。
公司介绍:
东信成立于 2004 年,专注于移动互联网的研究,以移动技术为驱动,集移动技术研发、移动媒体运营、移动公关和整合营销服务于一体,致力于中国区域市场和移动受众的定向研究,为商业客户提供移动跨媒体整合营销传播服务,是中国内优秀的本地移动营销服务提供商。截至目前,公司总共有 600 名左右的员工,且东信已在国内 20 多个重点城市设立本地化营销分支机构。
职责描述:
1 、负责设计、开发、维护、重构分布式爬虫系统;
2 、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;
3 、设计爬虫反屏蔽规则,提升网页抓取的效率和质量;
4 、负责大规模爬虫系统的核心技术研究和开发;
5 、实现数据提取、清洗、结构化、入库、统计分析等需求。
任职要求:
1 、本科学历,计算机相关专业,3 年以上爬虫开发经验;
2 、Pyhton 语言基础扎实,有良好的编程功底和编码习惯;熟悉 java 优先;
3 、熟悉 HTTP 、HTTPS 等网络协议及数据抓包、分析;
4 、掌握相关的数据存储工作,掌握 mysql 、redis 、mongodb 、es 、hbase 等相关技术,有数据库调优的经验;
5 、必须熟悉 app 数据爬虫,熟悉 pc 端数据采集;
6 、熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题;
7 、熟悉 js 逆向、app 逆向优先;
8 、具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务。
我的 wechat ID 是 dereckxu,感谢了。。
4 条回复 • 2021-03-11 12:07:20 +08:00
|
|
1
jatai 2021-03-10 19:01:10 +08:00 via Android
牢友记
|
|
|
2
BlackZhu 2021-03-10 20:19:14 +08:00
爬虫写得好 下一句!
|
|
|
4
zeromake 2021-03-11 12:07:20 +08:00 via Android
|