[岗位职责]
1.参与及主导网络爬虫采集规则的编写，负责分布式爬虫系统和数据采集的规划、架构、设计、开发、维护;
2.制定爬虫策略和反爬虫规则，提升数据抓取的效率和质
3.负责 http 端及 app 端的数据抓取和爬取链路优化;
4.对抓取数据进行清洗、整理、入库，进行数据处理及可视化开发工作;
1.2 年以上实际的爬虫项目经验;
2.熟练掌握 Python/JAVA 等编程语言，熟悉掌握各类爬虫框架;
3.熟悉 HTML /JavaScript/CSS/Xpath/Ajax/XML 等 web 技术，熟练掌握 HttpClient/WebDriver/splash 等工具; 4.熟悉 Linux 系统，熟悉 Mysq|、Redis 等数据库，熟悉 Internet 基本协议(如 TCP/IP ，HTTP 等) ;
5.能够解决封账号、封 IP 采集等问题，解决数据抓取、信息抽取等问题，构建完善的网络信息收集平台;
6.有数据加工、数据挖掘相关经验者优先;
v：ty1603589998