职位详情

产品自研，非外包 岗位职责: 1.主导和参与大规模爬虫系统的架构设计、规划、 2.负责核心模块开发及优化，如面向主流社交平台博文的大规模、分布式爬虫开发 3.持续维护并优化系统设计及系统性能，提升大规模爬取效率 4.负责进行大规模分布式爬虫系统相关的前沿技术研究 任职资格: 1.本科学历，计算机及工科相关专业，3年以上爬虫开发经验，工作年限4-7 2.熟练掌握python，掌握selenium、scrapy等爬虫相关框架 3.有大型分布式爬虫平台设计、开发经验 4.熟练掌握MongoDB，有过数据库调优和海量数据存储经验优先 5.熟悉前沿的反爬风控手段，对社交媒体平台的反爬对抗有深入的理解；了解常见的反爬策略，能解决ip封禁、参数加密、验证码、账号封禁等问题 6.精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段 5.熟悉各类代理的使用，有海量代理池搭建经验 优先考虑： 1.有大规模分布式系统设计与开发经验优先 2.有APP逆向方面经验优先