职位详情

岗位职责： 1、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责Android、iOS 应用的逆向工作； 4、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。 任职要求： 1、统招本科及以上学历，计算机相关专业 2、大规模通用爬虫开发经验，熟悉目前主流的一些爬虫框架。 3、三年以上Python开发经验 4、熟悉HTTP、TCP等网络协议及数据抓包、分析； 5、熟悉软件逆向分析流程，能够独立完成软件逆向工作； 6、有youtube,instagram,tiktok数据爬取经验的优先