职位详情

岗位职责： 1、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现； 2、研究各种安卓端的快应用、网页、app、小程序端接口，提高网页抓取效率和质量； 3、攻克爬虫难题。 任职资格： 1、熟练使用python，熟练爬虫开发，熟练使用scrapy开源框架，三年及以上python爬虫经验，至少一年海量数据爬取存储经验； 2、熟悉fiddler，charles，mitmproxy等抓包工具（其中一种即可）。熟悉pyppeteer，WebDriver等技术； 3、熟悉redis，MySQL，MongoDB等基本使用； 4、对HTTP协议及HTML有深入理解，精通正则，xpath等，熟练从结构化和非结构化的数据中获取信息； 5、熟悉js解密逆向反混淆，有过电商网站及其他大型网站爬取经验； 6、熟悉APP的抓包、加密参数等识别。具备APP去壳、反编译等逆向工程能力，熟悉常见Hook技术，熟练使用常见的Android反编译工具者优先； 7、积极主动，愿意接受挑战，抗压性强。 8、有快应用行业经验优先