岗位职责:
1、负责开发网络爬虫系统以及优化爬虫策略,进行多平台信息的抓取和分析;
2、完成数据采集与爬取、解析处理、入库等数据日常工作;
3、积极主动思考探索爬虫在实际业务中的价值,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议;
4、把握网络爬虫核心技术研究方向,研究优化方向,提升爬虫系统的稳定性、可扩展性;
5、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量。
任职要求:
1. 统招专科以上学历,1年以上爬虫项目经验,计算机相关专业,具备良好的计算机专业知识
2. 熟悉python/java语言,具备扎实的编程功底,具有良好的程序设计能力
3. 熟悉爬虫原理,熟悉Scrapy、pyspider等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验
4. 熟悉Appium、Selenium、uiautomator等技术的应用
5. 熟练使用 python request、xpath、BeautifulSoup、re等模块
6. 有App采集经验,掌握fiddler、charles等抓包工具,有xposed、frida、ida pro的使用经验的优先
7. 熟练使用MySQL、了解redis、Elasticsearch、kafka等技术
8. 业务理解和分析转化能力较强,富有进取精神及团队合作精神,责任心强,善于合作沟通,能够承受压力