岗位职责:
1、负责设计和开发分布式网络爬虫系统,进行淘宝、1688等电商平台信息的抓取和分析;
2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、负责爬虫逻辑的开发,快速响应业务变动。
任职要求:
1、具有1年以上爬虫开发经验,精通python,熟练使用多线程,熟悉常用的爬虫框架;
2、对数据结构和算法设计有较为深刻的理解,具有良好的沟通能力和团队合作意识;
3、熟悉正则表达式,Jsoup、XPATH,CSS选择器,能够从结构化和非机构化的数据中获取信息,了解各种Web前端技术,包括HTML/XML/JavaScript/AJAX/JSON等;
4、拥抱新技术,有很强的学习能力。