一、工作职责
1、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等;
2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设,攻破各种反爬策略、例如:极验处理,快速解决各类技术疑难问题;
3、负责网页信息和APP数据抽取、清洗、消重等工作
4、实时监控爬虫进度和预警处理
5、与产品部门和上级沟通确保数据的准确性及时性
6、负责采集公司指定网站和APP的数据
7、及时响应业务需求进行开发,完成公司上游APP、网站自动化下单、自动化出票自动化管理
8、配合后端JAVA工程师提供相关数据、以及自动下单管理数据接口;
二、岗位要求
1、三年以上相关开发经验,计算机及相关专业本科学历
2、熟练掌握Python,javascript,熟悉numpy,pandas和skiearn的使用,并有实际开发经验;
3、有爬虫和反爬虫,熟悉HTTP、TCP等网络协议及数据抓包、分析;
4、精通软件逆向工程,精通软件加密解密知识,精通各种软件逆向工程开发工具的使用; 熟悉软件逆向分析流程,能够独立完成软件逆向工作;有成功逆向过的经历。
5、责任心强,抗压能力强
6、有良好的代码习惯,逻辑性强,命名规范,注重代码质量和运行效率
7、有机票航旅业从业经验者优先;
8、团结合作,有上进心;
薪酬:8-15K
工作时间:大小休,上班时间 (09:00-18:00)可弹性上班时间,薪酬面议,年终奖金最低13薪,当年效益超额完成超过13薪;