爬虫工程师

12-20K·14薪

深圳

1-3年

本科

全职

职位描述

工作职责：
1. 参与分布式爬虫系统的设计与开发，核心模块研发工作，改进和提升爬虫效率
2. 攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库
3. 负责网页信息和APP数据抽取、清洗、消重等工作
4. 实时监控爬虫进度和预警处理
5. 与产品部门和上级沟通确保数据的准确性及时性

任职要求：
1. 计算机及相关专业本科学历，2年及以上相关工作经验，有一定的研究和解决问题的能力；
2. 精通至少一种开发语言，如Python、Java
3. 熟练掌握至少一种开源爬虫框架，熟练掌握mongo、redis、kafka、hadoop等相关技术
4. 对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；
5. 熟悉常见的反爬策略，有JavaScript反爬、APP反爬、抓包分析、反爬策略探测、逆向等领域经验的优先；

公司介绍

航路（Flightroutes24.com）于 2014年在中国香港成立并在中国深圳设有研发中心。公司基于自行研发的 JET-X 交易系统，将全球超过60个国家的优势机票产品直接、简单的呈现于客户，以满足业内对产品覆盖度、服务专业性、系统稳定性、风险敏感度的高标准要求，航路覆盖了全球各类型航空公司（超过700家航司50万条航线）的机票产品。
同比2019年，2022年航路交易量增幅超过200%；2023年，在继续提供机票优势产品的同时，航路通过技术能力，把对行业的理解转变为技术服务，数据服务和SaaS等解决方案。航路的SaaS解决方案已经被不同国家数十个合作伙伴选择，为其提供源源不断的技术发展动力。另外，航路在2023年内上线酒店预订频道，以满足客户一站式“机+酒”的采购需求。
以客户需求为导向，以长期健康发展为基石，航路将持续努力，为行业打造一个安全、高效、稳定的国际旅游资源交易平台，为客户获得更多的全球商机。

交通线路指引：
公司地址：南山区科技园科发路2号朗峰大厦201/303
地铁指引：高新园B出口，步行6分钟
附近公交站：大冲1站、科技园1站、深南科技立交北、科发路站、大冲城市花园站

深圳南山区朗峰大厦201

校园宣讲会