SHEIN(广州) D轮及以上
广州·电子商务·1000-9999人
高级爬虫工程师
15-30K·14薪
广州
3-5年
本科
全职
职位描述
岗位职责：
1、负责各类主流电商平台、短视频平台的数据抓取和平台搭建；
2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；
3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作；
4、负责公司爬虫的技术调研以及策略优化；
任职要求：
1、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取；
2、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取，有大数据量、大并发项目经验者优先，有电商网站和移动端数据爬取技术经验者优先；
3、熟悉至少Python、Java、JavaScript中的一种语言；精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先
4、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先；
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先
加分项：非自动化爬虫，逆向抓取
1、负责各类主流电商平台、短视频平台的数据抓取和平台搭建；
2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；
3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作；
4、负责公司爬虫的技术调研以及策略优化；
任职要求：
1、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取；
2、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取，有大数据量、大并发项目经验者优先，有电商网站和移动端数据爬取技术经验者优先；
3、熟悉至少Python、Java、JavaScript中的一种语言；精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先
4、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先；
5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先
加分项：非自动化爬虫，逆向抓取
公司介绍
SHEIN是一家全球领先的时尚和生活方式在线零售商，致力于让“人人尽享时尚之美”。我们通过按需生产的模式赋能供应商共同打造敏捷柔性供应链，从而减少浪费，并向全球消费者提供丰富且具有性价比的时尚产品。
广州番禺区希音公司5栋
相似职位
