深圳市长鑫越科技有限公司
高级爬虫工程师
15-18K
深圳
3-5年
本科
全职
职位描述
岗位职责：
1、负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化
2、分析结构化和非结构化数据，并对数据抓取、信息提取、去量、清洗
3、解决反爬疑难问题，设计及优化大型分布式爬虫系统等。
任职要求：
1、本科及以上学历，计算机软件或相关专业，三年及以上python开发经验；
2、掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式；
3、掌握HTML，JS、精通JS逆向；精通常见的反爬虫技术和文本混淆反爬虫、验证码等；
4、精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻的理解；
5、精通app逆向，反编译及参数加密破解。对于今日头条、抖音、快手、微信、小红书app至少有两种每天大数据量爬取经验；
6、有通用网站和论坛爬取及解析的经验如Readability、Newspaper的优先
7、具备良好的沟通能力和团队协作能力
1、负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化
2、分析结构化和非结构化数据，并对数据抓取、信息提取、去量、清洗
3、解决反爬疑难问题，设计及优化大型分布式爬虫系统等。
任职要求：
1、本科及以上学历，计算机软件或相关专业，三年及以上python开发经验；
2、掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式；
3、掌握HTML，JS、精通JS逆向；精通常见的反爬虫技术和文本混淆反爬虫、验证码等；
4、精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻的理解；
5、精通app逆向，反编译及参数加密破解。对于今日头条、抖音、快手、微信、小红书app至少有两种每天大数据量爬取经验；
6、有通用网站和论坛爬取及解析的经验如Readability、Newspaper的优先
7、具备良好的沟通能力和团队协作能力
相似职位
