Python爬虫工程师

6-11K

长沙

1-3年

大专

全职

职位描述

岗位职责：
1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析；
2、完成数据采集与爬取、解析处理、入库等数据日常工作；
3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议；
4、把握网络爬虫核心技术研究方向，研究优化方向，提升爬虫系统的稳定性、可扩展性；
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。
任职要求：
1. 统招专科以上学历，1年以上爬虫项目经验，计算机相关专业，具备良好的计算机专业知识
2. 熟悉python/java语言，具备扎实的编程功底，具有良好的程序设计能力
3. 熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验
4. 熟悉Appium、Selenium、uiautomator等技术的应用
5. 熟练使用 python request、xpath、BeautifulSoup、re等模块
6. 有App采集经验，掌握fiddler、charles等抓包工具，有xposed、frida、ida pro的使用经验的优先
7. 熟练使用MySQL、了解redis、Elasticsearch、kafka等技术
8. 业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力

公司介绍

一、语亦云是着眼新时代各类智能化应用需求大量涌现的广阔前景，响应国家创业创新号召，2018年7月，由清华大学、国防科技大学高知识学子创办的人工智能和大数据方面的高新技术企业。公司办公面积621平方米，设有168个工作席位，定位为大数据人工智能服务及相关核心技术研发，通过知识标注、知识建模、知识推理逐步构建知识图谱，让机器具备认知智能，进一步解放人的脑力，不断满足人日益增长的美好生活需要。
二、公司核心创始团队主要来自国内“双一流”建设高校，指导科学家团队来自北京大学、清华大学和国防科技大学等院校。其中，公司联合创始人、首席技术官2001年获永州市高考理科状元、湖南省理科第五名，被清华大学计算机科学与技术专业录取，2007年清华大学硕士研究生毕业后赴美国西北大学凯洛格管理学院（美国公认的最好的商学院之一）留学深造，先后在英国汇丰银行、美国脸书等世界500强的顶级企业任职。
三、公司核心追求是为机器创造思维、为客户创造价值、为员工创造幸福，并依靠点滴积累、长期奋斗的艰苦追求，成为湖南省乃至全国知名企业；文化理念是敬业、创新、感恩与团结共赢精神；用人观念是以共同的事业、责任、荣誉及利益来塑造精益求精的中国数据和知识工匠。

长沙长沙县湖南语亦云科技有限公司维博酒店4楼

面试经验