职位详情

岗位职责： 1. 负责设计和开发分布式的网络爬虫，参与各种核心搜索策略、算法、数据聚类、重组的设计与开发； 2. 负责网页信息抽取技术算法的研究和开发，提升网页抓取的效率和质量； 3. 计算机软件及相关专业有1年以上的爬虫程序设计开发经验； 4．拥有分布式爬虫、垂直网站抓取经验优先。 5. 拥有大众点评、美团等抓取经验者优先。 6、拥有较强的反反爬能力。 任职资格： （1）统招大专以上学历，计算机相关专业； （2）熟悉Linux系统，掌握Python开发语言。 （3）熟悉mysql、redis，mongodb等数据库。 （4）有scrapy、pyspider等爬虫框架使用经验。 （5）熟悉基于正则表达式、XPath、jsonPath、CSS等网页信息抽取技术。 （6）加分项：有滑动验证码识别技术经验；有nodejs开发经验。