山东峰旭信息科技有限公司
济南 ·计算机软件 ·20-99人
python研发工程师
10-15K
济南
5-10年
本科
全职
职位描述
岗位职责：
1、负责对目标网站和CS客户端抓取数据进行分析，调优爬取策略。
2、负责爬虫平台的设计和开发，包括调度策略、分布式的设计与优化。
3、负责爬虫平台的监控和报警服务设计及优化，保证爬虫平台的稳定运行。
4、负责可视化采集模板的技术调研、设计及开发。
技术要求：
1、熟练使用http代理工具，如Fidder等。以及正则表达式、XPath、CSS等方式抽取网页元数据。
2、掌握mysql、mongodb的使用。
3、有Scrapy、Portia等开源爬虫项目二次开发经验者优化。
4、熟悉针对CS客户端数据内容获取项目经验者优先。
1、负责对目标网站和CS客户端抓取数据进行分析，调优爬取策略。
2、负责爬虫平台的设计和开发，包括调度策略、分布式的设计与优化。
3、负责爬虫平台的监控和报警服务设计及优化，保证爬虫平台的稳定运行。
4、负责可视化采集模板的技术调研、设计及开发。
技术要求：
1、熟练使用http代理工具，如Fidder等。以及正则表达式、XPath、CSS等方式抽取网页元数据。
2、掌握mysql、mongodb的使用。
3、有Scrapy、Portia等开源爬虫项目二次开发经验者优化。
4、熟悉针对CS客户端数据内容获取项目经验者优先。
公司介绍
公司成立于2012年4月，自公司成立以来一直致力于IT信息智能化行业产品
一经录用培训上岗，公司的管理也非常舒心，不仅仅是一份工作，也是一份事业，非常期待您的到来
一经录用培训上岗，公司的管理也非常舒心，不仅仅是一份工作，也是一份事业，非常期待您的到来
济南历下区三庆城市主人7-3-1502
相似职位
