梵志讯·广州 不需要融资
广州·互联网·20-99人
爬虫工程师
13-20K
广州
3-5年
本科
全职
职位描述
工作时间:双休
工作描述:
1．负责各类主流电商平台的大数据抓取平台建设和维护；
2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，解决爬虫遇到的各种反爬问题；
3、负责爬虫逻辑的开发，分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率；
4、负责爬虫数据的清洗，存储等大数据开发工作；
5、与项目经理、产品、下游团队等部门人员沟通，对外提供各种服务完成整体业务需求达成业务目标；
6、使用容器化技术，解决系统自动化部署及爬虫资源分配问题；
职位要求:
1、本科以上学历，计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识；
2、3年以上Linux 环境下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用 Linux 命令；
3、3年以上大规模网页、App爬虫开发经验，熟悉Scrapy等常用爬虫框架，熟悉浏览器原理、前端 JS、AJAX；
4、深入了解前端JS反爬，能解决前端动态 JS 混淆问题；
5、深入了解非逆向、非侵入式手机APP采集方法；
6、熟悉了解容器化编排技术（swarm/k8s/mesos）；
7、熟练使用一门以上脚本语言（Python/Javascript）；
8、熟练使用一种以上的数据库（Mongodb/HBase/MySQL）；
9、有前后端或大数据项目开发经验优先；
10、有分布式系统设计开发落地经验优先。
加分项：Java/AI项目/电商数据经验
工作描述:
1．负责各类主流电商平台的大数据抓取平台建设和维护；
2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，解决爬虫遇到的各种反爬问题；
3、负责爬虫逻辑的开发，分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率；
4、负责爬虫数据的清洗，存储等大数据开发工作；
5、与项目经理、产品、下游团队等部门人员沟通，对外提供各种服务完成整体业务需求达成业务目标；
6、使用容器化技术，解决系统自动化部署及爬虫资源分配问题；
职位要求:
1、本科以上学历，计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识；
2、3年以上Linux 环境下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用 Linux 命令；
3、3年以上大规模网页、App爬虫开发经验，熟悉Scrapy等常用爬虫框架，熟悉浏览器原理、前端 JS、AJAX；
4、深入了解前端JS反爬，能解决前端动态 JS 混淆问题；
5、深入了解非逆向、非侵入式手机APP采集方法；
6、熟悉了解容器化编排技术（swarm/k8s/mesos）；
7、熟练使用一门以上脚本语言（Python/Javascript）；
8、熟练使用一种以上的数据库（Mongodb/HBase/MySQL）；
9、有前后端或大数据项目开发经验优先；
10、有分布式系统设计开发落地经验优先。
加分项：Java/AI项目/电商数据经验
公司介绍
【公司简介】
深圳梵志讯公司成立于2023年，我们是一家专注于电商大数据分析的年轻公司，我们致力于为电商企业、卖家提供全面的数据分析与解决方案，以帮助电商企业和卖家更好地洞察市场、运营决策，提升销售和服务效率，增强客户的市场竞争力，为电商卖家实现行业洞察-分析-决策全链路数据分析，打造科学优化运营策略。
【业务和产品】
我们承着“数据为本、创新为向”的产品理念，基于电商大数据提供SaaS服务和数据咨询、培训服务、定制化开发、营销内容、私有化部署等服务以及“产品+服务”解决方案。
我们的数据服务体系可以满足电商企业和卖家不同阶段不同类型的电商运营支撑诉求，根据客户的需求提供实操培训、运营培训、项目陪跑以及代运营服务。
【团队氛围】
我们是一家不断成长的初创公司，为了实现我们的愿景，诚挚地欢迎有想法、有活力、激情的同学加入我们的团队，与我们共同创造美未来的发展机遇。
在这里，你可以和一群聪明、正直、真诚、乐于分享的同学们一起工作。这里没有上下等级之分、没有小圈子文化、没有PUA、没有过度的会议、没有频繁的汇报！我们致力营造和谐简单、高效沟通、开放式的工作环境和尊重平等的沟通方式，如果你想加入这样一个年轻、活力、潜力无限的团队，赶快加入我们吧！
【福利】
弹性工作：我们采取弹性工作的方式，再也不用担心迟到了
周末双休：告别996福报，留更多时间去学习，去陪家人
设备福利：入职配备全新的高配惠普光影精灵游戏本
娱乐福利：工作累了，去玩下ps5吧
团建活动：吃喝玩乐等随你挑
休假福利：超长春节福利假、团建、带薪年假等，“假假”不断~
福利礼金：结婚礼金、生育礼金、住院慰问金、恩恤金等，“金金”不息~
深圳梵志讯公司成立于2023年，我们是一家专注于电商大数据分析的年轻公司，我们致力于为电商企业、卖家提供全面的数据分析与解决方案，以帮助电商企业和卖家更好地洞察市场、运营决策，提升销售和服务效率，增强客户的市场竞争力，为电商卖家实现行业洞察-分析-决策全链路数据分析，打造科学优化运营策略。
【业务和产品】
我们承着“数据为本、创新为向”的产品理念，基于电商大数据提供SaaS服务和数据咨询、培训服务、定制化开发、营销内容、私有化部署等服务以及“产品+服务”解决方案。
我们的数据服务体系可以满足电商企业和卖家不同阶段不同类型的电商运营支撑诉求，根据客户的需求提供实操培训、运营培训、项目陪跑以及代运营服务。
【团队氛围】
我们是一家不断成长的初创公司，为了实现我们的愿景，诚挚地欢迎有想法、有活力、激情的同学加入我们的团队，与我们共同创造美未来的发展机遇。
在这里，你可以和一群聪明、正直、真诚、乐于分享的同学们一起工作。这里没有上下等级之分、没有小圈子文化、没有PUA、没有过度的会议、没有频繁的汇报！我们致力营造和谐简单、高效沟通、开放式的工作环境和尊重平等的沟通方式，如果你想加入这样一个年轻、活力、潜力无限的团队，赶快加入我们吧！
【福利】
弹性工作：我们采取弹性工作的方式，再也不用担心迟到了
周末双休：告别996福报，留更多时间去学习，去陪家人
设备福利：入职配备全新的高配惠普光影精灵游戏本
娱乐福利：工作累了，去玩下ps5吧
团建活动：吃喝玩乐等随你挑
休假福利：超长春节福利假、团建、带薪年假等，“假假”不断~
福利礼金：结婚礼金、生育礼金、住院慰问金、恩恤金等，“金金”不息~
广州天河区耀中广场A座1803
相似职位
