广州随机数网络科技有限公司
python工程师
10-15K
广州
不限
本科
全职
职位描述
【工作内容】
1. 负责分布式网络爬虫系统及数据库的设计与开发；
2. 研究及破解目标网站app反爬策略，保证爬取的稳定性；
3. 负责数据平台建设，数据清洗、处理，提供数据服务以及数据管理；
4. 维护和优化已有的爬虫服务，持续监控爬虫的运行状态，及时解决可能出现的问题。
5) 日常技术分享，设计文档，技术文档的编写等。
【岗位要求】
需要你：
1. 本科及以上学历，软件开发或计算机相关专业；
1. 熟悉常用的数据抓取库和工具，如BeautifulSoup、Scrapy、Selenium等。
2. 熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能，熟悉Linux操作；
3. 有抖音、小红书等国内主流任意平台的项目经验，有App端数据采集经验；
4. 具备数据库操作经验，熟悉MySQL、MongoDB或其他数据存储解决方案。
5. 具备良好的问题解决能力和学习能力，良好的团队合作精神和沟通能力。
【工作时间】
1. 大小周，周六工作时间：9:30-17:00
2. 工作时间：9:30 - 18:00
1. 负责分布式网络爬虫系统及数据库的设计与开发；
2. 研究及破解目标网站app反爬策略，保证爬取的稳定性；
3. 负责数据平台建设，数据清洗、处理，提供数据服务以及数据管理；
4. 维护和优化已有的爬虫服务，持续监控爬虫的运行状态，及时解决可能出现的问题。
5) 日常技术分享，设计文档，技术文档的编写等。
【岗位要求】
需要你：
1. 本科及以上学历，软件开发或计算机相关专业；
1. 熟悉常用的数据抓取库和工具，如BeautifulSoup、Scrapy、Selenium等。
2. 熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能，熟悉Linux操作；
3. 有抖音、小红书等国内主流任意平台的项目经验，有App端数据采集经验；
4. 具备数据库操作经验，熟悉MySQL、MongoDB或其他数据存储解决方案。
5. 具备良好的问题解决能力和学习能力，良好的团队合作精神和沟通能力。
【工作时间】
1. 大小周，周六工作时间：9:30-17:00
2. 工作时间：9:30 - 18:00
公司介绍
在背靠不良资产行业下19年成立南方大数据公司，2020-2021跟华南理工在大学城校区开办了联合实验室，专注不良资产行业的知识图谱研发。2023年切入Ai赛道，由一群对ai有浓厚兴趣的小伙子在“寒冬”拥抱AIGC赛道期盼春天早日来临。
广州天河区广物中心25楼
相似职位
