职位详情

工作职责 1、专注于电商平台、直播平台数据爬取，进行多平台信息的抓取和分析； 2、参与爬虫系统的架构设计与开发； 3、优化爬虫算法，提升爬虫系统的健壮性、可扩展性； 4、设计反反爬策略，提升网页抓取的效率和质量； 5、能独立解决实际开发过程中碰到的各类问题； 6、代码风格严谨，注重可系统性和维护性。 岗位要求： 1、2年以上工作经验，计算机相关专业，熟练使用Python语言，熟悉常用爬虫框架和模块如Requests、Scrapy等，熟悉反爬虫技术及破解方法； 2、熟悉web前端知识，可进行js逆向工程分析和简单的前端开发。熟悉TCP/IP、HTTP、HTTPS等网络协议； 3、熟练使用selenium、splash、lxml、 bs4 、re等，能对xml、html的文本进行抓取解析清理； 4、熟悉常用的Linux命令，能进行简单的服务器维护，熟悉版本控制工具git； 5、熟悉Flask等python语言相关的web框架，能进行简单的后台开发和维护； 6、熟悉MySql/MongoDB/Redis等常用数据库； 7、熟悉高并发、高性能的分布式系统的设计及应用； 8、持续学习，更新技术栈，保持对优良代码的热情； 9、有电商项目背景者，学习能力强者，有Java语言经验者优先；