招聘的需求是稳定性很高的员工主要做python爬虫岗位。
岗位需求是招聘一个负责抓取数据的员工,主要工作职责是反编译APP或者PC软件的加密处理接口,获得接口数据加密算法之后构造请求获取信息。
一面的主要是考察在爬虫处理方面的能力,如何构造请求,对于加密的接口如何构造请求,对于限制频率的接口如何保证抓取效率,对于需要登录校验的接口如何保持登录状态,如何提取数据,对于有可能异常的关键数据如何保证数据有效性等等。
二面主要考察员工稳定性,主要沟通的内容包括:岗位职责,要负责抓取不同的信息源数据并入库到ELK中做分析。工作内容,有可能要反编译软件获取加密算法,只需要按照任务需求把数据源的数据抓取并清洗入库工作意向,能否接受只做爬虫抓取数据的岗位,能不能稳定在岗位中薪资要求等等。从面试交流的情况来看,这是一个对员工稳定性要求比较高的基础岗位,不需要太深入的技术栈,只要能够按照需求一步一步完成任务即可。
Q:如果抓取的信息有SQL注入怎么处理?1条回答