职位描述
负责基于海量自有与三方数据,开发维护金融业务需要的数据仓库,特征公共层,业务产品服务后台等,具体职责包括但不限于:
1. 负责通过阿里云数据研发平台,并结合机器学习/深度学习特征工程技术,将友盟每日10PB 底层日志级别数据,开发成金融风控营销业务需要的数据仓库、行为宽表特征公共层,稳定高效节能地服务团队算法同学的业务。
2. 负责建设外部三方数据的数据流,从需求沟通、数据探查开始调研三方数据,并在三方大数据平台上通过数据清洗、数仓建设做起,到后续的整套数据研发流程,完成三方数据在三方环境的整套数据流建设工作,与算法同学配合将三方数据用于金融风控营销业务中。
3. 负责与产品与研发同学配合,开发产品业务需要的数据流,包含对接 RTA 系统,日志监控系统搭建与维护,内部产品管理后台产品研发等。
职位要求
1. 计算机相关专业,本科及以上学历;2 年以上大数据研发工作经验;
2. 熟悉MapReduce/Hive/Spark等大数据研发技术,HDFS/HBase等大数据存储技术;至少有五千万以上样本,TB级别数据研发项目的经验。
3. 较强的python 与 java 开发能力,强数据分析能力;
4. 有算法基础或工作经验者优先,除数据研发以外可以更多参与机器学习与深度学习特征工程的建设;
5. 个人综合能力强,除研发能力外,需要强的沟通和业务协调能力以对接内外部数据,并有强的业务分析能力以探寻数据的价值。