上海乾后信息咨询有限公司
高级大数据开发工程师
20-40K
北京
3-5年
本科
全职
职位描述
职责:
1识别不同的数据源，开发数据收集工具获取数据。
2建立和维护数据管道，以处理和交付数据给各个部门
3策划一个共享的数据库，作为所有团队的集中资源，促进整个组织的数据协作和效率。
4与利益相关者合作，包括数据、设计、产品和执行团队 ，协助他们处理与数据相关的技术问题。
所需技能和资格:
1有5年以上OLTP和OLAP系统开发经验。熟练掌握Go, JAVA, Python或其他类似的编程语言
2对SQL有深刻的理解。具有设计、实现和维护数据模型的经验
3支持组织的数据存储和分析需求。
4、熟练掌握Databricks、Snowflake、ES、DynamoDB、TiDB、MySQL、PostgreSQL等数据库技术。有利用诸如kafka, spark等工具构建ETL/ELT管道的经验。
具有建立数据可观察性和数据治理实践的经验。
具有大数据领域的批量/实时数据处理经验。
优秀的中英文书面和口头沟通能力。
优先考虑:1、有区块链技术经验。熟悉开源软件社区的工作。
2、至少接触过一个云平台:AWS、Google、Azure
1识别不同的数据源，开发数据收集工具获取数据。
2建立和维护数据管道，以处理和交付数据给各个部门
3策划一个共享的数据库，作为所有团队的集中资源，促进整个组织的数据协作和效率。
4与利益相关者合作，包括数据、设计、产品和执行团队 ，协助他们处理与数据相关的技术问题。
所需技能和资格:
1有5年以上OLTP和OLAP系统开发经验。熟练掌握Go, JAVA, Python或其他类似的编程语言
2对SQL有深刻的理解。具有设计、实现和维护数据模型的经验
3支持组织的数据存储和分析需求。
4、熟练掌握Databricks、Snowflake、ES、DynamoDB、TiDB、MySQL、PostgreSQL等数据库技术。有利用诸如kafka, spark等工具构建ETL/ELT管道的经验。
具有建立数据可观察性和数据治理实践的经验。
具有大数据领域的批量/实时数据处理经验。
优秀的中英文书面和口头沟通能力。
优先考虑:1、有区块链技术经验。熟悉开源软件社区的工作。
2、至少接触过一个云平台:AWS、Google、Azure
相似职位
