主要职责:设计、实现和维护大模型语料数据库系统
1. 研究和掌握最新的数据库技术,及自然语言处理技术和工具。
2. 对向量数据的结构、存储和查询算法进行深入了解和研究。包括向量索引结构、向量相似度计算、向量数据的分布式存储和管理等方面。
3. 了解向量数据的特征提取、聚类、异常检测等方面的算法和实现方式。
加分项:
4. 熟悉分布式系统的原理和技术,了解分布式数据库的架构和实现方式。熟悉高可用性技术,如数据去重,数据备份与恢复、负载均衡、故障转移等。
5. 对向量数据库系统进行性能分析和优化,解决向量数据库系统中出现的问题和故障。
6. 熟悉PySpark、ES、Hadoop等大数据处理框架,有大数据处理经验者优先。
基本要求:
1. 熟练掌握至少一种编程语言,如C++、Java、Python、Rust等,并且需要熟悉数据库相关的开发框架和工具,如ElasticSearch、MongoDB等
2. 掌握数据结构与算法、操作系统、网络通信等计算机基础知识,以及多线程编程、分布式系统、云计算等相关技术。