大数据开发工程师
云从科技 · 云从科技
职责描述: 1. 构建面向模型训练所使用多远数据集的存储系统; 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能; 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。; 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量; 经验要求:5年以上大数据开发经验; 技能要求: (1)精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具; (2)熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化; (3)精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技…