数据治理工程师(Apache Doris 方向)
兆易创新 北京 / 西安 工程智能部 5-10年
芯片 / 半导体
核心职责 1、集群稳定性治理 负责现有大数据存储架构的整体治理,解决 BE 内存占用过高、Compaction 堆积、节点负载倾斜、查询延迟高、频繁 OOM 等在线稳定性故障,并持续支撑数据的长期存储与分析需求; 2、ETL 全链路治理 负责上游测试日志的采集、解析与入库流程优化,重构既有 ETL 体系,解决过程中的各类问题;建立入库缺失(漏传、解析失败、同步失败)的对账与心跳告警,让问题由系统先报而不是靠用户反馈; 3、Doris 深度调优与架构设计 完成 PageCache、Compaction、导入与查询的内存参数优化;…
任职要求 1、5 年及以上大数据开发/OLAP 架构经验,其中至少 2 年 Apache Doris 生产集群的深度调优落地经验;具 50TB 以上集群运维优化实战,曾独立排查并解决 BE 内存持续飙升、Compaction 雪崩、Tablet 分片倾斜、频繁 OOM 等在线重大稳定性故障; 2、精通 Doris 底
挂了 11 天 已收藏 读全文 →