大数据开发工程师

云从科技 · 云从科技

重庆 数据 5-10年 挂了 1 年以上

职责描述: 1. 构建面向模型训练所使用多远数据集的存储系统; 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能; 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。; 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量; 经验要求:5年以上大数据开发经验; 技能要求: (1)精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具; (2)熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化; (3)精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技…

编号 ktsbp2eg · 来源原文 ↗

数据开发工程师(J14651)

汉得信息

数据 应届 本科 挂了 1 个月

-负责大数据平台的部署和规划建设; 转换业务需求,参与数据仓库(离线、实时)和数据应用的建设、开发和维护(需出差)。

编号 35orc6w8 · 来源原文 ↗

数据工程师

信雅达 · 星舰智能事业群

杭州 数据 1-3年 本科 挂了 9 个月

岗位职责: 1、理解业务需求,负责数据采集、清洗、存储程序以及实时数据计算的开发以及相应优化工作; 2、参与需求分析、并完成需求设计相应文档的编写; 3、支持业务部门的数据需求,参与BI应用开发,报表制作。 任职要求: 1、计算机相关专业本科以上学历,数据开发工作经验一年以上,有保险行业数据开发工作经验优先考虑; 2、熟练掌握Java/Python/Scala等至少一门编程语言; 3、掌握数据库知识,较强的SQL/ETL开发能力; 4、了解Hadoop生态圈大数据技术,如Hive,Hbase,Spark等,掌握阿里DataWorks、Quick BI、DataV等工具的使用。…

编号 5w1dnepu · 来源原文 ↗

大数据开发

云汉芯城 · 数据开发组

上海 数据 3-5年 本科 挂了 1 年以上

工作内容: 对接业务部门,深入理解各场景下的数据需求; 负责 ChatBI 功能开发与使用支持,实现业务人员通过日常语言问答方式获取数据的能力; 构建 ChatBI 专用数据模型,实现 ChatBI 与数据仓库的高效数据交互,并确保数据实时性与准确性。​ 收集业务人员使用反馈,并能建立问答意图纠错与优化机制; 负责数据治理框架设计,制定数据标准管理、元数据管理、数据质量管理、数据安全与生命周期管理的规范与流程; 建立数据质量评估模型与监控规则,定期检查数据质量情况并生执行报告; 构建数据血缘关系,支持全链路数据溯源与影响分析; 能够完成领导安排的其他工作;…

编号 45x3ejw2 · 来源原文 ↗

5 / 30 互联网

【REDstar】增长算法工程师-社区增长

小红书 · REDstar 顶尖人才计划

北京 / 上海 算法与AI 本科 近一周新增 今天挂出

1、负责用户增长场景的推荐算法研发(召回/排序/策略/多模态/LLM),提升推荐系统全链路效率; 2、负责消息PUSH与触达算法,优化推送时机、频次与内容生成,提升用户拉新与活跃; 3、负责广告投放算法,面向新用户/流失用户精准触达,包括价值预估、RTA出价、素材优选及 Agent 投放能力建设; 4、探索因果推断、强化学习等方法在用户增长中的应用,搭建通用因果平台,为PUSH、激励等业务场景赋能

编号 3tmqp9yc · 来源原文 ↗

爬虫工程师

云从科技 · 研究院

重庆 研发(未细分) 3-5年 挂了 1 年以上

职责描述: 负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库 经验要求:3年以上的项目爬虫经验 技能要求: (1)熟练掌握爬虫Scrapy,Colly等框架; (2)熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术; (3)熟悉常见的反爬虫机制解决办法(熟悉深度抓取,动态数据获取,模拟登录、代理等技术); (4)熟练使用一种以上编程语言,如Python、Java、Scala、Golang; 通用能力: (1)思路清晰,具备良好的沟通能力和快速解决问题的能力; (2)具备良好的学习能力与抗压能力

编号 57oop01f · 来源原文 ↗

7 / 30 汽车

数据Pipeline工程师(Pipeline平台构建方向)

德赛西威

成都 5-10年 本科 挂了 27 天

岗位职责 1. Pipeline平台构建: – 构建统一数据Pipeline平台底座:任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传,支撑三域(制造/产品/工程)数据加工与座舱采集数据后处理的规模化运行; – 建设样本/特征生产链路,为训练平台提供标准化数据供给。 2. 开发范式与组件沉淀: – 定义Pipeline开发模板、配置规范与可复用组件库,让领域链路开发(第1名Pipeline工程师及后续领域成员)以低代码/配置化方式上线新链路; – 将数据质量规则(完整性、一致性、时效性校验)内嵌到链路框架,实现质量问题自动拦截与告警。…

编号 583vyk7y · 来源原文 ↗

8 / 30 汽车

数据闭环工程师/专家

Momenta

北京 / 上海 / 苏州 / 深圳 后端与架构 本科 挂了 2 个月

1、调度&存储方向:负责自动驾驶数据闭环基建,实现 CPU/GPU 异构算力调度与弹性伸缩,统一 Dataset/Bag/Frame 元数据建模与存储; 2、平台方向:负责自动驾驶数据闭环平台层建设,支持数据挖掘、数据清洗、数据生产等多项业务。

编号 5xpopjx5 · 来源原文 ↗

大数据资深开发工程师

云从科技 · 研究院

重庆 数据 5-10年 挂了 1 年以上

职责描述: 1. 构建面向模型训练所使用多远数据集的存储系统; 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能; 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。; 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量; 经验要求:5年以上大数据开发经验; 技能要求: (1)精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具; (2)熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化; (3)精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技…

编号 4f4l896j · 来源原文 ↗

10 / 30 央企

软件设计师

中国中车 · 广州电力机车有限公司

广州 设计 本科 挂了 11 天

1. 负责车辆控制系统方案设计,处理车辆运行产生的有价值数据。 2. 运用机器学习相关技术,对海量数据进行处理和分析,挖掘相关信息,建立模型,分析关键因素,优化相关产品。 3. 基于大数据平台,提取、处理业务数据,通过数据分析和数据挖掘,给出直观的结论及业务洞见。

编号 2v3q8u2u · 来源原文 ↗

11 / 30 汽车

Data Infra Tech Lead

Momenta

上海 / 苏州 / 深圳 / 北京 研发(未细分) 本科 挂了 2 个月

1、调度&存储方向:负责自动驾驶数据闭环基建,实现 CPU/GPU 异构算力调度与弹性伸缩,统一 Dataset/Bag/Frame 元数据建模与存储; 2、平台方向:负责自动驾驶数据闭环平台层建设,支持数据挖掘、数据清洗、数据生产等多项业务。

编号 5jsg192p · 来源原文 ↗

实时计算开发工程师

星环科技-U · 基础架构产品部

上海 研发(未细分) 挂了 1 年以上

负责分布式实时计算引擎的设计与开发工作 职位要求: 1、熟悉Java或者Scala语言,数据结构和算法基础扎实 2、熟悉常用的分析以及故障诊断工具 3、对Flink有深入理解,有社区开源贡献优先 4、了解Kafka或者其他分布式消息队列优先 5、了解SQL语言,了解存储过程和函数优先 6、良好的团队合作能力

编号 v4d0pqru · 来源原文 ↗

数据平台开发工程师(离线计算方向)

有赞

杭州 数据 5-10年 本科 挂了 7 个月

岗位职责: 1. 负责离线计算基础组件&平台的开发和维护工作,保证系统的稳定、高效 2. 参与离线数据处理架构设计,提升数据开发效率和数据质量 工作内容: 1. 负责离线计算基础组件(Hadoop、Spark、Hive等)的优化和稳定性建设 2. 负责离线数据平台建设,提升数据开发、调度和运维效率 3. 解决离线数据处理中的性能瓶颈和稳定性问题

编号 2kb2hp5r · 来源原文 ↗

大数据开发工程师

盛邦安全

西安 数据 3-5年 本科 挂了 1 年以上

1.负责大数据需求开发工作,完成项目模块的交付。 2.负责对客户/公司内部等大数据需求方提供技术支持。 3.参与大数据平台的建设、运维以及性能调优

编号 2x834u3c · 来源原文 ↗

算法工程师

孚能科技

广州 算法与AI 应届 博士 挂了 12 天

1、负责大数据平台分析算法实现、包括数据清洗、数据挖掘、算法开发和调优; 2、负责整理和完善现有机模型、编写相关算法模块、调试优化; 3、负责前沿算法模型方面的探索和研究;

编号 3lqw7f24 · 来源原文 ↗

16 / 30 央企

业务应用数字工程师

中国中车 · 中车广东轨道交通车辆有限公司

江门 本科 挂了 12 天

1. 数据采集与集成,设计并实现数据采集方案; 2. 数据存储与管理,设计和优化数据存储架构,选择合适的数据库或数据仓库; 3. 数据处理与构建,开发和维护数据处理管道,支持批量处理或实时流处理;优化数据处理效率,解决数据延迟、冗余等问题,提升数据流转性能; 4. 数据质量与安全,建立数据质量监控机制,识别并修复数。

编号 27d42br0 · 来源原文 ↗

17 / 30 家电

软件测试

格力

珠海 安全与运维 应届 本科 挂了 1 个月

1、负责自动化测试工装、脚本的设计、开发与维护工作,提升测试效率与覆盖度; 2、负责并发测试、压力测试、负载测试等性能测试、代码审查; 3、负责编写测试用例,跟踪并分析测试进程与结果,评估改进方案; 4、主动研究测试新技术、新方法与工具,推动测试流程和效率的优化。

编号 5mh5ayzv · 来源原文 ↗

软件工程师(大数据)

海光信息 · 历史职位部门

苏州 / 上海 后端与架构 本科 挂了 4 个月

岗位职责: 1. 深入掌握 Spark、 Hadoop、 Trino、 StarRocks、Flink 等大数据引擎。负责性能调优,精准定位性能瓶颈、故障卡点问题。 2. 熟练使用 TPCDS、 HiBench 等常用大数据Benchmark 工具,进行性能测试和多维度性能评估和优化(包括吞吐量、延迟、资源使用等等)。 3. 根据业务需求制定并实施基于Hygon 硬件平台的大数据引擎性能优化方案,包括内存、计算调度、向量化计算、IO 等方面的优化。 4. 跟踪大数据领域前沿技术与行业发展趋势,输出落地性技术方案支持公司发展。 5. 与团队共享技术经验,提高团队整体技术能力和工作效率。…

编号 55jslmue · 来源原文 ↗

19 / 30 家电

人工智能

格力

珠海 安全与运维 应届 硕士 挂了 1 个月

1、负责智能决策、模式识别、神经网络、专家系统、知识工程、机器学习、深度学习、强化学习等人工智能相关算法模型的基础研究工作,数据挖掘分析方向的算法选型、模型构建与训练等相关工作,机器视觉的工程应用及推广,搭建及维护分布式人工智能平台; 2、负责人工智能算法在家电或其他智能单品、工业软件和服务、智能工业机器人等产品开发、改进及推广应用,应用相关场景数据的分析和挖掘工作; 3、负责人工智能算法在机器人产品中的开发与应用,包括感知、定位、建图、路径规划、智能避障、芯片端移植部署、雷达数据等领域; 4、负责人机交互技术、生物识别技术、智慧能源管理技术的基础研究工作;…

编号 3f0q33te · 来源原文 ↗

20 / 30 互联网

国际化增长算法工程师

小红书

北京 / 上海 / 杭州 算法与AI 1-3年 本科 近一周新增 今天挂出

整体方向:在多国家、多语言、文化差异大、冷启动力度强的环境下,负责用户全生命周期(拉新-激活-留存-召回)的增长模型建设,以下条件满足其中之一即可 1. 负责海外新用户推荐算法的研发,包括召回/排序/策略等核心模块,提升新用户的消费规模和留存 2. 负责海外新用户广告投放算法,面向新用户精准触达,包括媒体事件回传优化、价值预估、素材优选、RTA流量优选 3. 负责海外用户消息PUSH与触达算法,优

编号 12espp0q · 来源原文 ↗

21 / 30 汽车

SH项目组-大数据研发工程师(可实习)【2027届校招】(J20623)

赛力斯

上海 数据 应届 本科 挂了 21 天

参与公司大数据平台、数据仓库、实时数据链路设计与开发,负责离线 / 实时数据采集、清洗、加工、调度落地; 基于 Flink、Spark、Hive、Doris、Iceberg 、 paimon 等大数据组件搭建数据处理任务,建设业务指标体系,支撑数据分析、报表、业务数字化决策; 对接业务、算法团队需求,完成数据需求评审、数据模型设计、ETL 开发、任务运维与问题排查; 持续优化数据任务性能、存储成本、任务稳定性,提升数据产出时效与资源人效; 参与数据规范、数据质量、数据血缘治理,推动团队数据资产标准化建设。

编号 4uh84nv3 · 来源原文 ↗

大数据开发工程师-3年

盛邦安全

北京 数据 本科 挂了 1 年以上

1.负责大数据需求开发工作,完成项目模块的交付。 2.负责对客户/公司内部等大数据需求方提供技术支持。 3.参与大数据平台的建设、运维以及性能调优。

编号 40ww846f · 来源原文 ↗

大数据引擎岗位

航天软件

北京 数据 5-10年 硕士 挂了 1 个月

主要方向:数据治理平台、数据编织、逻辑数据平台、虚拟数据湖、统一查询、数据Pipeline 一、岗位职责 1. 负责逻辑数据平台 / 虚拟数据湖核心模块研发,构建统一元数据、联邦查询、跨源数据服务能力。 2. 负责大数据查询引擎、任务调度、统一 SQL 网关、多引擎智能路由的设计、开发与性能优化。 3. 负责数据治理平台建设,包括元数据管理、数据血缘、数据权限、数据质量、数据服务等能力。 4. 深度参与 Spark 内核、SQL 优化、执行引擎、Shuffle、存算分离等方向研发与性能调优。 5. 负责数据ETL、数据集成、数据Pipeline管道的设计与实现,支撑离线 / 实时一体化数据处…

编号 5xr7hegi · 来源原文 ↗

【27校招】AI 数据工程师(J14445)

合合信息

上海 算法与AI 应届 本科 挂了 2 个月

面向 AI 时代的数据生产、数据治理与数据智能化场景,参与构建面向大模型训练、评测、标注、质量分析和数据飞轮的工程体系。你将不只是做传统数据开发,而是和 AI Agent、数据平台、算法模型一起,推动数据从“人工处理”走向“流程化、工程化、智能化”。 工作职责: 1.参与 AI 数据工程体系建设,包括数据采集、清洗、加工、质检、评测、回流等链路。 2.参与大模型 / 多模态 / OCR 等业务场景下的数据生产与质量提升工作。 3.结合 AI 工具和 Agent 能力,设计数据处理流程、规则、工具和反馈机制,提升数据生产效率。…

编号 2csbwrdd · 来源原文 ↗

Elasticsearch 工程师

银河通用

后端与架构 挂了 1 个月

岗位职责 负责 Elasticsearch 管理平台架构设计与研发,搭建多维度检索引擎底座,基于 Elasticsearch 设计、落地高性能数据检索产品,支撑复杂多条件、多维度混合检索业务需求。 参与大数据实时计算平台架构设计与开发,对接实时 / 离线数据源,构建数据接入、清洗、同步、索引构建全链路检索流水线。 深度理解业务检索场景,持续优化检索架构、查询策略,解决检索延迟、相关性、集群稳定性、容量规划等线上问题,推动检索平台持续迭代升级。 面向内部业务与外部客户提供检索技术支撑,定位并解决集群运维、查询性能、数据一致性各类问题,沉淀检索平台标准化能力。…

编号 hnyv0imy · 来源原文 ↗

数据工程师(天津)(J14383)

中科曙光

天津 数据 3-5年 本科 挂了 1 个月

1. 构建与维护数据管道:设计并开发稳定、可扩展的批处理与实时数据管道,保障数据从采集、清洗到落库的全链路通畅。 2. 设计 ETL / ELT 流程:基于业务需求梳理数据流向,编写高效的抽取、转换、加载作业,沉淀标准化数据处理模板。 3. 优化数据仓库架构:以 Apache Doris 为核心参与数据仓库分层设计与建模,持续提升查询性能与存储效率;配合团队推进 湖仓一体(如 Apache Iceberg) 架构演进,逐步实现流批一体与存算分离。 4. 保障数据质量与一致性:构建统一指标/标签体系与数据语义层,解决数据口径与可发现性问题;…

编号 2yretb30 · 来源原文 ↗

数据工程师(郑州)(J14384)

中科曙光

郑州 数据 3-5年 本科 挂了 1 个月

1. 构建与维护数据管道:设计并开发稳定、可扩展的批处理与实时数据管道,保障数据从采集、清洗到落库的全链路通畅。 2. 设计 ETL / ELT 流程:基于业务需求梳理数据流向,编写高效的抽取、转换、加载作业,沉淀标准化数据处理模板。 3. 优化数据仓库架构:以 Apache Doris 为核心参与数据仓库分层设计与建模,持续提升查询性能与存储效率;配合团队推进 湖仓一体(如 Apache Iceberg) 架构演进,逐步实现流批一体与存算分离。 4. 保障数据质量与一致性:构建统一指标/标签体系与数据语义层,解决数据口径与可发现性问题;…

编号 2ppd5rbp · 来源原文 ↗

28 / 30 AI / 大模型

资深测试工程师

云从科技 · 研究院

测试与质量 1-3年 本科 挂了 1 年以上

【岗位职责】 1. 负责AI训练平台和以AI技术为核心的产品的功能测试和自动化测试。 2. 根据项目要求编写测试用例,执行测试,记录测试结果,递交测试报告 3. 负责具体的测试项目分析、测试方案制定、缺陷分析和缺陷跟踪等工作 4. 负责测试环境搭建、测试执行、测试结果分析等相关工作; 5. 参与需求讨论,制定有效的测试计划,跟踪测试执行过程,对测试薄弱环节提出改进意见,提升项目测试质量,减少线上Bug; 【任职资格】 1. 本科及以上学历,有1年以上测试工作经验; 2. 熟悉Java/C++/Python/Scala/Go中的至少一门语言; 3. 熟悉测试理论、测试设计方法和测试流程;…

编号 4ov1yr8p · 来源原文 ↗

大数据开发工程师(J18702)

优必选

深圳 数据 应届 本科 挂了 1 个月

大数据平台架构建设:负责机器人云平台大数据架构的设计、开发与优化,基于Hadoop、Spark、Flink等大数据技术栈,搭建稳定、高效、可扩展的数据存储与计算体系,支撑海量机器人运行数据的处理需求。 数据采集与预处理:主导机器人多模态数据(包括传感器数据、运行日志、交互记录等)的采集、清洗、转换与集成工作,制定标准化的数据采集规范,确保数据的准确性、完整性和时效性。 参与数据仓库、数据湖的设计与建设,进行数据建模,构建面向机器人业务场景的数据集市,为业务分析、算法训练提供高质量的数据支撑。 开发数据查询、分析与可视化工具,为业务团队、算法团队提供高效的数据服务接口,推动数据在机器人性能优化…

编号 48y3cnot · 来源原文 ↗

30 / 30 AI / 大模型

AI数据分析工程师

阶跃星辰 · API商业化

上海 算法与AI 3-5年 挂了 1 个月

岗位职责: 1. 搭建和完善数据仓库,设计数据模型与分层架构,沉淀公司数据资产,为算法训练和业务分析提供可靠的数据基座 2. 建设和维护数据平台产品(数据分析平台、数据集管理平台、DataAgent 等),推动数据治理,提升数据使用效率 3. 与算法团队深度合作,负责各类回流数据处理分析,持续提供高质量 SFT/评测/Agent 训练数据 4. 与产运团队深度合作,建立指标体系,搭建数据分析链路,辅助业务决策 任职要求: 1. 3 年以上数据平台或数仓建设经验,有扎实的数据建模、ETL、数据治理、数据质量、数据安全合规等相关经验 2. 扎实的工程能力,精通SQL和Python,熟悉至少一门后…

编号 32at3ios · 来源原文 ↗

这一批看完了

共 215 个符合条件的岗位,刚才这一批 30 张 · 第 1 页

已经收藏 0 / 1024 个

← 换成「一张一张做决定」的卡片模式

← 列表 1 / 30