大数据开发工程师

云从科技 重庆 云从科技 5-10年

AI / 大模型

职责描述： 1. 构建面向模型训练所使用多远数据集的存储系统； 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能； 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。； 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量； 经验要求：5年以上大数据开发经验； 技能要求： （1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具； （2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化； （3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技…

技能要求： （1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具； （2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化； （3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技术； （4）熟练使用一

挂了 1 年以上 读全文 →

喜欢

跳过

数据开发工程师(J14651)

汉得信息 未标注 应届 本科

通信 / 计算机 / IT

-负责大数据平台的部署和规划建设； 转换业务需求，参与数据仓库(离线、实时)和数据应用的建设、开发和维护（需出差）。

职位要求: -熟悉或精通java、SSM、SpringBoot、scala者优先，了解接触过Unix或者Linux； -对Hadoop、Hive、HBase、Spark、FLINK等分布式平台有一定了解者优先； -参与过数据处理、分析、挖掘、数仓等相关项目者优先； -对一些常用分类、聚类等算法，诸如SVM、随机森林、X

挂了 1 个月 读全文 →

喜欢

跳过

数据工程师

信雅达 杭州 星舰智能事业群 1-3年 本科

通信 / 计算机 / IT

岗位职责： 1、理解业务需求，负责数据采集、清洗、存储程序以及实时数据计算的开发以及相应优化工作； 2、参与需求分析、并完成需求设计相应文档的编写； 3、支持业务部门的数据需求,参与BI应用开发，报表制作。 任职要求： 1、计算机相关专业本科以上学历，数据开发工作经验一年以上，有保险行业数据开发工作经验优先考虑； 2、熟练掌握Java/Python/Scala等至少一门编程语言； 3、掌握数据库知识，较强的SQL/ETL开发能力； 4、了解Hadoop生态圈大数据技术,如Hive，Hbase，Spark等，掌握阿里DataWorks、Quick BI、DataV等工具的使用。…

任职要求： 1、计算机相关专业本科以上学历，数据开发工作经验一年以上，有保险行业数据开发工作经验优先考虑； 2、熟练掌握Java/Python/Scala等至少一门编程语言； 3、掌握数据库知识，较强的SQL/ETL开发能力； 4、了解Hadoop生态圈大数据技术,如Hive，Hbase，Spark等，掌握阿里Data

挂了 9 个月 读全文 →

喜欢

跳过

大数据开发

云汉芯城 上海 数据开发组 3-5年 本科

芯片 / 半导体

工作内容： 对接业务部门，深入理解各场景下的数据需求； 负责 ChatBI 功能开发与使用支持，实现业务人员通过日常语言问答方式获取数据的能力； 构建 ChatBI 专用数据模型，实现 ChatBI 与数据仓库的高效数据交互，并确保数据实时性与准确性。​ 收集业务人员使用反馈，并能建立问答意图纠错与优化机制； 负责数据治理框架设计，制定数据标准管理、元数据管理、数据质量管理、数据安全与生命周期管理的规范与流程； 建立数据质量评估模型与监控规则，定期检查数据质量情况并生执行报告； 构建数据血缘关系，支持全链路数据溯源与影响分析； 能够完成领导安排的其他工作；…

任职要求 专业与经验：计算机科学、软件工程、数据科学等相关专业本科及以上学历； 3年以上数据开发经验，其中至少1年专注于数据治理或ChatBI/智能问答类数据应用项目； 精通SQL、Java/Python/Scala，熟悉数据仓库建模理论、数据分层架构，具备海量数据处理和性能调优经验； 有ChatBI落地经验，熟悉NL

挂了 1 年以上 读全文 →

喜欢

跳过

爬虫工程师

云从科技 重庆 研究院 3-5年

AI / 大模型

职责描述: 负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库 经验要求：3年以上的项目爬虫经验 技能要求: （1）熟练掌握爬虫Scrapy，Colly等框架； （2）熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术； （3）熟悉常见的反爬虫机制解决办法（熟悉深度抓取，动态数据获取，模拟登录、代理等技术）； （4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang； 通用能力： （1）思路清晰，具备良好的沟通能力和快速解决问题的能力； （2）具备良好的学习能力与抗压能力

技能要求: （1）熟练掌握爬虫Scrapy，Colly等框架； （2）熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术； （3）熟悉常见的反爬虫机制解决办法（熟悉深度抓取，动态数据获取，模拟登录、代理等技术）； （4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang；

挂了 1 年以上 读全文 →

喜欢

跳过

数据Pipeline工程师（Pipeline平台构建方向）

德赛西威 成都 5-10年 本科

汽车

岗位职责 1. Pipeline平台构建： – 构建统一数据Pipeline平台底座：任务编排与调度、批流一体加工引擎、链路依赖管理、失败重跑与断点续传，支撑三域（制造/产品/工程）数据加工与座舱采集数据后处理的规模化运行； – 建设样本/特征生产链路，为训练平台提供标准化数据供给。 2. 开发范式与组件沉淀： – 定义Pipeline开发模板、配置规范与可复用组件库，让领域链路开发（第1名Pipeline工程师及后续领域成员）以低代码/配置化方式上线新链路； – 将数据质量规则（完整性、一致性、时效性校验）内嵌到链路框架，实现质量问题自动拦截与告警。…

任职要求 硬性门槛（一票否决项）： - 5年以上数据工程/数据平台开发经验；本科及以上学历，计算机/软件相关专业； - 主导或核心参与过Pipeline平台/数据加工链路体系的 0→1 构建（非仅使用现成平台开发业务链路），须能讲清编排调度、依赖管理、失败恢复的设计取舍； - 精通 Spark/Flink 之一并

挂了 27 天 读全文 →

喜欢

跳过

数据闭环工程师/专家

Momenta 北京 / 上海 / 苏州 / 深圳 本科

汽车

1、调度&存储方向：负责自动驾驶数据闭环基建，实现 CPU/GPU 异构算力调度与弹性伸缩，统一 Dataset/Bag/Frame 元数据建模与存储； 2、平台方向：负责自动驾驶数据闭环平台层建设，支持数据挖掘、数据清洗、数据生产等多项业务。

1、本科及以上学历，计算机、软件工程、大数据等相关专业优先，具备数据基建或数据平台开发经验； 2、熟练掌握 Java/Scala/Python/Go 至少一门主力开发语言，具备优秀的工程化设计、代码架构与性能调优能力； 3、深入理解 Ray/Flink/Spark 中至少一种计算引擎的原理与架构，有二次开发或大规模生产

挂了 2 个月 读全文 →

喜欢

跳过

大数据资深开发工程师

云从科技 重庆 研究院 5-10年

AI / 大模型

职责描述： 1. 构建面向模型训练所使用多远数据集的存储系统； 2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能； 3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。； 4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量； 经验要求：5年以上大数据开发经验； 技能要求： （1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具； （2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化； （3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技…

技能要求： （1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具； （2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化； （3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技术； （4）熟练使用一

挂了 1 年以上 读全文 →

喜欢

跳过

软件设计师

中国中车 广州 广州电力机车有限公司 本科

央企

1. 负责车辆控制系统方案设计，处理车辆运行产生的有价值数据。 2. 运用机器学习相关技术，对海量数据进行处理和分析，挖掘相关信息，建立模型，分析关键因素，优化相关产品。 3. 基于大数据平台，提取、处理业务数据，通过数据分析和数据挖掘，给出直观的结论及业务洞见。

1.了解hdfs、spark、mapreduce、impala、oozie等hadoop组件框架原理； 2.灵活掌握Java/R/Python/Scala至少一种高级编程语言，有从事工业大数据领域项目开发经验优先；

挂了 11 天 读全文 →

喜欢

跳过

Data Infra Tech Lead

Momenta 上海 / 苏州 / 深圳 / 北京 本科

汽车

1、调度&存储方向：负责自动驾驶数据闭环基建，实现 CPU/GPU 异构算力调度与弹性伸缩，统一 Dataset/Bag/Frame 元数据建模与存储； 2、平台方向：负责自动驾驶数据闭环平台层建设，支持数据挖掘、数据清洗、数据生产等多项业务。

1、本科及以上学历，计算机、软件工程、大数据等相关专业优先，具备数据基建或数据平台开发经验； 2、熟练掌握 Java/Scala/Python/Go 至少一门主力开发语言，具备优秀的工程化设计、代码架构与性能调优能力； 3、深入理解 Ray/Flink/Spark 中至少一种计算引擎的原理与架构，有二次开发或大规模生产

挂了 2 个月 读全文 →

喜欢

跳过

实时计算开发工程师

星环科技-U 上海 基础架构产品部

通信 / 计算机 / IT

负责分布式实时计算引擎的设计与开发工作 职位要求： 1、熟悉Java或者Scala语言，数据结构和算法基础扎实 2、熟悉常用的分析以及故障诊断工具 3、对Flink有深入理解，有社区开源贡献优先 4、了解Kafka或者其他分布式消息队列优先 5、了解SQL语言，了解存储过程和函数优先 6、良好的团队合作能力

职位要求： 1、熟悉Java或者Scala语言，数据结构和算法基础扎实 2、熟悉常用的分析以及故障诊断工具 3、对Flink有深入理解，有社区开源贡献优先 4、了解Kafka或者其他分布式消息队列优先 5、了解SQL语言，了解存储过程和函数优先 6、良好的团队合作能力

挂了 1 年以上 读全文 →

喜欢

跳过

数据平台开发工程师（离线计算方向）

有赞 杭州 5-10年 本科

通信 / 计算机 / IT

岗位职责： 1. 负责离线计算基础组件&平台的开发和维护工作，保证系统的稳定、高效 2. 参与离线数据处理架构设计，提升数据开发效率和数据质量 工作内容： 1. 负责离线计算基础组件（Hadoop、Spark、Hive等）的优化和稳定性建设 2. 负责离线数据平台建设，提升数据开发、调度和运维效率 3. 解决离线数据处理中的性能瓶颈和稳定性问题

1. 工作经验3～5年，本科学历及以上 2. 熟悉Linux操作系统，熟练使用Shell、Python等脚本语言 3. 精通Java或Scala，对分布式计算和性能调优有深刻理解，熟悉JVM原理，有JVM调优经验者优先 4. 熟悉Hadoop生态组件（HDFS、YARN、MapReduce），熟练掌握Spark或Hiv

挂了 7 个月 读全文 →

喜欢

跳过

大数据开发工程师

盛邦安全 西安 3-5年 本科

通信 / 计算机 / IT

1.负责大数据需求开发工作，完成项目模块的交付。 2.负责对客户/公司内部等大数据需求方提供技术支持。 3.参与大数据平台的建设、运维以及性能调优

1.本科及以上学历，计算机相关专业。 2.计算机基础扎实，掌握Java、Scala、Python语言的一种或多种。 3.熟悉Hadoop、Hive、Spark、Flink、HBase、YARN、ES、Kafka等常用大数据系统、组件或计算框架; 熟悉MySQL、postgres、MongoDB等数据库。 4.熟练使用大

挂了 1 年以上 读全文 →

喜欢

跳过

算法工程师

孚能科技 广州 应届 博士

新能源 / 储能

1、负责大数据平台分析算法实现、包括数据清洗、数据挖掘、算法开发和调优； 2、负责整理和完善现有机模型、编写相关算法模块、调试优化； 3、负责前沿算法模型方面的探索和研究；

1、具备扎实的统计学、数据挖掘理论基础、良好的算法功底、掌握至少一种常用的编程语言如python、java、scala； 2、具备较强的编程能力、能使用python完成独立开发、熟练掌握使用pandas、sklearn等开源库、熟悉spark、greenplum等数据库编程方式者优先；逻辑思维能力强、具备数据敏感性、能

挂了 12 天 读全文 →

喜欢

跳过

业务应用数字工程师

中国中车 江门 中车广东轨道交通车辆有限公司 本科

央企

1. 数据采集与集成，设计并实现数据采集方案； 2. 数据存储与管理，设计和优化数据存储架构，选择合适的数据库或数据仓库； 3. 数据处理与构建，开发和维护数据处理管道，支持批量处理或实时流处理；优化数据处理效率，解决数据延迟、冗余等问题，提升数据流转性能； 4. 数据质量与安全，建立数据质量监控机制，识别并修复数。

1.编程语言：熟练掌握Python、Java/Scala等，能编写高效的数据处理脚本；； 2.大数据工具：掌握Hadoop、Spark、Flink、Hive等大数据处理框架，熟悉Kafka等消息队列工具； 3.其他：了解Linux系统操作，熟悉SQL查询优化，具备基本的云计算平台（AWS、阿里云、Azure）使用经验者

挂了 12 天 读全文 →

喜欢

跳过

【REDstar】增长算法工程师-社区增长

小红书 北京 / 上海 REDstar 顶尖人才计划 本科

互联网 近一周新增

1、负责用户增长场景的推荐算法研发（召回/排序/策略/多模态/LLM），提升推荐系统全链路效率； 2、负责消息PUSH与触达算法，优化推送时机、频次与内容生成，提升用户拉新与活跃； 3、负责广告投放算法，面向新用户/流失用户精准触达，包括价值预估、RTA出价、素材优选及 Agent 投放能力建设； 4、探索因果推断、强化学习等方法在用户增长中的应用，搭建通用因果平台，为PUSH、激励等业务场景赋能

1、本科及以上学历，计算机等相关专业优先； 2、了解Hadoop/MapReduce/Spark/Hive等常用大数据处理工具优先； 3、熟练掌握至少一种编程语言：Java/C++/Scala/Python，熟悉Linux系统及常用Shell命令； 4、有过成功的推荐算法、用户增长、广告投放相关项目经历者优先。

今天挂出 读全文 →

喜欢

跳过

软件测试

格力 珠海 应届 本科

家电

1、负责自动化测试工装、脚本的设计、开发与维护工作，提升测试效率与覆盖度； 2、负责并发测试、压力测试、负载测试等性能测试、代码审查； 3、负责编写测试用例，跟踪并分析测试进程与结果，评估改进方案； 4、主动研究测试新技术、新方法与工具，推动测试流程和效率的优化。

1、本科及以上学历，软件工程、计算机科学与技术、信息管理与信息系统、通信工程等相关专业； 2、掌握JAVA、JavaScript、python、Scala、H5或数据库等开发语言，了解自动化测试、性能测试者优先，至少熟练掌握一种编程/脚本语言（如Python、Java、JavaScript等），具备编写简单工具或脚本的

挂了 1 个月 读全文 →

喜欢

跳过

软件工程师（大数据）

海光信息 苏州 / 上海 历史职位部门 本科

芯片 / 半导体

岗位职责： 1. 深入掌握 Spark、 Hadoop、 Trino、 StarRocks、Flink 等大数据引擎。负责性能调优，精准定位性能瓶颈、故障卡点问题。 2. 熟练使用 TPCDS、 HiBench 等常用大数据Benchmark 工具，进行性能测试和多维度性能评估和优化（包括吞吐量、延迟、资源使用等等）。 3. 根据业务需求制定并实施基于Hygon 硬件平台的大数据引擎性能优化方案，包括内存、计算调度、向量化计算、IO 等方面的优化。 4. 跟踪大数据领域前沿技术与行业发展趋势，输出落地性技术方案支持公司发展。 5. 与团队共享技术经验，提高团队整体技术能力和工作效率。…

任职要求： 1. 计算机相关专业，本科及以上学历。 2. 深入理解 Spark、 Hadoop、 Trino、 StarRocks 、 Flink 等其中任意两种引擎源码，有内核优化经验。 3. 具备性能优化经验，熟练使用性能监控与Profiling工具，能够定位并解决系统瓶颈。 4. 至少 3 年大数据开发与优化经验

挂了 4 个月 读全文 →

喜欢

跳过

人工智能

格力 珠海 应届 硕士

家电

1、负责智能决策、模式识别、神经网络、专家系统、知识工程、机器学习、深度学习、强化学习等人工智能相关算法模型的基础研究工作，数据挖掘分析方向的算法选型、模型构建与训练等相关工作，机器视觉的工程应用及推广，搭建及维护分布式人工智能平台； 2、负责人工智能算法在家电或其他智能单品、工业软件和服务、智能工业机器人等产品开发、改进及推广应用，应用相关场景数据的分析和挖掘工作； 3、负责人工智能算法在机器人产品中的开发与应用，包括感知、定位、建图、路径规划、智能避障、芯片端移植部署、雷达数据等领域； 4、负责人机交互技术、生物识别技术、智慧能源管理技术的基础研究工作；…

1、硕士学历，计算机、数学、统计学、机器学习、人工智能、机器视觉、自然语言处理、模式识别、信号处理、自动控制、定位与建图（SLAM）、机器人路径规划等相关专业或方向； 2、精通C/C++、C#、JAVA、python、R、scala等至少一种计算机语言或精通FFT傅里叶及其相关衍生变换，掌握距离模糊/多普勒模糊杂波抑制

挂了 1 个月 读全文 →

喜欢

跳过

SH项目组-大数据研发工程师（可实习）【2027届校招】(J20623)

赛力斯 上海 应届 本科

汽车

参与公司大数据平台、数据仓库、实时数据链路设计与开发，负责离线 / 实时数据采集、清洗、加工、调度落地； 基于 Flink、Spark、Hive、Doris、Iceberg 、 paimon 等大数据组件搭建数据处理任务，建设业务指标体系，支撑数据分析、报表、业务数字化决策； 对接业务、算法团队需求，完成数据需求评审、数据模型设计、ETL 开发、任务运维与问题排查； 持续优化数据任务性能、存储成本、任务稳定性，提升数据产出时效与资源人效； 参与数据规范、数据质量、数据血缘治理，推动团队数据资产标准化建设。

2027 届全日制本科及以上应届毕业生；计算机、软件工程、数据科学、统计学、自动化等相关专业； 优先重点高校（C9/985/211、海外知名高校）博士、硕士候选人，优秀本科生可考虑；顶尖博士可对接政企双聘专项引才政策。 技术能力 扎实计算机基础：掌握操作系统、计算机网络、数据库原理，熟练使用 SQL； 至少掌握 Jav

挂了 21 天 读全文 →

喜欢

跳过