大模型推理优化实习生
寒武纪 北京 基础软件部 应届
芯片 / 半导体 近一周新增
岗位职责: 1、参与分布式推理系统建设,提供行业领先的LLM/多模态模型解决方案; 2、针对大语言模型(LLM)、视觉生成(如Diffusion Models)等场景,开展端到端推理性能优化,重点降低推理延迟、提升吞吐量; 3、深度优化推理框架,提升框架在异构硬件上的扩展性与易用性; 4、开发自动化性能分析工具,实现推理瓶颈的快速定位与优化建议生成。 岗位要求: 1、计算机、电子工程、自动化、数学等相关专业优先,2028届在校生; 2、熟悉linux环境下 C++/Python编程,具备CUDA/BANGC等异构编程经验;…
岗位要求: 1、计算机、电子工程、自动化、数学等相关专业优先,2028届在校生; 2、熟悉linux环境下 C++/Python编程,具备CUDA/BANGC等异构编程经验; 3、了解LLM或者视觉生成模型原理: a)大模型推理框架:vLLM/SGLang/FasterTransformer/TensorRT-LLM
挂了 6 天 已收藏 读全文 →