【星火X计划-实习】原生多模态通用大模型算法研究(J14619)
科大讯飞
【课题介绍】 本课题聚焦通用原生多模态大模型研发中的核心技术瓶颈,围绕原生多模态模型架构、多模态数据智能治理、高效预训练与对齐、多模态理解与推理、高分辨率图像和长视频建模、大规模分布式训练优化及模型评测等核心方向,构建具备统一感知、深度理解、复杂推理和可靠生成能力的通用多模态模型体系。 针对多模态模型训练过程中存在的模态表征差异大、图文语义对齐困难、视觉信息压缩损失、多模态数据质量参差、不同模态与任务训练失衡、高分辨率及长视频计算成本高、细粒度感知能力不足、多模态幻觉突出等问题,开展系统性研究。通过协同优化模型架构、视觉编码器、模态连接模块、预训练目标、数据配比、损失权重、课程学习及分布式训…