【星火X计划-实习】超长上下文大模型结构建模技术研究(J14622)
科大讯飞 合肥 / 北京 硕士
AI / 大模型 近一周新增
【课题介绍】 本课题聚焦千万级超长上下文通用大模型建模核心难题,针对当前线性注意力、稀疏注意力两大主流技术阵营的固有缺陷,围绕线性运算复杂度保障、时序位置敏感性与超长外推能力、次线性KV缓存优化三大核心主线,开展融合式注意力建模创新研究,构建高精度、低开销、强泛化的千万级长序列建模体系。 当前线性注意力路线可实现严格线性算力复杂度、彻底规避传统Transformer平方复杂度瓶颈,但存在时序位置建模精度不足、超长序列位置外推偏移、局部语义捕捉能力弱的问题;稀疏注意力路线通过自适应稀疏采样大幅降低计算开销,保留精准时序建模能力,但存在采样复杂度不稳定、极长序列缓存冗余、外推泛化上限低的缺陷。…
1、毕业时间在28届及以后,硕士及以上学历,计算机科学与技术、人工智能、电子信息、数学、自动化、高性能计算等相关专业,其他专业但具备突出研究和动手能力者同样欢迎; 2、具备扎实的机器学习、深度学习及大模型基础,熟悉 Transformer 架构、各类注意力机制核心原理与技术优劣,掌握大模型预训练、微调、推理全链路技术体
挂了 5 天 已收藏 读全文 →