月之暗面Kimi发布MoBA技术,与DeepSeek在注意力机制上‘碰撞’
月之暗面Kimi发布MoBA技术,在长文本处理中大幅降低计算时间和内存消耗。同期,DeepSeek提出原生稀疏注意力机制,两家公司在注意力机制研究上发生‘碰撞’,有助于推动强化学习技术的发展。...
DeepSeek发布原生稀疏注意力技术,挑战ChatGPT性能
DeepSeek发布原生稀疏注意力(NSA)技术,提升长文本处理速度11.6倍,超越传统全注意力模型性能。同时,月之暗面发布MoBA方法,优化长文算法。DeepSeek还对现有计算机硬件进行优化,为未来开源和广泛应用奠定基础。...


