DeepSeek 发布开源第一弹!让大模型在GPU上跑得更快

2月24日,DeepSeek启动“开源周”,开源了首个代码库FlashMLA。

据介绍,这是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。“在H800上能实现3000 GB/s 的内存带宽 & 580 TFLOPS 的计算性能。”DeepSeek说。

简单来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)尤为重要。

MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。MLA通过多个头(head)的并行计算,让模型能够同时关注文本中不同位置和不同语义层面的信息,从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。

此前,有从业者解析DeepSeek架构时提到,MLA的本质是对KV(Key-Value,一种缓存机制)的有损压缩,提高存储信息,“该技术首次在DeepSeek-V2中引入,MLA是目前开源模型里显著减小KV 缓存大小的最佳方法。”

DeepSeek开源这一代码有何影响?记者用这一问题询问了DeepSeek,它回答称,这一代码就像给AI推理引擎装上了一台“涡轮增压器”,让大模型在处理复杂任务时更快、更省资源,同时降低了技术门槛。FlashMLA的意义不单是技术优化,更是打破算力垄断、加速AI普惠的关键一步。

具体来说,FlashMLA可以突破GPU算力瓶颈,降低成本。传统解码方法在处理不同长度的序列(如翻译不同长度的句子)时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA的改进是:通过动态调度和内存优化,让Hopper GPU(如H100)的算力被“榨干”,相同硬件下吞吐量显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务,直接降低推理成本。

另一方面,FlashMLA可以推动大模型落地应用。可变长度序列是现实场景中的常态(如聊天对话、文档生成),但传统方法需要填充(Padding)到固定长度,导致计算冗余。FlashMLA支持动态处理变长输入,让AI应用(如客服机器人、代码生成)响应更快、更流畅,用户体验提升,加速商业化落地。

此前高效解码内核多由科技巨头闭源垄断(如CUDA优化库),中小企业和研究者难以复现。FlashMLA开源后,开发者可免费获得“工业级优化方案”,降低技术门槛,促进更多创新应用(如垂直领域小模型)的诞生。

the whale is making waves!(鲸鱼正在掀起波浪!)有网友在DeepSeek的帖子下留言称。(注:DeepSeek的企业LOGO是鲸鱼)。

也有网友希望DeepSeek开源网页搜索(Web Search)相关的代码,并提到,“DeepSeek 是真正的OpenAI(开放人工智能)”。

这仅仅是开始,上周2月21日DeepSeek宣布,下周开始,会陆续开源5个代码库,“以完全透明的方式分享我们微小但真诚的进展”。DeepSeek表示,这些在线服务中的基础构建模块已经经过文档化、部署,并在生产环境中经过实战检验。

DeepSeek在公告中称自己是探索 AGI 的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek 称,没有高不可攀的象牙塔,只有纯粹的车库文化(不少美国著名企业从车库里诞生)和社区驱动的创新。

(文章来源:第一财经)

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/42390.html

(0)
上一篇 2025年3月7日
下一篇 2025年3月7日

相关推荐

  • 国立中央大学艺术系主要教师

    本文素材来自网络,若与实际情况不相符或存在侵权行为,请联系删除。 注意,我们这里所说的是中央美术学院,千万不要将其与校址在浙江杭州的中国美术学院混为一谈。小编这样说,主要是因为两校名字太像了,一不小心就容易搞错了。 根据学校2021—2022学年本科教学质量报告的介绍,中央美术学院有着百年历史传承和深厚学术底蕴,是中国历史上第一所国立美术教育学府,其前身是1…

    2024年1月13日
  • 英国莱斯特大学qs排名

    英国留学其实也是一个双向选择的过程,热门的院校申请量大竞争激烈,就算处于缺学生的大环境中依然有“挑人”的底气。部分院校就算降低门槛,申请福利拉满,在留学圈依然被越来越多的人“抛弃”,哪怕曾经也辉煌过。 比如约克大学,最开始还是非常受留学生欢迎的“网红”院校,校园颜值高,课程相对也比较轻松,周边也非常适合旅游和居住,从留学生活的角度来说是非常理想的院校。而且没…

    2025年9月15日
  • 日本近畿大学排名

    日本私立学研组织14日公布了向各地区高三学生做出的《最想报考大学》的调查结果,关东地区是早稻田大学连续2年居首,东海地区是名城大学连续6年居首,关西地区是关西大学连续15年居首。 关东地区报考人气大学排行 第一位 早稻田大学第二位 明治大学第三位 青山学院大学,第四位 立教大学第五位 庆应义塾大学第六位 中央大学第七位 日本大学第八位 法政大学第九位 千叶大…

    2025年11月5日
  • 卡内基梅隆大学计算机科学学院

    股票交易平台 Robinhood 的 CEO Vlad Tenev 此前创办的 AI 公司再次获得资本市场青睐。7 月 9 日,他与合伙人共同创办的 AI 初创公司 Harmonic 宣布完成 1 亿美元 B 轮融资,公司估值达到 8.75 亿美元,接近独角兽门槛。这轮融资由知名风投机构 Kleiner Perkins 领投,Paradigm 等多家机构跟投…

    2025年8月7日
  • 世界大学导演系排名

    本文素材来自于网络,若与实际情况不相符或存在侵权行为,请联系删除。 电影艺术的漫长历程中,导演无疑是塑造作品灵魂和核心的不可或缺之一。世界舞台上涌现出众多杰出导演,他们以各自独特的视角、深刻的思考和非凡的才华,为观众带来一幕幕经典之作。那么,究竟哪些导演值得位列世界十大导演之列呢?本文将通过对导演的成就、影响力、作品深度等方面的综合评估,为您揭晓这一排名。 …

    2024年8月28日
  • 优越留学中介费多少

    打算去美国留学的学生,学校是他们担心的第一个问题,其次就是费用问题,去美国留学可是一笔不小的支出,除了学费生活费之外,还有一笔中介费,今天小编就以优越留学为例,说说申请美国的中介费用。 优越留学的服务费主要根据学生申请的院校的排名来划分,主要分5个梯度: 1.哈弗,耶鲁,MIT,斯坦福,卡梅: 大家一看就知道这个梯度申请的学校要么是“常春藤”院校,要么特别难…

    2024年6月27日
  • 哥本哈根商学院双学位学费

    文/圆梦志愿 肖老师 由于部分考生有出国留学打算,因此对2+2中外合作办学的高校比较感兴趣。为了让各位考生更加了解院校信息,圆梦志愿小编为大家整理了部分全国正规的二加二大学名单,以及2加2大学学费,希望可以帮助到大家。 一、全国正规的二加二大学有哪些? 2+2是中外合作办学的一种形式,一般是在国内高校读两年,在国外指定合作院校读两年并结业,一般2+2大学项目…

    2024年11月30日
  • 广州城建职业学院好吗就业前景好吗

    权威评估 广州城建职业学院民办夺魁 用实力成就学生未来 GZCCC 关于软科 2024 软科(ShanghaiRanking)是全球领先的高等教育评价机构。 软科旗下拥有众多在国内外具有深远影响力和业内认可度的排行榜,2003年首次发布的“世界大学学术排名(Academic Ranking of World Universities,简称ARWU)”是全球最…

    2024年10月12日
  • 广东外语外贸大学读研怎么样

    研究生新生数据 2024年我校共录取研究生2373人 相较去年增加了106人 其中 硕士研究生录取2264人 博士研究生录取109人 硕士研究生来源省份 今年来自广东省的同学约占45.6% 来自湖南省的同学占比10.2% 来自江西省的同学约占7.8% 各学院性别比例 硕士研究生招生学院共25个 其中 录取新生总人数前三的学院分别为 法学院261人 高级翻译学…

    2025年1月4日
  • 北大医学院研究生院

    流年勾勒,又是毕业之季 踌躇满志,祈盼相逢之时 想读北大研究生 该怎么选择? 北京大学研究生院 于6月26日-29日 举办“北大研招宣传周”活动 北京大学医学部于6月24日 举办研招“校园开放日”活动 这期间 通过网络直播和线下体验 你的疑惑将会得到解答! 1917年底 文、理、法三科各门 相继成立9个研究所 开始招收和培养研究生 迄今已有百余年历史 百余年…

    2024年9月19日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信