DeepSeek 发布开源第一弹!让大模型在GPU上跑得更快

2月24日,DeepSeek启动“开源周”,开源了首个代码库FlashMLA。

据介绍,这是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。“在H800上能实现3000 GB/s 的内存带宽 & 580 TFLOPS 的计算性能。”DeepSeek说。

简单来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)尤为重要。

MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。MLA通过多个头(head)的并行计算,让模型能够同时关注文本中不同位置和不同语义层面的信息,从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。

此前,有从业者解析DeepSeek架构时提到,MLA的本质是对KV(Key-Value,一种缓存机制)的有损压缩,提高存储信息,“该技术首次在DeepSeek-V2中引入,MLA是目前开源模型里显著减小KV 缓存大小的最佳方法。”

DeepSeek开源这一代码有何影响?记者用这一问题询问了DeepSeek,它回答称,这一代码就像给AI推理引擎装上了一台“涡轮增压器”,让大模型在处理复杂任务时更快、更省资源,同时降低了技术门槛。FlashMLA的意义不单是技术优化,更是打破算力垄断、加速AI普惠的关键一步。

具体来说,FlashMLA可以突破GPU算力瓶颈,降低成本。传统解码方法在处理不同长度的序列(如翻译不同长度的句子)时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA的改进是:通过动态调度和内存优化,让Hopper GPU(如H100)的算力被“榨干”,相同硬件下吞吐量显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务,直接降低推理成本。

另一方面,FlashMLA可以推动大模型落地应用。可变长度序列是现实场景中的常态(如聊天对话、文档生成),但传统方法需要填充(Padding)到固定长度,导致计算冗余。FlashMLA支持动态处理变长输入,让AI应用(如客服机器人、代码生成)响应更快、更流畅,用户体验提升,加速商业化落地。

此前高效解码内核多由科技巨头闭源垄断(如CUDA优化库),中小企业和研究者难以复现。FlashMLA开源后,开发者可免费获得“工业级优化方案”,降低技术门槛,促进更多创新应用(如垂直领域小模型)的诞生。

the whale is making waves!(鲸鱼正在掀起波浪!)有网友在DeepSeek的帖子下留言称。(注:DeepSeek的企业LOGO是鲸鱼)。

也有网友希望DeepSeek开源网页搜索(Web Search)相关的代码,并提到,“DeepSeek 是真正的OpenAI(开放人工智能)”。

这仅仅是开始,上周2月21日DeepSeek宣布,下周开始,会陆续开源5个代码库,“以完全透明的方式分享我们微小但真诚的进展”。DeepSeek表示,这些在线服务中的基础构建模块已经经过文档化、部署,并在生产环境中经过实战检验。

DeepSeek在公告中称自己是探索 AGI 的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek 称,没有高不可攀的象牙塔,只有纯粹的车库文化(不少美国著名企业从车库里诞生)和社区驱动的创新。

(文章来源:第一财经)

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/42390.html

(0)
上一篇 2025年3月7日
下一篇 2025年3月7日

相关推荐

  • 哥德堡大学排名

    来源:环球时报新媒体 据多家西方媒体报道,西方一个名为“透明国际”的NGO(非政府组织),近日发布了该组织一年一度的全球“清廉印象指数”榜单。 而为了给这一榜单的发布制造舆论关注,该组织特意将一个国家或地区是否“清廉”与当地防疫工作的“好坏”进行了挂钩,即一个国家或地区越腐败,就越会伤害到其公共卫生系统,导致防疫工作的失败。 可尴尬的是,该组织的这套逻辑及其…

    2025年11月10日
  • 鹿特丹管理学院是个什么样大学

    大学毕业生拍摄毕业合影(资料图)。(新华社记者 鲁鹏/图) 一项对德国少年成长的研究发现,在中学阶段转向职业轨道或继续上学深造这两种不同的人生选择,可能会改变人的个性和总体心理特征。 2018年11月,《心理科学》(Psychological Science)杂志的一项最新研究发现,工作或继续上学这两种不同的人生选择,可能会改变人格。 这项基于德国少年成长变…

    2025年8月18日
  • 美国普渡大学世界排名

    北京时间10月14日,普度大学队史首次在美联社季前25强榜单中排名第一位,球队赢得了61张第一选票中的35张,这使得马特-佩因特(Matt Painter)的球队领先于上赛季NCAA冠军赛的两支球队,亚军休斯顿大学排名第二,卫冕冠军佛罗里达大学排名第三。 季前25强榜单 普度大学曾在1987-88赛季由吉恩-凯迪(Gene Keady)执教时曾一度排名第二,…

    2025年11月5日
  • 剑桥大学商学院有本科吗_剑桥大学商学院有本科吗知乎

    商科作为英国大学最为热门的专业之一,申请人数众多,虽然申请要求很为严苛,但英国高校的商科课程不仅排名亮眼,毕业生的声誉也非常好。 随着QS 2022年世界大学排名公布,英国大学整体名次又上升了不少,当然学费也不出意外地涨了不少… 相比去年,LSE今年2021年秋季本科学费,涨了1千镑左右,留学生学费是22,430英镑/学年 作为中国最爱申请的专业…

    2024年3月3日
  • 蓝带学院上海分校多少学费

    上海地区国际学校众多,但是有很多家长会关注一贯制的办学模式的学校,这些国际学校大多数都是集团化办学,因此学校经验丰富、稳定性强、课程体系连贯等独特优势会给孩子带来更好的就读体验,以及更高的学习效率。 所以下面我们就整理了关于上海地区15年一贯制国际学校的课程、学费等信息,供各位家长在选校时参考。 上海赫贤学校 上海赫贤双语学校成立于2016年9月,是一所植根…

    2024年12月4日
  • 世界前十大学排名

    全世界大学排名前100名的大学里,美国占四分之一。这说明美国的教育水平依然在世界的最顶端。 经过一战,二战后,美国把曾经的“日不落帝国”英国从世界老大的位置上拉下来之后的近100年时间里,美国在教育,科技,军事,经济实力等各方面都是领头羊的角色存在。但是美国的世界老大地位,早晚会被东方巨龙——伟大的中华人民共和国超越! 特朗普二进宫后,采取的一些国家层面的战…

    2025年9月30日
  • 日本留学学校一览

    去日本留学,选校和留学费用是最为受关注的两大事项。日本名校的教学质量优质,吸引大量学生赴日留学。当然选校也是需要考虑所申请学校的留学费用,结合两者在做出正确的选择是最为稳妥的。下面,百利天下留学专家为大家介绍,日本大学排名前十的大学以及留学费用。 2014年日本大学排名 1.东京大学 2.京都大学 3.东北大学 4.大阪大学 5.庆应大学 6.早稻田大学 7…

    2024年11月18日
  • 澳洲perth(澳洲perth袋鼠岛)

    上一期我们介绍了“智利首都”圣地亚哥:地处山间盆地属地中海气候,智利最大城市,今天我们把目光从南美洲西海岸地区的智利,向西横穿整个太平洋,来到世界上最小的大陆“澳大利亚大陆”,来到澳大利亚的西南海岸,来介绍城市系列的第四十四篇:“最孤独城市”珀斯:地处澳大利亚西部沿海,澳大利亚第四大城市。 “最孤独城市”珀斯 澳大利亚是世界上唯一一个独占一块大陆的国家,在陆…

    2023年9月16日
  • 经济学专业世界大学排名

    世界知名排名机构QS(Quacquarelli Symonds)近日发布了世界大学经济学排名榜单, 本次共有501所世界高校上榜,比去年多了100所。 以下为总排名十强: 以下为QS官方公布的总排名中国前五: 指标与权重 中国排名五强:两所跻身前30,港科大第一 今年进入总排名中国5强的高校有:香港科技大学(第26名);北京大学(第30名);清华大学(第31…

    2025年11月26日
  • 台湾辅仁大学排名

    新华社台北7月2日电(记者陈君 查文晔)台湾《远见》杂志2日发布“台湾最佳大学排行榜”,综合类大学由台湾大学守住岛内第一学府之名,新竹清华大学攻上榜眼,台南成功大学位列第三。 文法商类中,台湾师范大学、政治大学和辅仁大学排名前三;医科类是长庚大学和台北医学大学并列冠军;台湾科技大学夺得技职类榜首。 上月底,英国《泰晤士报高等教育》公布亚太地区大学排行榜,台湾…

    2025年11月12日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信