DeepSeek 发布开源第一弹!让大模型在GPU上跑得更快

2月24日,DeepSeek启动“开源周”,开源了首个代码库FlashMLA。

据介绍,这是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。“在H800上能实现3000 GB/s 的内存带宽 & 580 TFLOPS 的计算性能。”DeepSeek说。

简单来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)尤为重要。

MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。MLA通过多个头(head)的并行计算,让模型能够同时关注文本中不同位置和不同语义层面的信息,从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。

此前,有从业者解析DeepSeek架构时提到,MLA的本质是对KV(Key-Value,一种缓存机制)的有损压缩,提高存储信息,“该技术首次在DeepSeek-V2中引入,MLA是目前开源模型里显著减小KV 缓存大小的最佳方法。”

DeepSeek开源这一代码有何影响?记者用这一问题询问了DeepSeek,它回答称,这一代码就像给AI推理引擎装上了一台“涡轮增压器”,让大模型在处理复杂任务时更快、更省资源,同时降低了技术门槛。FlashMLA的意义不单是技术优化,更是打破算力垄断、加速AI普惠的关键一步。

具体来说,FlashMLA可以突破GPU算力瓶颈,降低成本。传统解码方法在处理不同长度的序列(如翻译不同长度的句子)时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA的改进是:通过动态调度和内存优化,让Hopper GPU(如H100)的算力被“榨干”,相同硬件下吞吐量显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务,直接降低推理成本。

另一方面,FlashMLA可以推动大模型落地应用。可变长度序列是现实场景中的常态(如聊天对话、文档生成),但传统方法需要填充(Padding)到固定长度,导致计算冗余。FlashMLA支持动态处理变长输入,让AI应用(如客服机器人、代码生成)响应更快、更流畅,用户体验提升,加速商业化落地。

此前高效解码内核多由科技巨头闭源垄断(如CUDA优化库),中小企业和研究者难以复现。FlashMLA开源后,开发者可免费获得“工业级优化方案”,降低技术门槛,促进更多创新应用(如垂直领域小模型)的诞生。

the whale is making waves!(鲸鱼正在掀起波浪!)有网友在DeepSeek的帖子下留言称。(注:DeepSeek的企业LOGO是鲸鱼)。

也有网友希望DeepSeek开源网页搜索(Web Search)相关的代码,并提到,“DeepSeek 是真正的OpenAI(开放人工智能)”。

这仅仅是开始,上周2月21日DeepSeek宣布,下周开始,会陆续开源5个代码库,“以完全透明的方式分享我们微小但真诚的进展”。DeepSeek表示,这些在线服务中的基础构建模块已经经过文档化、部署,并在生产环境中经过实战检验。

DeepSeek在公告中称自己是探索 AGI 的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek 称,没有高不可攀的象牙塔,只有纯粹的车库文化(不少美国著名企业从车库里诞生)和社区驱动的创新。

(文章来源:第一财经)

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/42390.html

(0)
上一篇 2025年3月7日
下一篇 2025年3月7日

相关推荐

  • 利兹卡尔顿属于什么集团

    01 复工后的鹿城广场,最近又传出新消息。 据绿城中国官网显示,当前正在建设的鹿城广场商业部分,将集丽思·卡尔顿酒店(Ritz-Carlton)、精品商业中心GT PLAZA,高端公寓、顶级办公为一体。 来源:绿城中国官网 除了引进丽思·卡尔顿酒店外,这一回,绿城中国还明确了鹿城广场的商业综合体品牌——GT PLAZA。 当前,绿城中国旗下商业项目包括青悦城…

    2023年12月22日
  • 慕尼黑大学qs世界大学排名

    今天,QS发布了2025年度最佳留学城市排名。 QS 最佳学生城市排名根据六个关键类别的指标展示了国际学生的最佳城市目的地: 大学排名:QS世界大学排名的体现学生构成:学生比例高的城市可能配备了学生需要的设施,国际学生人数多的地区可能做好了迎接更多国际学生的准备合意性:反映了留学目的地的总体合意性比如安全,机会等等雇主活动:反映了哪些城市最受雇主的欢迎负担能…

    2024年7月25日
  • 地天板后两跌停!董秘被停职 此前强蹭“抖音概念” 已被证监会立案!

    由于互动平台的不当表述,思美传媒12月4日晚间公告,董秘李子木被暂停了职务。 此前,思美传媒已领浙江证监局警示函,并因涉嫌信息披露违法违规被中国证监会立案。 董秘李子木被暂停职务 思美传媒(002712)12月4日晚间公告,公司董事会秘书兼副总经理李子木作为公司信息披露直接责任人,因在信息披露工作中不审慎,导致公司及其个人被浙江证监局出具警示函。经公司第六届…

    2023年12月12日
  • 国外最好的电影学院

    今天小五盘点一下15个国家评分最高的电影(参考豆瓣评分)。 包括中国、美国、法国、意大利、德国、韩国、日本、印度等15个国家。 你还知道哪些国家的佳作?欢迎补充在评论区。 中国 《霸王别姬》 1993年 豆瓣:9.6分 / IMDb:8.1分 目前唯一获得戛纳金棕榈的华语电影。 从演员阵容、内容深度、获得荣誉等方面来说,绝对配得上这个分数。 故事讲述了京剧演…

    2025年3月26日
  • 三部门:鼓励银行加大科技型企业信用贷款和中长期贷款投放

    国家金融监督管理总局办公厅 科技部办公厅 国家发展改革委办公厅关于印发《银行业保险业科技金融高质量发展实施方案》的通知 各金融监管局;各省、自治区、直辖市、计划单列市科技厅(委、局),新疆生产建设兵团科技局;各省、自治区、直辖市、计划单列市及新疆生产建设兵团发展改革委;各政策性银行、大型银行、股份制银行、外资银行、直销银行、金融资产投资公司、理财公司,各保险…

    2025年4月1日
  • 常青藤大学排名美国第几位

    宾夕法尼亚大学排名全球排名 根据2023年QS世界大学排名**,宾夕法尼亚大学位列全球第13名。这一排名反映了宾夕法尼亚大学在全世界范围内的学术声誉和教育质量。 专业排名 宾夕法尼亚大学在多个专业领域也取得了优秀的排名。在2021年的QS世界大学专业排名中,宾夕法尼亚大学的会计与金融专业位列第6名,经济学和计量经济学专业位列第13名,统计和运筹学专业位列第1…

    2024年8月4日
  • 心理学哪个学校最好

    如果想要了解心理学专业哪些学校好,以及心理学专业就业方向的同学,可以从本文中了解心理学专业排名前十等内容。 本期将根据全国心理学大学专业排名,来介绍全国哪些大学心理学专业最好,比如北京师范大学、北京大学、华东师范大学、清华大学。以及心理学专业毕业后可以干什么,如中学教师、小学教师、公务员等岗位。 一、全国心理学专业最好的大学 在2023年软科中国大学专业排名…

    2024年5月25日
  • 意大利博科尼大学(意大利博科尼大学世界排名)

    今天小编要说的是这个低调且被忽视的商学院 – 博科尼大学。 根据QS世界大学排名,博科尼的经济、管理与金融专业教学水平名列欧洲前十,在2021年QS世界排名中,博科尼商业与管理学学科排名第7,《金融时报》将“金融与管理”硕士专业列为全球前十。 据闻,奶茶妹妹怀孕期间世界顶尖商学院——意大利博科尼大学的“私募股权和风险投资”课程证书。力证,彪悍的人…

    2023年9月13日
  • 济宁学院多大

    记者 翟元昊 2023年7月5日至7日,每天9:00-18:00,填报普通类特殊类型批和常规批、艺术类本科批、体育类常规批等相应批次志愿,请考生务必在规定时间内填报志愿。 济宁学院发布2023年高考填报预估分,预估分是结合往年录取分数、位次来分析的数据,考生还要综合考虑,结合学校的招生计划、当年高考报考人数等多种因素综合分析。 以下数据仅供参考: 一、本科招…

    2025年1月17日
  • 新加坡读研一年费用_新加坡读研一年费用多少钱

    最近这两年,新加坡吸引了不少国内同学的目光。世界一流的教育体系,同时拥有QS亚洲排名第1,QS世界排名第11的新加坡国立大学,以及亚洲QS排名第4,世界QS排名第19的南洋理工大学,加上宜居的生活条件和稳定的社会治安,让新加坡渐渐成为很多国内学生的首选读研目的地。 不过,出国读研,除了同学们平时会关心的院校排名和录取要求以外,很多同学最关注的还有留学总费用。…

    2024年3月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信