DeepSeek 发布开源第一弹!让大模型在GPU上跑得更快

2月24日,DeepSeek启动“开源周”,开源了首个代码库FlashMLA。

据介绍,这是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。“在H800上能实现3000 GB/s 的内存带宽 & 580 TFLOPS 的计算性能。”DeepSeek说。

简单来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)尤为重要。

MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。MLA通过多个头(head)的并行计算,让模型能够同时关注文本中不同位置和不同语义层面的信息,从而更全面、更深入地捕捉长距离依赖关系和复杂语义结构。

此前,有从业者解析DeepSeek架构时提到,MLA的本质是对KV(Key-Value,一种缓存机制)的有损压缩,提高存储信息,“该技术首次在DeepSeek-V2中引入,MLA是目前开源模型里显著减小KV 缓存大小的最佳方法。”

DeepSeek开源这一代码有何影响?记者用这一问题询问了DeepSeek,它回答称,这一代码就像给AI推理引擎装上了一台“涡轮增压器”,让大模型在处理复杂任务时更快、更省资源,同时降低了技术门槛。FlashMLA的意义不单是技术优化,更是打破算力垄断、加速AI普惠的关键一步。

具体来说,FlashMLA可以突破GPU算力瓶颈,降低成本。传统解码方法在处理不同长度的序列(如翻译不同长度的句子)时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA的改进是:通过动态调度和内存优化,让Hopper GPU(如H100)的算力被“榨干”,相同硬件下吞吐量显著提升。这意味着企业可以用更少的GPU服务器完成同样的任务,直接降低推理成本。

另一方面,FlashMLA可以推动大模型落地应用。可变长度序列是现实场景中的常态(如聊天对话、文档生成),但传统方法需要填充(Padding)到固定长度,导致计算冗余。FlashMLA支持动态处理变长输入,让AI应用(如客服机器人、代码生成)响应更快、更流畅,用户体验提升,加速商业化落地。

此前高效解码内核多由科技巨头闭源垄断(如CUDA优化库),中小企业和研究者难以复现。FlashMLA开源后,开发者可免费获得“工业级优化方案”,降低技术门槛,促进更多创新应用(如垂直领域小模型)的诞生。

the whale is making waves!(鲸鱼正在掀起波浪!)有网友在DeepSeek的帖子下留言称。(注:DeepSeek的企业LOGO是鲸鱼)。

也有网友希望DeepSeek开源网页搜索(Web Search)相关的代码,并提到,“DeepSeek 是真正的OpenAI(开放人工智能)”。

这仅仅是开始,上周2月21日DeepSeek宣布,下周开始,会陆续开源5个代码库,“以完全透明的方式分享我们微小但真诚的进展”。DeepSeek表示,这些在线服务中的基础构建模块已经经过文档化、部署,并在生产环境中经过实战检验。

DeepSeek在公告中称自己是探索 AGI 的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek 称,没有高不可攀的象牙塔,只有纯粹的车库文化(不少美国著名企业从车库里诞生)和社区驱动的创新。

(文章来源:第一财经)

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/42390.html

(0)
上一篇 2025年3月7日
下一篇 2025年3月7日

相关推荐

  • 北爱荷华大学相当于中国什么大学

    世界公认MBA最有含金量的标尺,三大认证首当其冲。三大认证分别为AACSB, EQUIS及AMBA认证。 AACSB-全球首屈一指商学院认证机构,教育认证制度之严、标准之高、冠居全球,世所公认,其代表着一所商学院的最高成就,也是商学教育达致世界级水平的重要标志。 EQUIS- 欧洲质量发展认证体系是隶属于欧洲管理教育基金会的认证部门。该体系注重各商学院的国际…

    2026年1月4日
  • 雅思考试介绍(雅思考试介绍PPT)

    雅思考试(IELTS),全称为国际英语测试系统(International English Language Testing System),是著名的国际性英语标准化水平测试之一。雅思考试于1989年设立,由英国文化教育协会、剑桥大学考试委员会和澳大利亚教育国际开发署(IDP)共同管理。雅思考试是全球认可度最高的国际英语测试,获得全球超过140多个国家和地区…

    2023年11月21日
  • 剑桥大学雅思成绩要求

    申请英国院校的考鸭们一定有过这样的疑问: 申请英国,雅思最少要考多少分? 曾经众多考鸭追逐的7分,如今在英国高校的申请浪潮中,是否也会显得力不从心呢? 事实上,英国院校的雅思要求远比我们想象的复杂—— 一般来讲,英国院校对雅思的分数的最低要求为6-6.5分,像英国G5院校,雅思基本上都需要7分(单项不低于6.5)。 更关键的是,即便拿到conditional…

    2025年10月23日
  • 美国最便宜的公立大学

    每个打算留学的同学及家长不仅会关注学校及专业,也会对出国留学费用非常关注,对于那些经济不宽裕的同学来说不是只有社区大学可以去!那么哪些美国公立大学学费最低呢?美国高校收费都是公布的,包括学费价格,还有其他的杂项收费,包括食宿费和书本费和财政援助金等等。 学校名称 Minot State University (ND)迈诺特州立大学 $5,921 Region…

    2024年11月8日
  • 新加坡国立大学留学一年费用

    Aloha 小伙伴们 我是你们的辰辰子~ 新加坡国立大学(National University of Singapore,简称 NUS),作为亚洲学术领域的璀璨明珠,凭借着傲人的学术声誉、前沿卓越的科研成果以及极具包容性的国际化教学环境,宛如一块强大的磁石,吸引着来自全球各地的莘莘学子。倘若你也满心憧憬着能在这所世界名校开启一段非凡的学术探索之旅,那么,提…

    2025年11月21日
  • 美国西北大学新年

    春光明媚 万象焕新 亲爱的NWUPLer整装待发 怀蓬勃朝气 于校园重逢 新学期 我们携手启程! 假期结束 校园生活来临 西小法暖心备齐开学指南 快来一键查收吧! 返校注意事项 证件资料类 请务必妥善保管好身份证、学生证等重要证件,乘坐高铁、飞机等交通工具时需要核验,学校报到及办理各项事务也不可或缺。 行李物品类 关注西安天气状况,及时携带雨具。考虑到早晚温…

    2025年9月1日
  • 纽约大学上海分校有合作吗

    上海纽约大学作为中美合作办学的第一高校,现在越来越显示出领袖气质,在中外合作办学的位置也是名列前茅的。 上海纽约大学原本由美国纽约大学和中国华东师范大学进行托底,即其出身、生源、和教学水平不得低于中国华东师范大学和美国纽约大学水平。 无论是纽大,还是华东师大,在各自的国内都具有很前列的排名,在世界上都占有一席之地,所以也注定了上海纽约大学的出身的高贵,价值不…

    2024年10月26日
  • 英国萨利大学

    坐落于伦敦后花园的萨里大学(University of Surrey)是英国百年名校,英国著名公立综合研究型大学,成立于1891年,前身为伦敦的巴特西理工学院,在1966年9月9日被皇家许可而成为综合性大学。大学有来自全球140个国家的超过17000名学生,为学生提供一个多元化的学习和生活的环境。 优越的地理位置 萨里大学位于英格兰东南部,伦敦西南部的萨里郡…

    2024年10月13日
  • tobu美国

    中新网12月11日电 近日,苹果公司公布了2017年度最佳发行商名单,其中猎豹移动在全球游戏市场脱颖而出,入围App Store全球最佳手游发行商榜单,获得苹果公司的最高认可。同样上榜的中国公司还有英雄互娱、网易移动游戏、极光游戏(腾讯极光计划)和中手游。此外,猎豹移动旗下《弓箭手大作战》《滚动的天空》和《钢琴块2》继续突破,获得英、美、德、意等发达国家iO…

    2026年1月5日
  • 匹兹堡大学在世界排名

    匹兹堡大学世界排名 2020年QS世界大学排名 140 2019年《美国新闻与世界报道》世界大学500强排名 43 2019年QS世界大学排名 136 2019年《泰晤士高等教育》世界大学排名110 匹兹堡大学医学院 匹兹堡大学医学院(school of medical) 及其所属的匹兹堡大学医疗中心(University of Pittsburgh Med…

    2024年10月18日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信