国产GPU大力支撑！摩尔线程疾速安排DeepSeek

作者: [db:作者]   点击次数:    发布时间: 2025-02-05 08:33

快科技2月4日新闻，DeepSeek V3、R1系列开源AI年夜模子在多言语懂得、庞杂推理义务中展示了出色机能，不只推进了AI技巧的遍及与开展，更是对开源社区的极年夜奉献。现在，各家科技巨子都已纷纭开端支撑、安排DeepSeek，国产硬件也在减速支撑。作为国产全功效GPU翻新企业，摩尔线程疾速实现了对DeepSeek蒸馏模子推理效劳的高效安排，可让更多开辟者基于摩尔线程全功效GPU，停止AI利用翻新。一键休会地点：https://playground.mthreads.com别的，用户也能够基于摩尔线程MTT S80、MTT S4000显卡，停止DeepSeek-R1蒸馏模子的推理安排。实在早在1月28日，就曾经有B站UP主在摩尔线程MTT S80上手动实现实际：https://www.bilibili.com/video/BV18YfQYEEs2经由过程DeepSeek供给的蒸馏模子，可能将年夜范围模子的才能迁徙至更小、更高效的版本，在国产GPU上实现高机能推理。摩尔线程基于自研全功效GPU，经由过程开源与自研双引擎计划，疾速实现了对DeepSeek蒸馏模子的推理效劳安排。开源框架适配：基于Ollama开源框架，摩尔线程实现DeepSeek-R1-Distill-Qwen-7B蒸馏模子的安排，并在多种中文义务中展示了优良的机能，验证摩尔线程自研全功效GPU的通用性与CUDA兼容性。自研引擎减速：经由过程摩尔线程自立研发的高机能推理引擎，联合软硬件协同优化技巧，经由过程定制化的算子减速跟内存治理，明显晋升了模子的盘算效力跟资本应用率。这一引擎不只支撑DeepSeek蒸馏模子的高效运转，还为将来更多年夜范围模子的安排供给了技巧保证。 最后，摩尔线程行将开放自立计划的夸娥（KUAE）GPU智算集群，片面支撑DeepSeek V3、R1模子，以及新一代蒸馏模子的散布式安排。夸娥集聚集成进步推理技巧与散布式盘算框架，将确保年夜范围模子的高效稳固运转，助力开辟者疾速实现营业落地。【本文停止】如需转载请务必注明出处：快科技义务编纂：上方文Q