当前位置: windows系统城 > 微软资讯 > 国产显卡加速替代CUDA 摩尔线程开源vLLM-MUSA:加速人工智能计算效率
vLLM作为一个高效且易用的大模型推理和服务框架,在业界已得到广泛应用。摩尔线程基于vLLM的v0.4.2版本进行了移植适配,使其支持摩尔线程GPU后端Device,并实现了完全开源。这意味着开发者可以在此基础上进行二次开发、升级vLLM到社区更新版本等操作,进一步推动AI技术的发展。
值得一提的是,摩尔线程的MUSA架构具有先进性,并且其软件栈对CUDA具有优良的兼容性。通过MUSIFY代码自动转换工具,用户可以轻松地将原有的CUDA代码迁移到MUSA平台,实现替代。同时,CUDA相关库的调用也可以快速替换为相应的MUSA加速库。如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程的这一举措不仅大幅提升了应用移植的效率,缩短了开发周期,还为开发者提供了一系列实用工具和脚本。这有助于加速国产GPU AI的发展,推动AI技术在更多领域的应用和落地。更多关于摩尔线程vLLM-MUSA开源项目的信息,可访问其GitHub页面进行了解。
(9157162)
2024-04-30
2024-06-25
2024-09-13
2024-05-14
2024-03-20
微软资讯推荐
win10系统推荐
系统教程推荐