kleidiai 文章 进入kleidiai技术社区

Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能

• 作者：Arm 基础设施事业部软件工程师 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技领域发挥关键作用，许多企业已经开始将大语言模型 (LLM) 集成到云端和边缘侧的应用中。生成式 AI 的引入也使得许多框架和库得以发展。其中，PyTorch 作为热门的深度学习框架尤为突出，许多企业均会选择其作为开发 AI 应用的库。通过部署 Arm Kleidi 技术 ，Arm 正在努力优化 PyTorch，以加速在基于 Arm 架构的处理器上运行 LLM 的性能
• 关键字： Arm  KleidiAI  PyTorch  LLM