快讯｜蚂蚁GMLake技术成果入选ASPLOS 24，能提高33%可用显存

1月16日消息，近日，从蚂蚁集团获悉，蚂蚁集团和上海交通大学合作的技术成果GMLake被计算机体系结构四大顶级会议之一的ASPLOS 24接收。q3J时刻为您分享日常小知识

q3J时刻为您分享日常小知识

据悉，这篇名为《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果，针对业界普遍存在的大模型训练显存效率问题，提出了一种高效的动态显存组合技术VMS（Virtual Memory Stitching），最高提高33%的GPU可用显存，使显存使用更为高效，进而缓解了“内存墙”问题。q3J时刻为您分享日常小知识

蚂蚁集团和上海交通大学提出了一种高效的动态显存组合技术框架，称为GMLake。该框架采用虚拟、物理两层指针，将碎片化的显存灵活地拼接起来，从而实现了聚零为整。GMLake对典型大模型如GPT、GLM、Vicuna等进行了详细评测，最高扩大了约33%的可用显存，即在80GB的A100 GPU上节省约25GB的显存，训练吞吐提高最多4倍。q3J时刻为您分享日常小知识

据了解，GMLake前已在PyTorch框架上完成集成，对上层模型代码和框架代码完全透明，也就是说模型不需要修改任何代码即可使用。q3J时刻为您分享日常小知识

目前，GMLake的代码已经开源到了GLake项目中。GLake是蚂蚁集团自研的GPU显存+传输优化开源项目，在训练、推理框架底层以及系统层对显存和传输进行一体优化，更好应对“内存墙”和“传输墙”挑战。（一橙）q3J时刻为您分享日常小知识

q3J时刻为您分享日常小知识

q3J时刻为您分享日常小知识

本文系网易科技原创报道，更多新闻资讯和深度解析，关注我们。q3J时刻为您分享日常小知识