综合头条

当前位置/ 首页/ 综合头条/ 正文

新的LLM极限压缩方法将AI部署成本降低8倍

导读 36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法...

36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法,AQLM和PV-Tuning,将模型大小减少多达8倍,同时保留95%的响应质量。据介绍,新方法将设备成本降低最多8倍,大幅降低AI部署的进入门槛。

来源:36氪