特定条件下,LoRA可以媲美全量微调 | 十个要点
ThinkingMachines,一家成立不久便震惊硅谷的AI公司。它由前OpenAICTOMira和联合创始人JohnSchulman共同创立,团队汇集了大量来自OpenAI的核心人才。他们继承了80年代传奇AI超算公司“ThinkingMachines”之名,志在进行最根本、最前沿的AI探索。来自ThinkingMachines的最新研究《LoRAWithoutRegret》深入探讨了参数高效微调(PEFT)的领先方法——低秩适应(LoRA),并得出结论:在特定条件下,LoRA的性能可以完全媲美甚至超越...