AI.x社区

最近不少人在聊“大模型蒸馏”，但说实话，很多介绍都太学术、太高深，让人一看就头大。其实这件事背后的逻辑没那么复杂，本质上就是想办法让大模型变得更轻、更快、更好用。我觉得蒸馏不是缩小模型，是提炼能力！一、先说微调，是“教大模型学点你的事儿”现在很多大模型（比如ChatGPT、DeepSeek）都是通用模型，它们懂得挺多，但不一定了解你具体要解决的问题。比如：它没看过你公司内部的数据；它不知道你要的回答格式；它对...

最近很多人在提Agent，有人说它是大模型的下一步，有人说它是通往AGI的路径。但实际上，对于大多数做技术落地的人来说，Agent到底能干什么、适合解决哪些问题、怎么用才合适，反而是更值得关注的。我的观点“先规划，再执行，还能自查”的过程，其实就是Agent的基本思想。Agent是一种思想，不是技术！一、先说最本质的一点：为什么会需要Agent？我们先从现实出发。大模型出来之后，最开始大家用它写点文案、改代码、问点问题，...

现在很多人让大模型调用外部工具，最常见的做法就是FunctionCalling。乍一看，能调起来没问题。但真要接多个服务、跑一个完整流程，FunctionCalling就显得太粗糙了——定义繁琐、结构不统一、模型换一个就得重写一遍。本质上，它解决的只是“能不能调用”，但没解决“怎么标准、高效地调用”。而MCP出现，就是为了解决这个“工程化不成体系”的问题。我认为FunctionCalling更像是“你教模型怎么用某个函数”；而MCP，是“你把这...

很多人想部署大模型，比如GLM、ChatGLM、DeepSeek、MiniCPM，一到实际部署就开始发愁：到底要不要3090？用A10行不行？这个模型说自己是7B，我电脑够吗？为啥有的说13G能跑，有的一跑就爆显存？其实这些都不是玄学，只要你搞清楚：模型有多大、怎么压缩、你准备怎么用，机器需求是能算出来的。给大家一个计算显存的公式：显存≈参数量×精度字节数×1.52（考虑运行中额外占用）一、先把问题拆开：我们到底要算啥？按照Agent的思...