
回复
腾讯HunYuan又开源了4个端侧小模型0.5B、1.8B、4B、7B,共4个尺寸,主打轻量端侧。
Hunyuan-0.5B:https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
Hunyuan-1.8B:https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
Hunyuan-4B:https://huggingface.co/tencent/Hunyuan-4B-Instruct
Hunyuan-7B:https://huggingface.co/tencent/Hunyuan-7B-Instruct
HunYuan也开始走全系列开源的路子了,是不是跟Qwen干上了呀!
我是真没想到,腾讯也开始大规模开源了,一直以为会坚持仅开源超大参数模型,现在也下次卷端侧了,开源社区热闹起来了呀!
说回来,
本次开源的模型是有Base和Instruct,Instruct为混合推理模型,通过/no_think 和 /think 可以强制控制输出是否思考,上下文窗口长度256K,注意力采用GQA。
专门在tool use 和 agent 上做了优化,可以做深度搜索、excel 操作、旅行攻略规划等任务。
然后还跟Qwen拼上了服务,都知道每次Qwen开源,都是配套一系列东西,比如vllm、sglang、模型训练、量化等等。
我一看HunYuan这次的Github和HF里面,README啥都有,训练、推理、量化、docker部署,应有尽有,让我有点不认识了~
可能是因为太急了,混元提交的代码transformers还在审核,所以使用时,需要按照对应的transformers包。
pip install git+https://github.com/huggingface/transformers@4970b23cedaf745f963779b4eae68da281e8c6ca
最后榜单效果,榜单上7B跟Qwen3持平,4B、1.8B效果要更好,agent榜单BFCL-v3、τ-Bench、C3-Bench上看起来都不错。
不知道实测怎么样,要试一试啦!
本文转载自NLP工作站,作者:NLP工作站