AI.x社区

背景随着我们在Dify平台上不断开发新的Agent，我们需要对Agent的能力是否满足预期进行评估。因此，本章内容主要介绍我们设计Agent评测数据集体系思路以及具体实施方案。目标建立一个评估Dify平台上Agent基础能力的评测体系。方案假设我们在Dify平台上开发了一个专利辅助助手Agent，如果我们要对该Agent进行能力评估，那么评估维度大致分为两层：基础能力层基础能力评估层，主要是Agent的通用能力进行评估，大体评估项以及评估指...

aievalsystem这是一个基于OpenCompass的模型评测系统，该系统提供了前端页面UI以方便用户自助开展评测工作。项目地址​​https:github.comdomonic18aievalsystem​​版本发布v0.2：支持API方式进行Dify平台应用的评测优化评测任务创建时的交互过程，包括APIURL等信息的输入、数据集的选择、评测信息的确认优化评测任务页面的显示，区分我的评测和全部评测优化评测任务终止时使用Celery原生方法不稳定的问题服务进行Docker化，方...

背景在《MCP协议简述之MCPserver实战》中，我们实现了一个本地的MCPserver，然后在支持MCP协议的客户端程序(如cursor、cherrystudio)中配置调用了该MCPserver。本章主要探索如何将MCPserver发布为远程服务，使得其他用户可以直接使用MCPserver。回顾问题在上一章，我们在cherrystudio中配置了获取天气的本地mcpserver，关键配置如下：{"mcpServers":{"weather":{"command":"Usersdeadwalk.localbinuv","args":["directory","Use...

背景随着AIAgent在2025年的火爆，与之相关的MCP协议也越来越受到开发者的重视，本文将结合示例深入了解MCP协议的原理架构以及应用方法。(What)MCP协议是什么MCP（ModelContextProtocol）是一种专为AIAgent设计的标准化协议，旨在解决AI模型与外部数据、工具之间的集成难题。其核心定位是成为AI领域的“通用接口”，类似于物理世界中的USBC标准，为不同AI系统提供安全、无缝、可扩展的数据交换能力。(Why)为什么要使用MCP协议MCP...

前言由于使用​​lmevaluationharness​​工具评测时，遇到较多复杂的问题不好处理，例如：连接​​huggingface​​​下载​​tokenizer​​被墙；评测​​API​​​时需要服务器支持​​LogProbs​​等问题源代码较为晦涩难懂，​​Readme​​文档不详细....导致评测工具的使用成本以及体验不佳，因此我们寻求一款国产的、源码可读性高，文档详细的评测工具：OpenCompass。简介OpenCompass是由上海人工智能实验室推出的开源大...

前言由于在Macmini上部署ComfyUI踩了不少坑，所以本章内容将部署过程和注意事项进行了整理记录，以便方便未来的复用。目标目标1：在Macmini上通过ComfyUI+Flux模型，实现文生图片的功能。目标2：将服务整合进Dify平台，实现对模型能力的统一管理。1.本地部署步骤为了实现上述目标1，需要完成以下步骤：下载并安装ComfyUI下载并安装ComfyUIManager下载并安装ComfyUIKJNode下载并配置Flux模型配置文生图片工作流具体操作步骤如下...

前言随着近期DeepsSeek大模型在AI领域的快速崛起，人工智能技术正在快速进化，在这场智能革命的浪潮中，一个关键命题愈发凸显：当大模型能力不断进化时，我们该如何建立与之匹配的评估体系。本文将以2篇论文​​《ASurveyontheEvaluationofLargeLanguageModels》​​​、​​《TRUSTWORTHYLLMS:ASURVEYANDGUIDELINEFOREVALUATINGLARGELANGUAGEMODELS'ALIGNMENT》​​内容作为基础，探讨大模型评价体系的重要性(Why)、评价什么(W...

前言DeepSeek作为国产顶尖大模型，在代码生成和逻辑推理方面表现优异。本文提供三种不同场景下的接入方案，满足从普通用户到开发者的不同需求。当前问题由于访问量激增和网络攻击，官网服务可能出现不稳定。本文提供三种备用接入方案：方法一：使用​​chatbox+硅基流动​​接入云端API使用(适合于普通用户使用)方法二：使用​​Cursor+硅基流动​​接入云端API使用(适合于程序员人群)方法三：使用​​ollama本地化部署​​使用...

前言在众多的GPU云平台中，AutoDL是我们常用的一个。它因为显卡可快速扩展、实例运行稳定、网络连接速度快，深受大家的喜爱。不过其端口映射略微复杂，所以本篇文章，我们将介绍在AutoDL平台上进行模型训练的过程。环境准备1.1创建实例通过查看LLamaFactory的官方文档，我们可以得知，LLamaFactory的运行需要依赖以下环境：必需依赖最低版本推荐版本python3.83.11torch1.13.12.4.0transformers4.41.24.43.4datasets2.16.02.20.0...

前言本文将介绍如何在趋动云平台上使用xinference部署对话模型、向量化模型以及多模态模型。xinference简介xinference官网官网说明：https:inference.readthedocs.iozhcnlatestgettingstartedinstallation.htmlxinference可以部署的模型类别chat对话模型embedding向量化模型rerank模型vlchat多模态模型环境准备选择镜像选择镜像环境安装xinferencexinference支持的引擎有：transformersvllmllama.cppSGlong引擎.....本篇文章，...

前言在上一章课程【​​​使用YOLO进行目标检测​​】，我们了解到目标检测有两种策略，一种是以YOLO为代表的策略：特征提取→切片→分类回归；另外一种是以MTCNN为代表的策略：先图像切片→特征提取→分类和回归。因此，本章内容将深入了解MTCNN模型，包括：MTCNN的模型组成、模型训练过程、模型预测过程等。人脸识别在展开了解MTCNN之前，我们对人脸检测先做一个初步的梳理和了解。人脸识别细分有两种：人脸检测和人脸身份识...

前言本章的学习内容，将以目标检测为切入口，了解目标检测流程，包括：数据标准、模型训练以及模型预测。图片分类vs目标检测通过查看YOLO网站的task目录，我们可以看到：在计算机视觉领域中，常见的任务包括目标检测（detect）、语义分割（segment）、图像分类（classify）、人体姿态估计（pose）、以及有向边界框（OrientedBoundingBox，OBB）等。图像分类（classify）a.输出是图像所属的类别或标签，通常以概率分布的形式（例...

前言在上一章【​​大模型之深入探索RAG流程​​​】中，我们对RAG流程中​​文档读取(LOAD)​​​>​​文档切分(SPLIT)​​​>​​向量化(EMBED)​​​>​​存储(STORE)​​​进行了深入了解，本章将接着深入了解​​解析(Retrieval)​​的使用解析器简介简介：在RAG（RetrievalAugmentedGeneration）流程中，Retrieval（检索）是关键环节，其主要目标是从大量文档或知识库中提取与用户查询相关的信息。目的：信息获取：根据用...

前言在上一章【大模型之初识RAG】中，我们初步了解了RAG的基本概念和原理，并通过代码实践了一个简单的RAG流程。本章我们将基于RAG的基本流程，深入了解​​文档读取(LOAD)​​​、​​文档切分(SPLIT)​​​、​​向量化(EMBED)​​​和​​存储(STORE)​​的每个环节，并结合代码进行常见场景的实践。RAG流程回顾回顾RAG的流程如上所示，具体代码见RAG代码，本章不再赘述。文档读取(LOAD)简介：由于我们的知识广泛存在各类文...

前言通过前几章的学习，我们已经掌握连接一个第三方大模型，使用LangChain与大模型建立交互，并且通过Prompt进行提问，得到相应的回答。本章我们将开始了解RAG（检索增强生成）技术，了解RAG的技术原理以及基本使用方法。RAG概述产生背景随着信息量的急剧增加，单纯依靠模型内置的知识进行生成已无法满足需求，比如：大模型的公共知识都是陈旧的！部分私有的知识大模型没有学习过.....​​RAG​​（检索增强生成）技术的出现是...

前言电影《钢铁侠》中的智能助手J.A.R.V.I.S.是一位得力的助手，它不但有强大的理解能力，而且还具备执行行动的能力。随着技术的不断进步，类似于贾维斯的Agent正在逐步从银幕走进现实。本文将探讨Agent的产生背景，并结合一些代码示例理解Agent。Agent的产生背景一个例子引入Qwen大模型fromutilsimportgetqwenmodelsllm,chat,getqwenmodels()chat.invoke("现在几点了？")运行结果：AIMessage(content'我是一个AI模型，无法实时...

前言在上一章【​​​大模型三阶段训练方法(LLaMaFactory)​​】内容中主要了解一个大模型的训练过程，无论是第三方的大模型还是自研的大模型，都需要部署到服务端，提供对应API接口供上层应用使用。所以，本章将主要了解vLLm+langchain的基本使用方法。大模型应用框架一般来说，大模型应用的整体结构可以划分为几个层次：模型层：功能：负责处理输入数据并生成输出。代表：BERT、GPT、Qwen2等等推理层：功能：将大模型部署到服...

前言本章我们将通过LLaMAFactory具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。大模型训练回顾训练目标训练一个医疗大模型训练过程实施准备训练框架​​LLaMAFactory​​是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过WebUI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。运行环境要求•硬件：GPU：推荐使用24GB显存的显卡或者更高配置...

前言上一章内容我们初步了解了卷积、卷积神经网络、卷积神经网络的搭建过程以及经典的LeNet网络结构，本篇内容将基于LeNet网络结构，实现手势识别。手势识别数据集介绍在开展手势识别之前，我们需要先下载并初步了解数据集的情况。数据下载地址下载地址：手势识别数据集├──train训练集├──G0手势0├──IMG1118.jpg手势0的图片├──...├──G1手势1├──IMG1119.jpg├──...├──...├──G9手势9├──test测试集├...

前言在上一章【​​大模型的三大架构及T5体验​​】中，我们体验了EncoderDecoder架构的T5模型。本章内容，我们将以DecoderOnly架构的Qwen模型入手，了解Qwen模型结构、聊天模板的概念以及通过大模型进行翻译、信息抽取等任务的尝试。模型选择访问ModelScope官网，在模型库搜索​​Qwen2​​。补充说明：Qwen27B是一个通用的Base模型。Qwen27BInstruct是经过监督微调SFT的模型，在处理指令时的表现通常会更好。Qwen模型简介Qwen...