AI.x社区

论文名：用于小样本对话意图分类的动态标签名称优化；2025ACL主会场的短篇论文arxiv链接：https:arxiv.orgabs2412.15603短篇论文在提交review的时候，只需要写4页，看完这篇论文我觉得4页纸就可以把思想表达清楚了。使用大模型针对文本做分类的时候，需要给大模型输入文本与候选类别标签。大模型需要把文本与候选的标签名称对应起来。如果标签名称并不能很好的代表这个类别的含义，那么大模型在做自然语言推理的时候，效果就会...

简介介绍了如何使用​​LangGraph​​搭建一个基于聊天机器人的工作流，具体实现了一个虚拟女友的角色扮演游戏。通过流程图展示了构建完成的状态图，并介绍了各个节点的功能，如接收用户输入、生成对话等。提供了是否使用历史聊天记录的方法，让虚拟女友记住用户之前的对话，还是忘记。通过此项目，读者可以学习如何使用​​langgraph​​中实现类似的工作流搭建。背景使用一个聊天机器人，记录一下​​LangGraph​​​的使用。...

在微调阿里巴巴的开源大模型Qwen2.57BInstruct时，我意外发现了一个令人震惊的现象：原本明确标识自己为“千问”的模型，在经过短时间微调后，居然声称自己是Anthropic的模型Claude。一个阿里推出的模型在微调后却自称为Anthropic的产品，确实让人感到意外和疑惑。千问与Claude介绍Qwen（中文名：千问）是阿里巴巴推出的大语言模型，具有强大的多模态处理能力和指令跟随能力，被广泛用于各类生成任务。而Claude则是由Anthropic...

任务介绍本文使用一个简单的数据集，展示大模型预训练与有监督微调过程。无论是大模型的预训练还是有监督微调，其损失值的计算过程都是与下一个要预测的词计算损失。预训练损失值的计算，即从第一个字开始每个字都与下一个字计算损失；有监督微调与预训练唯一不同的点，便是不对指令与用户的输入文本计算损失，实际操作就是把用户输入文本在训练过程中遮罩掉，把对应的label的值设置为100。这是因为不希望大模型学会，如何生成...

在使用大模型处理多跳问题（multihopquestion）时，我们常常面临一个挑战：原始问题可能不够具体或缺乏关键实体信息，导致语义搜索系统难以准确检索到相关答案。为了解决这个问题，现在大家常使用问题改写，获取深层次的知识。下述是一套有效的问题改写提示词（prompt），专门用于“问题改写”阶段，帮助模型生成更清晰、更具实体导向的新问题。这套提示词经过实际测试，效果不错。实验效果qwen2.57B作为问题改写的大模型。在ho...

论文阅读该论文提出了一种知识图谱提示（KGP）方法，以构建正确的上下文来提示LLMs进行MDQA，该方法包括一个图构建模块和一个图遍历模块。在图构建方面，创建了一个跨越多文档的知识图谱（KG），边表示段落或文档结构之间的语义词汇相似性。在图遍历方面，我们设计了一个基于LLMs的图遍历代理，该代理在节点间导航并收集支持性段落，以帮助LLMs进行MDQA。所构建的图作为全局规则器，调节段落之间的过渡空间并减少检索延迟。同时...

简介本文使用简单的提示词，可以在大部分场景中实现针对某开源模型的安全策略绕过。glm49bchat的安全措施还有待完善。上一代的6b比这一代的9B，要安全；上一代的6B大模型这一招没有用。正常对话在下述正常互动环节中，开源大模型会拒绝回答用户提出的不恰当问题。除了骂人，也可以做你能想到的其他事情，此处不做演示。所以你应该能够猜到有多危险了⚠️。绕过安全策略提示词如下图所示，使用简单的几句提示词，即可实现轻松绕...

背景在理解与学会了NaiveRAG的框架流程后，就很自然地关注到embedding模型，与问题相关的文本召回，也有很多论文在做这方面的创新。以前一直不知道embedding模型是如何微调出来的，一直听说是微调BERT，但是不知道是怎么微调出来的。直到在B站上看到bge模型微调的视频[参考资料4]才理解。于是便想着自己也微调出一个embedding模型。涉及到下面三个阶段：数据集制作模型训练评估微调实战安装包pipinstallUFlagEmbedding[finetune...

简介使用协程调用DeepSeek的API，发现效果并不明显，没有加速的效果。但如是本地部署DeepSeek，本地部署需要支持异步调用，我使用llamafactory部署，发现协程加速的效果还是很显著的。代码实战调用官方APIDeepSeek官方文档https:apidocs.deepseek.comzhcnpython的调用代码如下，该调用方式为同步调用速度很慢。PleaseinstallOpenAISDKfirst:pip3installopenaifromopenaiimportOpenAIclientOpenAI(apikey"<DeepSeekAPIKey>",base...

开源地址：​​​https:github.comJieShenAIcsdntreemain2502SFT​​​​​train.ipynb​​​：模型有监督微调的代码​​infer.ipynb​​:模型训练完成后，进行推理的代码\{'instruct':'请你给敖丙写一首诗：','input':'碧海生龙子，云中舞雪霜。','label':'恩仇难两忘，何处是家乡？'}预训练与有监督微调对比两者的训练数据，大部分都一模一样，维度在label部分，SFT需要把指令部分的label设置为100。importjsonfromtypingimpo...

开源地址：​​​https:github.comJieShenAIcsdntreemain2502SFT​​​​​train.ipynb​​​：模型有监督微调的代码​​infer.ipynb​​:模型训练完成后，进行推理的代码\\{'instruct':'请你给敖丙写一首诗：','input':'碧海生龙子，云中舞雪霜。','label':'恩仇难两忘，何处是家乡？'}预训练与有监督微调对比两者的训练数据，大部分都一模一样，维度在label部分，SFT需要把指令部分的label设置为100。importjsonfromtypingimp...

文本相似计算介绍有一些工作需要评估出两个字符串之间的相似程度。比如，要评估大模型生成的结果，与预设定的答案之间的相似程度。本文介绍三类方法用于评估两个字符串的相似程度：规则、向量、大模型裁判。规则：基于字符ngram的相似计算，常用算法，ROUGE、BLEU;向量：使用热门的嵌入模型(Jina)，把字符串编码为向量，计算两个向量之间的相似度；大模型裁判：使用大模型评估两个字符串之间的相关性；摘要介绍了三种方法，评估...

文本相似计算介绍有一些工作需要评估出两个字符串之间的相似程度。比如，要评估大模型生成的结果，与预设定的答案之间的相似程度。本文介绍三类方法用于评估两个字符串的相似程度：规则、向量、大模型裁判。规则：基于字符ngram的相似计算，常用算法，ROUGE、BLEU;向量：使用热门的嵌入模型(Jina)，把字符串编码为向量，计算两个向量之间的相似度；大模型裁判：使用大模型评估两个字符串之间的相关性；摘要介绍了三种方法，评估...

介绍使用LlamaFactory结合开源大语言模型实现文本分类：从数据集构建到LoRA微调与推理评估.https:blog.csdn.netsjxgghgarticledetails144290200在前一篇文章的文本分类评估中，已经介绍了主要的框架，故在大模型微调的流程框架方面本文不再赘述。实体数据集格式下述是实体识别评估的一条数据示例：{"prompt":"从以下政府文本中，提取指定的实体类别，并按照JSON格式输出结果。xxx","predict":"\njson\n{\n\"行政区划和地理实体\...

介绍时隔已久的llamafactory系列教程更新了。本篇文章是第七篇，之前的六篇，大家酌情选看即可。因为llamafactory进行了更新，我前面几篇文章的实现部分，都不能直接用了。我将为大家介绍如何使用llamafactoryLora微调模型、部署模型、使用python调用API。llamafactory安装首先建议大家阅读一遍两份不错的文章：官方readme:https:github.comhiyougaLLaMAFactoryblobv0.9.1READMEzh.md官方推荐的知乎教程：https:zhuanlan.zhihu....

如果你关心前面的深度学习二分类的实战代码，可以参考下述官方的技术文档：使用TrainerAPI微调模型.https:huggingface.colearnnlpcoursezhCNchapter33如果你刚接触自然语言处理，huggingface是你绕不过去的坎。但是目前它已经被墙了，相信读者的实力，自行解决吧。设置代理，如果不设置的话，那么huggingface的包无法下载；importosos.environ['HTTPPROXY']'http:127.0.0.1:7890'os.environ['HTTPSPROXY']'http:127.0.0.1:7890'...

背景介绍本文将一步一步地，介绍如何使用llamafactory框架利用开源大语言模型完成文本分类的实验，以LoRA微调qwenQwen2.57BInstruct为例。文本分类数据集按照alpaca样式构建数据集，并在将其添加到LLaMAFactorydatadatasetinfo.json文件中。如此方便直接根据自定义数据集的名字，获取到数据集的数据。[{"instruction":"","input":"请将以下文本分类到一个最符合的类别中。以下是类别及其定义：\n\n要求}}\nreason:\nlabel:","ou...