AI.x社区

一、配置与安装我在尝试运行AlpacaLoRA工具给大模型做微调时，发现了准备篇中的一些方法存在问题。经过了反复摸索，有以下几点需要重新配置一下。1.由于https:huggingface.co国内无法访问，需要预先从镜像站：https:hfmirror.com下载好模型文件，而且需要重新选择baffo32decapodaresearchllama7Bhf模型进行微调，因为这是AlpacaLoRA工具的推荐模型，为了提高成功率，本次先选它。2.我们准备用huggingfacehub工具下载模型，先激...

当我们想构建高性能的机器学习和AI系统时，仅仅训练单个模型和系统往往是不够的。通常在开发中需要构建多个模型，使用多种不同的算法，然后将不同的模型相互比较，看看哪个模型最好。此外，在比较过程中还需要“调整”每种不同算法的设置，以使它们以最佳方式（或接近最佳）执行。所以大多数机器学习算法都有“设置”，我们可以称之为超参数，使用超参数是机器学习的重要组成部分。一、什么是超参数在机器学习和人工智能中，超...

在当下流行的各种大模型工具中，LlamaFactory是全球开发者常用的一套工具集，它基于Transformer架构，为我们提供了一套简单、快速而又高效的大模型定制化训练与部署工具，并且它提供了模块化、可扩展和流程化的框架，支持多种主流的大语言模型（如LLaMA、ChatGLM、Qwen等），一站式地集成了数据预处理、训练、微调、评估和推理等多种功能。本篇我们一起来看看LlamaFactory能为我们带来哪些便利。一、核心功能1.多模型支持兼容主...

机器人流程自动化（RoboticProcessAutomation，简称RPA）是一种通过软件机器人来自动化地执行重复性、规则性强、耗时的任务的技术。它模仿人类用户在应用程序界面上的交互行为，如点击鼠标、输入数据、复制粘贴等，从而实现业务流程的自动化处理。那应该如何去理解这项技术呢？下面我们来一窥究竟。一、RPA的特点1.非侵入性：RPA不需要对现有的IT系统、软件或应用程序进行修改或集成。它直接在应用的用户界面层（UI层）进行操作...

在当下流行的几种大模型微调方法中，大家经常会看到谈论SFP与Unsloth的文章，那我们应该如何了解它们？它们的技术特点又有哪些？各自应用在哪些模型微调的场景呢？本篇我们带着这些问题，一起来了解一下。一、SFT微调技术介绍监督微调（SupervisedFinetuning,SFT）是一种迁移学习（TransferLearning）技术，指的是在已经预训练好的模型（例如大语言模型中的GPT、BERT等）基础上，使用带有人工标注标签的监督数据，对模型进行进...

在机器学习领域中，ChainofThought（思维链）技术是一种在大语言模型（LLM）推理任务中非常重要的方法，它诞生的目的是使模型能够像人类一样，通过一系列中间推理步骤来得出最终答案，而不是简单地给出一个直接的答案。这种能力对于提升模型的解释性、可信度和解决复杂问题的能力至关重要，尤其是在涉及逻辑推理、数学计算、问答等需要多步推理的应用场景中。本篇我们一起来了解一下CoT技术。一、什么是思维链技术1.基本概念思...