AI.x社区

随着当前各种编程​​Agent​​​，​​MCP​​​的层出不穷，大模型的正在加速进化，于是又开始探索，不过这次的目标是用​​golang​​​实现​​JavaScript​​引擎（目标是完成ES5.1的全部功能）。1.回顾JS编译器的实现过程如上是总结的​​V8​​大体的实现方式，编程语言的实现已经经历了几十年的发展，包括V8，Lua等语言基本都采用类似实现步骤：词法分析语法分析语义解析和优化虚拟机通过JIT实现性能优化...2.如何选择...

在早期的图像分类中，通常流程是先人工提取特征，然后用对应的机器学习算法对特征进行分类，分类的准确率一般依赖特征选取的方法，甚至依赖经验主义。YannLeCun最早提出将卷积神经网络应用到图像识别领域的，其主要逻辑是使用卷积神经网络提取图像特征，并对图像所属类别进行预测，通过训练数据不断调整网络参数，最终形成一套能自动提取图像特征并对这些特征进行分类的网络，如图：图像处理1、卷积神经网络卷积神经网络（Convo...

为了探索和改进AI工具在编程方面的体验，同时也想验证一些AI的边界，于是又想到了尝试从0实现高性能JSON解析器，说干就干。开始以为比较简单，不会超过半天就能实现，但是经过各种提示词优化，最终花了两天时间...1.选用工具现在有各种AICopilot，比较常用的Cursor，Windsurf，Trae等，不过我现在用的比较顺手的是：Windsurf。除了编程工具，然后就是模型，目前代码领域比较强的：Claude3.7Sonnet和Claude3.7SonnetThinkingGPT4...

最近MCP这么火，了解了一段时间也该写篇总结，那就开始吧。1.什么是MCPMCP（ModelContextProtocol，模型上下文协议），2024年11月底，由Anthropic推出的一种开放标准，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。官网的介绍：https:modelcontextprotocol.iointroductionMCP包括几个核心功能：Resources是允许服务器公开可由客户端读取并用作LLM交互上下文的数据和内容，包括文件内容，数据库，API，图片等...

1.LanceDB介绍LanceDB是一个开源的用Rust实现的向量数据库（https:github.comlancedblancedb），它的主要特点是：提供单机服务，可以直接嵌入到应用程序中支持多种向量索引算法，包括Flat、HNSW、IVF等。支持全文检索，包括BM25、TFIDF等。支持多种向量相似度算法，包括Cosine、L2等。与Arrow生态系统紧密集成，允许通过SIMD和GPU加速在共享内存中实现真正的零拷贝访问。2.LanceDB安装pipinstalllancedb预览版本：pipinstallpre...

我们在写Prompt可能经常遇到不准确或者无法获得外部知识，因此本文讲述CoT和ReAct如何运作并提高大语言模型准确性。第一部分：CoT（思维链）1、什么是CoT通用的Prompt：问题：Roger有5个网球。他买了2罐网球。每罐有3个网球。他现在有多少个网球？答案：答案是11个。问题：自助餐厅有23个苹果。如果他们用了20个来做午餐，又买了6个，他们现在有多少个苹果？输出答案：答案是29个。CoT的Prompt：问题：Roger有5个网球。他买了2...

前面一篇文章介绍了​​《从0开发大模型之DeepSeek的GRPO》​​，并且实现了一个简单版本的GRPO​代码，不过从工程领域来看，并没有复现DeepSeekR1，于是最近申请了48G的显存，结合一些开源的方案复现ahamonent，并给出完整的代码和工具链。1、什么是ahamonentDeepSeekR1论文中提到，模型让作者「见证了强化学习的力量和美感」，在DeepSeekR1Zero的中间版本，「顿悟时刻」来了：模型学会了以人类的语气进行反思。ahamonent2、使...

最近在看一篇github上大佬的文章，从0开始训练llama3，觉得对于《从0开发大模型》有点帮助，于是翻译一下，发现其中很多内容当前系列文章的知识点相似。原文：https:github.comnaklechallama3fromscratch其中metallamaMetaLlama38B文件地址：https:huggingface.cometallamaMetaLlama38Btreemainoriginal1、Tokenizer原始代码没有实现tokenizer，而是使用llama3的tokenizer.model，实现代码如下：执行：pipinstallblobfile执行：...

最近，DeepSeekR1的发布为国产大模型争光了（太强了），不过GRPO算法源自DeepSeekMath7B模型，该模型在MATH基准测试中取得了优异成绩，论文发表于2024年2月份：https:huggingface.copapers2402.03300，以下是该论文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

1、为什么需要DPORafailov等人在2023年发表了一篇论文《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，该论文提出了一种新的训练方法，称为直接偏好优化（DPO），该论文介绍：虽然大规模无监督语言模型(LM)可以学习广泛的世界知识和一些推理技能，但由于其训练完全无监督，因此很难精确控制其行为。现有的获得这种可控性的方法是收集模型生成相对质量的人类标签，并微调无监督语言模型以符合这些偏...

1、什么是位置编码在语言中，一句话是由词组成的，词与词之间是有顺序的，如果顺序乱了或者重排，其实整个句子的意思就变了，所以词与词之间是有顺序的。在循环神经网络中，序列与序列之间也是有顺序的，所以循环神经网络中，序列与序列之间也是有顺序的，不需要处理这种问题。但是在Transformer中，每个词是独立的，所以需要将词的位置信息添加到模型中，让模型维护顺序关系。位置编码位置编码就是将helloworld!的token和位置...