融汇11款AI工具构建完美应用

译文 精选
人工智能 开源
本文将为您介绍25个开源项目,分为上下两篇以便您融汇它们来制作自己的AI应用。人工智能(AI)应用在近年来得到了长足的发展。从语音助手到软件开发,人工智能已在我们的生活中无处不在,并得到了广泛应用。

想了解更多AIGC的内容,请访问:

51CTO AI.x社区

https://www.51cto.com/aigc/

如您所见,人工智能(AI)应用在近年来得到了长足的发展。从语音助手到软件开发,人工智能已在我们的生活中无处不在,并得到了广泛应用。下面,我将为您介绍25个开源项目,您可以用它们来制作自己的人工智能应用程序,并使其更上一层楼。

1.Taipy -将数据和人工智能算法转化为可投入生产网络的应用

作为一个开源的Python库,Taipy(https://github.com/Avaiga/taipy)提供了假设分析、智能管道执行、内置调度和部署工具等功能,可用于轻松地进行端到端的应用开发。例如,它可以为基于Python的应用,创建图形化的用户界面,并改进数据流的管理。同时,您可以用其绘制数据集的图表,并使用类似图形化用户界面的滑块,让用户可以选择使用其他实用的功能,来处理数据。

在不牺牲性能的情况下,Taipy提供了友好的用户界面、高效的数据处理能力、以及良好的易用性。您只需通过命令:pip install taipy,来完成安装。同时,Taipy也能利用各种代码库,来简化开发并增强功能。

目前,Taipy发布了最新版本为v3.1(https://docs.taipy.io/en/latest/relnotes/)。该版本的多功能部件对象实现了HTML或Python对象的可视化。这意味着Folium(https://python-visualization.github.io/folium/latest/)、Bokeh(https://bokeh.org/)、Vega-Altair(https://altair-viz.github.io/)和Matplotlib(https://matplotlib.org/)等代码库现在都可以被用于可视化。同时,它提供了对Plotly Python(https://plotly.com/python/)的原生支持,使得绘制图表变得更容易。

在利用分布式计算提高性能的同时,Taipy及其所有依赖项都能与Python 3.12完全兼容,以便用户在Taipy的项目中使用最新的工具和代码库。请阅读文档-- https://docs.taipy.io/en/latest/,以获得更多介绍。

下图展示的是其聊天界面(https://docs.taipy.io/en/release-3.1/gallery/llm/5_chatbot/)。该演示使用了OpenAI的GPT-4 API,生成对消息的回复。您可以通过更改代码,以使用其他的API或模型。

下图展示的是由Taipy团队提供的、可用于加速Taipy应用构建的、另一个名为Taipy Studio(https://docs.taipy.io/en/latest/manuals/studio/)的VSCode扩展功能。

当然,您也可以为自己的应用选用Taipy的云部署。如果您想了解其代码库结构,可以阅读HuggingFace的《使用Taipy创建Python语言的大模型Web界面(https://huggingface.co/blog/Alex1337/create-a-web-interface-for-your-llm-in-python)》一文。

在教程资源方面,Taipy提供了10多个带有代码和文档的演示教程,可供您学习。例如:

  • Covid仪表板(https://covid-dashboard.taipy.cloud/Country)
  • Tweet的生成(https://tweet-generation.taipy.cloud/)
  • 数据可视化(https://production-planning.taipy.cloud/Data-Visualization)
  • 实时人脸识别(https://face-recognition.taipy.cloud/)

目前,Taipy的v3版在GitHub上有七千多颗星,且在不断改进中。

2.Supabase - Firebase的开源替代品

要构建人工智能应用,您往往需要一个后台,而Supabase(https://github.com/supabase/supabase)正是可以满足此需求的优秀后台服务提供商。

通过参考相关文档(https://supabase.com/docs),您可以从如下npm命令(Next.js)开始安装Supabase:

npx create-next-app -e with-supabase

如下代码段则展示了如何进行CRUD操作:

import { createClient } from '@supabase/supabase-js'

// Initialize 
const supabaseUrl = 'https://chat-room.supabase.co'
const supabaseKey = 'public-anon-key'
const supabase = createClient(supabaseUrl, supabaseKey)

// Create a new chat room
const newRoom = await supabase
  .from('rooms')
  .insert({ name: 'Supabase Fan Club', public: true })

// Get public rooms and their messages
const publicRooms = await supabase
  .from('rooms')
  .select(`
    name,
    messages ( text )
  `)
  .eq('public', true)

// Update multiple users
const updatedUsers = await supabase
  .from('users')
  .eq('account_type', 'paid')
  .update({ highlight_color: 'gold' })

您可以利用Supabase的Auth、realtime、Edge函数、以及存储等功能,来构建一个超快的应用。同时,Supabase也提供了多个启动工具包,如:带有LangChain的Next.js(https://github.com/langchain-ai/langchain-nextjs-template)、带有Next.js的Stripe(https://github.com/vercel/nextjs-subscription-payments)、以及AI聊天机器人(https://github.com/supabase-community/vercel-ai-chatbot)。

目前,Supabase在GitHub上有六万三千多颗星,以及大量贡献者。而且,他们的提交次数达两万七千多次。

3.Chatwoot -即时聊天、电子邮件支持、全方位渠道服务台,并拥有自己的数据

Chatwoot(https://github.com/chatwoot/chatwoot)可与电子邮件、网站即时聊天、Facebook、Twitter、WhatsApp、Instagram以及Line等常用客户沟通渠道连接,以实现一站式多社交应用的客户体验。如下图所示,这对于想围绕着某个人工智能应用来建立用户社区的需求,显得十分必要。

您可以通过阅读文档(https://www.chatwoot.com/docs/product),了解各种集成选项,从而更轻松地管理整个生态系统。其文档非常详细,每个集成都有相应的快照示例,例如:WhatsApp频道就带有WhatsApp Cloud API。因此,您可以按需将其一键部署到Heroku或自行托管。

目前,Chatwoot发布的是v3.6版,在GitHub上拥有一万八千多颗星。

4.CopilotKit -在数小时内为您的产品提供AI Copilot

CopilotKit(https://github.com/CopilotKit/CopilotKit)可以让我们使用两个React组件,将各种关键性的人工智能功能集成到React应用中。同时,它也提供了内置(但完全可定制)的Copilot原生用户体验组件,如:<CopilotKit />、<CopilotPopup />、<CopilotSidebar/>、以及<CopilotTextarea/>等。

通过阅读相关文档(https://docs.copilotkit.ai/getting-started/quickstart-textarea),您可以从使用如下npm命令开始安装Copilot:

npm i @copilotkit/react-core @copilotkit/react-ui @copilotkit/react-textarea

下面的代码段展示了如何集成CopilotTextArea的方法。

import { CopilotTextarea } from "@copilotkit/react-textarea";
import { useState } from "react";

export function SomeReactComponent() {
  const [text, setText] = useState("");

  return (
    <>
      <CopilotTextarea
        className="px-4 py-4"
        value={text}
        onValueChange={(value: string) => setText(value)}
        placeholder="What are your plans for your vacation?"
        autosuggestionsConfig={{
          textareaPurpose: "Travel notes from the user's previous vacations. Likely written in a colloquial style, but adjust as needed.",
          chatApiConfigs: {
            suggestionsApiConfig: {
              forwardedParams: {
                max_tokens: 20,
                stop: [".", "?", "!"],
              },
            },
          },
        }}
      />
    </>
  );
}

通过上述方法,您可以在几分钟内构建出AI聊天机器人,以用于基于LLM的全栈应用。

5.DALL-E Mini -根据文本提示生成图像

OpenAI的第一个令人印象深刻的图像生成模型是DALL-E。DALL-E mini应母公司的要求更名为Craiyon。而Craiyon/DALL-E mini则试图利用开源模型重现其成果。如下图所示,您可以在Craiyon(https://www.craiyon.com/)上使用该模型。

参考相关文档(https://github.com/borisdayma/dalle-mini?tab=readme-ov-file#development),您可以用如下命令(用于开发)开始安装DALL-E Mini:

pip install dalle-mini

通过阅读DALL-E Mini的相关说明(https://wandb.ai/dalle-mini/dalle-mini/reports/DALL-E-Mini-Explained-with-Demo--Vmlldzo4NjIxODA),您也可以了解有关其数据集、架构和算法等更多信息。当然,《最佳人工智能图像和提示终极指南(https://www.craiyon.com/blog/ultimate-guide-best-ai-art-photorealistic-images-and-prompts)》,也值得您参考。

目前,DALL-E Mini的v0.1版本在GitHub上有一万四千多颗星。

6.Deepgram -为应用构建语音人工智能

无论是初创公司还是美国国家航空航天局(NASA),它们每天都在使用Deepgram(https://github.com/deepgram)的API以快速、准确、可扩展且经济高效的方式,转录和理解数百万分钟的音频。同时,Deepgram能为开发人员提供语音到文本和音频的智能模型。

由Deepgram的官方介绍文档可知(https://developers.deepgram.com/docs/introduction),它提供了免费和可视化两种模型。其免费层面完全能够满足您的基本使用。而可视化是上面一层,您可以查看实时的流媒体响应或音频文件,并比较音频的智能化水平。

您还可以阅读Deepgram的博客示例(https://deepgram.com/learn/how-to-add-speech-recognition-to-your-react-project),以获悉如何在React和Node.js项目中添加语音识别功能。

如果您想亲自体验Deepgram API的灵活性,请访问它们的API Playground(https://playground.deepgram.com/?smart_format=true&language=en&model=nova-2)。

7.InvokeAI -稳定扩散模型的领先创意引擎

作为Stable Diffusion的实现,InvokeAI(https://github.com/invoke-ai/InvokeAI)是一种开源的文本到图像、以及图像到图像的生成器。它提供了业界领先的WebUI,并通过CLI支持终端的使用,可谓多种商业产品的基础。

InvokeAI既能够在Windows、Mac和Linux机器上运行,也可以在仅有4 GB内存的GPU显卡上运行。您可以阅读其有关硬件要求(https://invoke-ai.github.io/InvokeAI/installation/INSTALLATION/),如何安装不同的模型(https://invoke-ai.github.io/InvokeAI/installation/050_INSTALLING_MODELS/),以及重要的自动安装信息(https://invoke-ai.github.io/InvokeAI/installation/010_INSTALL_AUTOMATED/)。

正如其文档(https://invoke-ai.github.io/InvokeAI/features/IMG2IMG/)所述,InvokeAI还能够使用其他图像来生成新的图像。

目前,InvokeAI在GitHub上有将近两万一千多颗星。

8.OpenAI- 您需要的一切

OpenAI(https://github.com/openai)已被全世界所知晓。通过OpenAI,您可以使用DALL-E来根据文字描述,创建原始、逼真的图像,使用Whisper实现语音识别模型。

如下代码段所示,您可以从一个简单的API开始构建。

completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What are some famous astronomical observatories?"}
  ]
)

当然,其文档链接-- https://platform.openai.com/docs/introduction提供了更多可构建的选项。

如上图所示,您可以创建助理应用(https://platform.openai.com/docs/assistants/overview)程序并查看API playground(https://platform.openai.com/playground/p/default-chat?model=text-davinci-003),以便更好地了解它。

9.DeepFaceLab -用于创建Deepfakes的领先软件

DeepFaceLab(https://github.com/iperov/DeepFaceLab)是一款实现深度伪造(Deepfakes)的顶级开源工具。此处的深度伪造是利用深度学习来篡改图像和视频的技术。它们经常被用来在图片或短片中调换人脸,有时是为了开玩笑,但有时是为了欺诈。

如上图所示,作为一款使用Python构建的深度伪造工具,DeepFaceLab可以改变媒体中的人脸,消除皱纹和衰老的痕迹,甚至可以操纵嘴唇的动作。

您既可以使用其基础教程来了解如何有效地使用DeepFaceLab(https://www.youtube.com/watch?v=kOIMXt8KK8M),也可以通过链接观看DeepLab算法的使用视频(https://www.youtube.com/channel/UCGf4OlX_aTt8DlrgiH3jN3g/videos)。

遗憾的是,在DeepFaceLab中并没有“使一切正常”的按钮。不过,您可以通过学习其工作流程,以满足自己的特定需求。而且,由于教程众多、算法可靠,因此它已是人工智能应用领域的可靠选择。

截止2023年11月9日,DeepFaceLab已在GitHub上拥有近四万四千颗星。

10.Detectron2 -基于PyTorch的模块化对象检测库

作为Facebook AI Research的下一代代码库,Detectron2支持Facebook上的多个计算机视觉研究项目和生产应用。它是 Detectron和maskrcnn-benchmark的后续产品,因此提供了最先进的物体检测和分割算法模型。同时,Detectron2也能适应不断发展的前沿研究领域。

通过链接--https://www.youtube.com/watch?v=eUSgtfK4ivk,您可以了解如何利用机器学习来使用Detectron2。同时,Detectron2配备了如:DensePose和全景特征金字塔网络(panoptic feature pyramid networks)等先进的物体检测算法。据此,Detectron2能够进行语义分割和全景分割,这有助于更准确地检测和分割图像和视频中的物体。

此外,Detectron2不仅支持使用边界框和实例分割掩码进行物体检测,还能够预测人物的姿势,这一点与Detectron比较相似。

目前,Detectron2在GitHub代码库中有两万八千多颗星,而且在GitHub上被一万六千多名开发人员所使用。

11.FastAI -深度学习库

作为一个多功能深度学习库,Fastai(https://github.com/fastai/fastai)为从业人员提供了高级组件,使他们能够在常见的深度学习任务中快速获得一流的结果。同时,它也为研究人员提供了低级组件,以便他们进行实验和开发新的方法。

该架构利用Python的动态特性和PyTorch的灵活性,将复杂的深度学习技术分解为易于管理的抽象概念。如下图所示,它建立在提供可组合构件的低级API的层次结构之上。据此,如果用户想重写部分高级API或添加特定行为,以满足自己的需求,就不必学习如何使用最底层的API了。

在安装了pyTorch后,您可以通过参考其文档(https://docs.fast.ai/),使用以下命令以开始FastAI的相关操作。

conda install -c fastai fastai

FastAI分别为初学者、中级和专家提供了不同的教程(https://docs.fast.ai/tutorial.html)。当然,如果您想为FastAI作出贡献的话,请事先阅读他们的代码风格指南(https://docs.fast.ai/dev/style.html)。

目前,FastAI在GitHub上拥有两万五千多颗星,且已被GitHub上的一万六千多名开发人员所使用。

下篇:融汇14个AI工具构建完美应用

译者介绍

陈峻(Julian Chen),51CTO社区编辑,具有十多年的IT项目实施经验,善于对内外部资源与风险实施管控,专注传播网络与信息安全知识与经验。

原文标题:All the tools I need to build a perfect AI app. ,作者:Anmol Baranwal

链接:https://dev.to/taipy/all-the-tools-i-need-to-build-a-perfect-ai-app-2oeh

想了解更多AIGC的内容,请访问:

51CTO AI.x社区

https://www.51cto.com/aigc/

责任编辑:姜华 来源: 51CTO内容精选
相关推荐

2024-04-24 09:21:20

2023-06-19 09:01:17

2023-09-15 08:00:20

2012-12-25 16:51:27

金融展惠普

2016-08-08 10:47:00

编码移动应用电子商务

2020-08-24 11:48:49

人工智能

2023-07-24 11:03:32

微软Azure

2022-03-28 15:51:45

Linuxtop 命令

2024-04-22 15:00:00

AIAI辅助编程工具开发

2023-06-27 16:51:37

人工智能工具

2021-08-07 09:30:40

Kubernetes容器

2020-01-29 19:34:57

工具黑客语音合成

2023-07-31 18:44:40

2021-12-24 11:50:57

渗透测试工具安全工具 防御系统

2020-10-26 09:53:44

Dropbox攻击网络安全

2023-09-11 16:36:50

谷歌机器学习

2023-09-20 13:59:44

AI工具

2020-10-23 10:36:08

Dropbox

2017-09-26 11:25:00

AI
点赞
收藏

51CTO技术栈公众号