HiMarket 正式开源，企业级开发者真正需要的 AI 中台 原创

随着 AI 应用在企业落地越来越多，开发者在落地 AI 应用时会遇到以下6方面的困难：

1. AI 能力接入与管理

• 能力目录分散：企业内部的 AI 能力（比如：大模型、Agent、工具等）分散在不同部门和系统中，没有统一的管理和发现机制，导致开发者难以快速找到和使用所需的 AI 能力。
• 上架流程不一致：不同 AI 能力的上架和接入流程各不相同，缺乏标准化的流程和接口，增加了开发者的接入成本和时间。
• 权限与配额管理复杂：企业内部不同角色（比如：开发者、运营、安全等）对 AI 能力的使用权限和配额需求不同，但缺乏统一的权限管理和配额分配机制，导致管理混乱和资源浪费。

2. 开发与协作

• 多角色协作困难：AI 应用开发涉及多个角色（比如：工具提供方、Agent 开发者、安全合规人员、财务运营人员等），但缺乏有效的协作平台和工具，导致沟通成本高、协作效率低。
• 开发者体验不佳：缺乏友好的开发者门户和工具支持，开发者在注册、创建应用、获取凭证、订阅服务、测试和监控调用状态等方面体验不佳，影响开发效率和积极性。

3. 安全与合规

• 内容安全难以落实：AI 应用中涉及大量文本、图像等数据的处理，但缺乏统一的内容安全策略和检测机制，难以防止敏感信息（比如：客户信息、财务数据等）通过 Prompt 被无意或恶意地发送给外部模型，存在数据泄露风险。
• 安全治理复杂：企业需要在每个独立的工具服务上重复实现和维护复杂的安全逻辑，比如：认证鉴权、速率限制、审计日志等，增加了安全治理的复杂性和成本。

4. 运营与成本控制

• 成本计量与分摊困难：AI 应用的调用成本（比如：Token 消耗、计算资源等）难以精确计量和分摊到各个业务部门或应用，导致成本控制困难，无法为预算分配和内部结算提供准确的数据支持。
• 资源复用率低：缺乏有效的资源复用机制，比如：语义化缓存，导致高频、相似问题重复调用模型，增加了模型调用成本，降低了响应速度。

5. 可观测性与监控

• 缺乏统一的可观测性：企业内部的 AI 应用涉及多个系统和组件，但缺乏统一的可观测性工具，难以实时监控和分析 AI 应用的性能、调用状态、成功率等关键指标，影响故障排查和性能优化。
• 数据孤岛问题：不同系统和组件的数据难以整合和共享，导致开发者和运营人员难以全面了解AI应用的运行情况，影响决策和优化。

6. 生态构建与扩展

• 生态构建困难：企业希望构建一个开放的 AI 生态系统，吸引外部开发者和合作伙伴，但缺乏有效的平台和工具来支持生态的构建和扩展，难以形成良好的开发者社区和合作伙伴关系。
• 扩展性不足：现有的 AI 应用开发平台和工具扩展性不足，难以满足企业不断增长的业务需求和 AI 能力的快速迭代，限制了企业的创新和发展。

总之，开发者在开发企业 AI 应用时，面临的主要困难包括 AI 能力的接入与管理、开发与协作、安全与合规、运营与成本控制、可观测性与监控以及生态构建与扩展等方面。这些问题不仅增加了开发成本和时间，还影响了企业的 AI 应用落地和生态构建。

HiMarket 正是为了解决这些问题而设计的，通过提供一个企业级的 AI 中台，帮助企业高效地管理和运营 AI 能力，提升开发者的体验和效率，确保安全合规，优化成本控制，并促进生态的构建和扩展。

下文我们详细剖析之。

一、HiMarket AI 中台剖析

1、HiMarket 是什么

HiMarket 是 AI 中台，“企业级 AI 能力市场 + 开发者生态中心”的开源方案：把企业内部的大模型、MCP 工具、Agent 等 AI 资产，像商品一样上架、售卖、授权、计量、运营，一步到位。

2、HiMarket 定位

HiMarket 是企业落地 AI 应用的四种场景的统一底座。

第一、企业内部 AI 中台

所有业务线都从这里调用模型和工具，统一做成本分摊、安全合规、语义缓存。

第二、私有 MCP 市场

图片

把成百上千的 MCP Server/工具整合为“企业应用商店”，Agent 随拿随用，权限和流量集中治理。

第三、AI 能力货币化平台

把自研模型/Agent/行业数据封装成 API 产品，对外售卖，自动生成账单、配额、SDK。

第四、开发者开发 AI 应用非常简单

开发者专注于核心业务逻辑开发，包括：

快速集成AI能力：开发者无需关心底层 AI 能力的具体接入细节，可以直接通过 HiMarket 提供的标准化 AP I接口，快速集成所需的 AI 模型、Agent 或工具，专注于实现业务逻辑。

• 减少重复工作：避免从头开发和管理复杂的 API 接入、认证、鉴权等基础功能，直接利用 HiMarket 提供的成熟框架和工具，节省时间和精力。

3、HiMarket 核心功能拆解

HiMarket 由三大核心组件构成，完美匹配企业内不同角色的需求：

第一、AI 开放平台管理后台 (for 管理员/运营)

在这里将底层的模型服务、MCP Server、Agent 等多样化的 AI 能力，以 API 的形式轻松打包成标准化的“AI 产品”，并配上完善的文档、示例，最终一键发布到门户。

第二、AI 开放平台门户 (for 开发者/企业内部用户)

门户是面向内外开发者的“店面”。开发者可以在此完成开发者注册、创建消费者、获取凭证、浏览和订阅 AI 产品、在线测试，并清晰地监控自己的调用状态和成本。

第三、AI 网关

作为 Higress 社区的子项目，Higress AI 网关承载所有 AI 调用的认证、安全、流控、协议转换以及可观测性等能力。

二、HiMarket AI 中台快速实践

通过简单4步在本地搞定 HiMarket 部署和运行，具体如下：

第一步：准备环境与代码

确保你已安装 Git, JDK 8, Maven，Node.js (v20), 并准备好一个 MySQL 数据库。

git clone https://github.com/higress-group/himarket.git
cd himarket

第二步：启动后端服务

HiMarket 后端服务依赖数据库，请根据portal-bootstrap/src/main/resources/application.yaml 修改配置，或在启动时通过参数传入。

#打包项目
mvn clean package


#启动服务
java -Ddb.host=xxxx.mysql.rds.aliyuncs.com \
     -Ddb.port=3306 \
     -Ddb.name=xxx \
     -Ddb.username=xxx \
     -Ddb.password=xxx \
     -jar portal-bootstrap/target/portal-bootstrap-1.0-SNAPSHOT.jar

第三步：启动前端

HiMarket 包含管理后台和开发者门户两个前端。

# 启动管理后台
cdportal-web/api-portal-admin
npminstall
npmrundev


# 访问 http://localhost:5174
# 启动开发者门户
cdportal-web/api-portal-frontend
npminstall
npmrundev


# 访问 http://localhost:5173

第四步：体验核心流程

4.1、访问管理后台（​​localhost:5174​​），注册管理员账号。

4.2、导入服务来源

根据业务场景选择导入MCP Server所在的服务来源，当前支持网关和新注册配置中心 Nacos。

    a. 导入网关实例：在【实例管理】中，导入 Higress 网关。

    b. 导入 Nacos 实例：在【实例管理】中，导入 Nacos 。

4.3、创建门户：在【Portal】菜单下，创建一个属于你的 AI 门户，并为其绑定一个用于本地测试的域名，如​​localhost​​

4.4、创建并发布 AI 产品：在【API Products】中，将一个来自 Higress 的 MCP 服务封装成产品，并将其发布到你刚刚创建的门户。

4.5、切换到开发者门户（​​localhost:5173​​），注册一个开发者账号，并等待管理员在后台审批通过。

4.6、订阅并调用：登录开发者门户，你会看到刚才发布的 AI 产品。创建一个消费者(Consumer)来获取凭证，然后订阅该产品，即可开始调用！

Github 地址：​​https://github.com/higress-group/himarket​​

好了，这就是我今天想分享的内容。

本文转载自​​​玄姐聊AGI​​  作者：玄姐