引言

企业做 AI，最初往往是从“买几台 GPU 服务器”开始的。跑通首个模型不难，难的是之后：第二个团队来申请算力，发现卡都被占着；模型版本越来越多，没人说清哪个在线上；财务来问这批 GPU 花在哪些业务上，谁也拿不出账。

这些问题的共同点是——买的是算力，缺的是基础设施。AI 基础设施要解决的，正是把散落的 GPU、模型、应用和使用者，收进一套可管理、可调度、可计量的体系里。本文不讲具体模型的部署步骤，而是梳理 AI 基础设施要覆盖的四层能力、异构与国产算力的处理方式，以及选型时该看的关键维度——回答的是怎么选底座，而非怎么部署某个模型。

一、AI 基础设施要解决的四类问题

算力利用不充分：整卡独占是常见做法，但推理、开发调试、教学等场景往往用不满一整张卡，显存和算力空转。

模型管理混乱：模型从哪来、哪个版本在线上、精调后的模型放在哪、效果有没有评测过——缺乏统一管理时，这些都靠人记。

调用无法计量：多个团队共用一套算力，谁用了多少、成本怎么分摊，没有 Token 级的计量就说不清账，也就无法做内部成本核算。

从模型到应用有断层：模型部署好了，但业务方要的是知识库问答、文档处理这类应用。如果每个应用都要单独开发对接，落地速度就上不来。

一套完整的 AI 基础设施，需要同时覆盖这四层问题。

二、AI 基础设施的四层架构

按解决问题的层次，企业级 AI 基础设施通常分为四层。

智算底座：把 GPU 变成可调度的资源池

这一层的任务是把物理 GPU 变成可按需分配的算力：

? 切分：硬件级 vGPU 切分（一张物理卡切成多个实例、独享显存配额）与容器级显存切分（Pod 级隔离、无需重启宿主机）；

? 池化调度：把多台服务器的 GPU 纳入统一算力池，按业务优先级弹性分配给虚拟机、容器或裸金属；

? 异构纳管：统一管理不同品牌的 GPU；

? 运维可观测：物理 GPU 与 vGPU 统一视图、掉卡告警、槽位定位、利用率监控、故障自愈；

? 配套存储与网络：AI 训推对存储吞吐和网络时延敏感，需要高性能文件存储（共享访问、POSIX 兼容）与 RDMA/IB 高速网络配合。

模型层：模型的全生命周期管理

? 模型导入（本地文件、HuggingFace/魔搭社区导入）与模型仓库管理；

? 精调（LoRA/全参数微调）与数据集管理、Notebook 开发环境；

? 推理服务部署（OpenAI 兼容 API）、多版本并行、灰度与回滚；

? 模型评测：标准数据集评测、性能评测与报告导出。

网关层：调用治理与成本核算

网关层是企业初期容易忽略、后期又不得不补的一层。它管的是“谁在调、调了多少、能不能调”:

? OpenAI 协议兼容接入，多模型统一入口；

? Token 级精细计量计费，支持按部门/项目核算成本；

? 限流熔断、请求重试，保障业务稳定；

? 访问控制、密钥管理、调用日志与敏感词检测，满足内容合规与审计要求。

应用层：从模型到业务应用

? RAG 知识库（Prompt 工程、向量检索、知识库管理）；

? 本地部署主流开源 LLMOps 服务，快速搭建应用；

? 多推理服务编排与工作流；

? 应用版本管理与发布。

四层的关系：底座解决“算力够不够用得满”，模型层解决“模型管不管得住”，网关层解决“账算不算得清”，应用层解决“业务落不落得地”。缺任一层，AI 建设都会在某个阶段卡住。

三、异构与国产算力：绕不开的一层

企业的 GPU 往往不是单一品牌——训练用一类卡、推理用另一类，信创要求下还要纳入国产算力。这里有两个现实问题：

其一，国产 GPU 的虚拟化路径不同。 部分国产 GPU 不支持硬件级虚拟化，无法用 vGPU 方式切分。这时需要软件层方案（如 vCUDA 类的 API 拦截与显存隔离）在容器级实现切分，这是信创 AI 场景的关键门槛。

其二，跨品牌统一调度仍在演进。 把不同品牌 GPU 纳入同一资源池做混合调度，行业整体仍在完善。务实的做法是按品牌划分独立资源池、在同一管理面下统一纳管与监控，而不是期待完全透明的跨品牌调度。

选型时建议就自己实际持有的卡型，在 POC 中验证切分粒度、调度策略与监控完整度。

四、两条建设路径：新建还是从现有平台演进

路径一 · 独立新建智算平台：适合 AI 业务规模较大、有独立机房与预算的企业，能针对 AI 负载做专门的存储与网络设计。

路径二 · 从现有云平台演进：适合已有虚拟化或私有云底座的企业。在现有平台上叠加 AI 能力，可复用已有的资源纳管、多租户、计量计费与运维体系，起步投入较小。部分平台支持从云平台平滑升级、小规模节点起步验证。

判断依据主要看三点：AI 业务的规模与增长预期、现有底座的能力、以及运维团队的规模。对刚起步的企业，从现有平台演进通常是风险更低的路径。

五、AI 基础设施选型的关键维度

其中网关治理和多租户运营这两项，是“AI 试点”与“AI 规模化运营”的分界线——试点阶段可以不管账，一旦多个部门共用算力，计量计费和配额管理就成了刚需。

六、不同场景怎么选

七、总结

AI 基础设施建设的关键，不是采购了多少算力，而是能否把算力、模型、调用和应用收进一套可管理的体系。按智算底座、模型层、网关层、应用层四层逐一评估，比只比较 GPU 参数更能反映平台的真实能力——尤其是网关层的计量治理和多租户运营能力，往往决定 AI 能否从试点走向规模化。

在 AI 基础设施方向上，云轴科技 ZStack 的 AIOS 智塔是面向企业私有化 AI 建设的 AI Infra 平台，能力按四层来看：

? 智算底座：支持 GPU 直通、硬件 vGPU 切分与容器级显存精细切分；跨服务器 GPU 池化与优先级调度，支持容器和云主机双引擎部署；统一纳管 NVIDIA、昇腾、海光 DCU 等异构算力，已适配多个国产 GPU 品牌（具体适配清单以最新版本为准），提供物理 GPU 与 vGPU 统一视图、故障定位与告警；配套高性能文件存储（POSIX 兼容）与 RDMA/IB 高速网络。

? 模型层：模型仓库管理，支持从本地或 HuggingFace/魔搭社区导入，提供 LoRA/全参数微调、数据集管理、Notebook 开发环境、推理服务部署（OpenAI 兼容 API）与多维评测。

? 网关层：AI 网关提供 OpenAI 协议统一接入、Token 级计量计费、限流熔断、访问控制、密钥管理、调用日志与敏感词检测。

? 应用层：预置 RAG 知识库能力，支持本地部署 Dify、ComfyUI 等开源 LLMOps 服务并可一键部署；提供多推理服务编排、应用版本管理与灰度发布。

? 运营与演进：多租户配额管理、计量计费与统一门户，支持部门成本核算；平台可独立建设，也可叠加在 ZCF 云平台/HCI 之上平滑演进，支持从 2 节点起步验证；文件级数据隔离满足等保 2.0 三级相关要求。

企业可结合自身 AI 业务规模、GPU 品牌构成、信创要求和现有底座，评估 AI 基础设施方案的匹配度。

注：文中涉及的算力利用率、切分规格、部署节点数等表现与硬件型号、业务负载相关，以实际 POC 实测为准。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。