AI工具与平台
沿着开发、训练、推理与部署，找到合适的工程工具。
先看工具在哪一层
同一产品可能跨越多层，但“能管理模型”与“能训练模型”不是同一件事。
从人工智能的基本概念和AI 大模型专题入门，可以先区分模型本身与运行它的工具。本页关注工程层面的开发、训练、服务交付和生命周期管理，而非聊天产品排行榜。
| 工程环节 | 主要问题 | 代表工具或形态 |
|---|---|---|
| 开发与资源 | 怎样处理数据、调用模型和复现实验？ | PyTorch、TensorFlow、Transformers、Jupyter、模型仓库 |
| 训练与微调 | 怎样组织数据、训练配置、作业和产物？ | LlamaFactory、Axolotl、PAI、SageMaker AI |
| 推理与接口 | 怎样让已训练模型处理请求？ | Ollama、llama.cpp、vLLM、SGLang、托管推理 API |
| 部署与管理 | 怎样发布版本、控制访问并维持服务？ | MLflow、Ray Serve、KServe、网关与监控 |
| 应用编排 | 怎样把模型和检索、工具接入业务？ | Dify、FastGPT、LangChain 等应用工具 |
上述分层是本专题的阅读路径，不是严格互斥的产品分类。模型运行能力可参考推理引擎文档，训练与模型管理能力则需查看相应组件，不能只凭产品名称判断。[3][11][22]
AI 开发工具与模型资源
先区分开发框架、交互环境与模型仓库。它们解决的不是同一个问题。
PyTorch
提供张量计算与深度学习开发能力，面向 CPU、GPU 等运行环境，是模型研究、训练和推理工具链中的基础组件。[47]
选用场景：需要编写或调整模型、训练过程及算子逻辑。
核对事项：先核对操作系统、驱动、加速器后端与安装版本；框架安装成功不代表所有模型都能运行。
官方文档与项目说明 ↗TensorFlow
围绕模型构建、训练与部署提供框架和配套生态，文档包含 Keras、TensorFlow.js 以及不同部署方向。[38]
选用场景：已有 TensorFlow 代码、训练流程或相关部署需求。
核对事项：按实际任务和维护版本选组件，不把整个生态的能力当成一个安装包的功能。
官方文档与项目说明 ↗Transformers
Hugging Face 的模型定义与使用工具，覆盖文本、视觉、音频等任务，提供训练和推理相关接口。[3]
选用场景：基于已有模型进行任务实验、训练接入或推理验证。
核对事项：模型支持与具体架构、依赖、精度和硬件有关，不等于任意权重都能无修改加载。
官方文档与项目说明 ↗JupyterLab／Notebook
将代码、说明与运行结果放在可交互文档中，适合数据探索、实验记录和模型原型。[4]
选用场景：需要逐步分析数据、演示流程或记录研究过程。
核对事项：Notebook 是开发界面，不是训练集群或线上服务平台；生产任务要另做依赖、调度与权限管理。
官方文档与项目说明 ↗Hugging Face Hub
提供模型检查点的托管、发现与共享，可通过相关客户端和库下载使用。[28]
选用场景：查阅模型卡、权重文件、版本与许可信息。
核对事项：仓库存在不等于权重安全、免费商用或适配本机；不要把 Hub 与 Transformers、托管推理服务混为一谈。
官方文档与项目说明 ↗ModelScope 魔搭
ModelScope 官方库为模型推理、训练与评估提供接口和实现，并与模型社区资源结合。[35]
选用场景：希望查找模型资源，并使用配套工具完成验证或应用开发。
核对事项：社区平台、SDK 与具体模型分开核对；平台可下载的模型不一定采用同一种许可证。
官方文档与项目说明 ↗工程项目常以 Python 开发环境为基础，结合 Git 版本控制记录代码变更，并在 GitHub 项目仓库查看源码、Issue、发布记录和许可证。开发库与模型仓库都应锁定具体版本，避免“同一段代码、不同依赖”导致结果不可复现。
训练、微调与云端开发平台
模型训练工具负责计算过程；云平台还涉及作业、存储、资源与计费。
LlamaFactory
提供围绕大语言模型与视觉语言模型的微调工具，项目给出 CLI、Web UI、模型支持与训练方法说明。[5]
选用场景：希望基于已有权重进行受控微调试验。
核对事项：训练前检查数据格式、模型模板、方法支持与硬件要求。工具许可不能代替基础模型和训练数据授权。
官方文档与项目说明 ↗Axolotl
围绕模型训练配置提供能力，官方文档包含 LoRA、QLoRA、分布式训练和模型导出等相关说明。[6]
选用场景：希望通过配置管理训练试验，并逐步扩展到较复杂训练设置。
核对事项：支持矩阵随模型、方法与版本变化；参数配置与资源需求必须以相应示例和实际验证为准。
官方文档与项目说明 ↗阿里云 PAI
PAI 覆盖数据准备、训练与部署；DSW 提供开发环境，DLC 面向训练作业，EAS 面向模型在线服务。[45]
选用场景：希望在云端组织开发环境、训练任务和服务部署。
核对事项：开发实例、训练作业、在线服务与存储可能分别计费；完成任务后确认资源实际停止或释放。
官方文档与项目说明 ↗Amazon SageMaker AI
为开发、训练与部署机器学习模型提供托管能力，并通过集成开发环境组织机器学习流程。[9]
选用场景：已有 AWS 数据与计算资源，希望减少部分基础设施搭建工作。
核对事项：SageMaker AI 与更广义的 Amazon SageMaker 平台命名有区别；权限、地域、端点和成本需分别评估。
官方文档与项目说明 ↗PAI 的 DSW、DLC、EAS 分别对应开发环境、训练作业和在线服务。开发机关闭浏览器不代表实例已经停止，停止实例与释放存储也可能是不同操作；应核对账单和资源状态。[44][45]
Google Cloud 的历史 Vertex AI 相关入口目前可能转到不同命名与产品路径，微软也有旧 Foundry 入口迁移。查旧教程时应以官方当前页面显示的名称和功能为准，不宜将历史导航当成现行产品全貌。[8][10]
参数高效微调并不要求更新全部基础模型参数；训练产物可能包含适配器。部署时还需确认基础权重、适配器加载或合并方式及推理后端支持。[52]
本地运行与自建推理引擎
从一台电脑到多卡服务，先确定使用规模，再选运行时。
Ollama
提供模型运行与 API 接入能力，官方文档同时区分本地模型与云端模型。[14]
选用场景：个人开发验证，或把适配模型接入桌面工具和应用。
核对事项：使用 Ollama 不自动等于全链路离线；确认模型来自本地还是云端，以及应用插件的数据去向。
官方文档与项目说明 ↗LM Studio
提供本地模型下载、运行和聊天体验，也提供本地 REST API、兼容接口及开发工具。[34]
选用场景：希望通过桌面界面探索模型，并给本机应用提供调用入口。
核对事项：按操作系统与模型核对硬件和运行要求；不要将桌面体验直接等同于生产多租户服务。
官方文档与项目说明 ↗llama.cpp
用于运行受支持模型，生态中常见 GGUF 权重，可结合具体后端在不同硬件上执行。[13]
选用场景：关注本地、边缘设备和量化模型推理。
核对事项：GGUF 是格式，不是固定精度或质量等级；模型架构、量化方式和硬件后端都需要匹配。
官方文档与项目说明 ↗vLLM
提供模型推理和服务能力，包含批处理、缓存、并行执行与兼容 API 等机制。[11]
选用场景：需要将受支持模型部署为服务，并评估并发与吞吐。
核对事项：不凭引擎名称推断性能。应以同一模型、精度、输入输出长度和并发负载进行压测。
官方文档与项目说明 ↗SGLang
面向模型服务，提供缓存、并行执行及模型接口等能力，覆盖从单卡到分布式部署的相关路径。[12]
选用场景：需要比较不同推理框架在真实工作负载中的表现。
核对事项：模型、量化、工具调用解析器与硬件后端的支持范围需逐项核对。
官方文档与项目说明 ↗Xinference
为语言、向量、多模态等模型提供运行与接入能力，区分社区自建、企业版和托管服务。[15]
选用场景：希望统一组织多种模型的推理服务。
核对事项：不同部署形态的功能、身份管理与授权不能混用；统一接口不意味着所有模型支持同样的请求。
官方文档与项目说明 ↗推理服务可以调用受支持的模型，例如DeepSeek 模型系列中的特定型号；但不能因模型家族相同，就假定所有架构、精度、工具调用或多模态能力都被同一引擎支持。[11][12]
GGUF 是用于存储模型及相关元数据的文件格式，不能仅凭扩展名判断量化精度、内存占用或回答质量。[53]
托管推理与模型服务
通过接口接入可减少部分部署工作，但模型目录、配额与数据条款仍要自己核对。
Hugging Face Inference Providers
通过统一客户端接入多个提供方支持的模型与任务，服务范围随提供方和模型而异。[18]
选用场景：希望在相近的调用方式下试用不同模型与提供方。
核对事项：确认实际执行方、模型标识、可用任务、地区与计费；统一入口不表示各后端完全可互换。
官方文档与项目说明 ↗Together AI
提供模型推理 API、微调和专用端点等服务路径。[40]
选用场景：希望使用托管模型，或把受支持的微调结果用于推理。
核对事项：无服务器、专用端点和训练作业的计费与资源边界不同，需按需求逐项确认。
官方文档与项目说明 ↗硅基流动 SiliconFlow
提供面向语言、语音、图片、视频等任务的模型 API，并提供预留资源和私有化等服务路径。[39]
选用场景：希望用模型接口验证应用，或进一步评估专属资源方案。
核对事项：官网性能数字属于供应商表述，不能替代自己的压测；具体模型、计费和数据处理约定以服务条款为准。
官方文档与项目说明 ↗Microsoft Foundry
将模型、智能体和工具纳入统一管理，提供跟踪、监控、评估与企业配置等能力。[10]
选用场景：需要结合 Azure 身份、网络、策略和模型服务组织应用。
核对事项：名称与旧入口会迁移。模型可用性、项目类型和权限限制应以当前官方文档及租户配置为准。
官方文档与项目说明 ↗接口兼容只说明部分请求格式相近。即使服务声称兼容 OpenAI 接口生态，仍需核对模型名、工具调用、流式返回、结构化输出、错误码与重试策略。不要把“可以发出请求”当作行为完全一致。[18][29]
模型部署、版本与服务管理
模型能启动只是第一步，版本回退、访问控制和故障处理同样需要设计。
MLflow
提供实验追踪、模型打包、注册与部署相关能力；Model Registry 记录模型版本、别名、元数据与来源关系。[22]
选用场景：需要追踪哪次实验产出哪个模型，并组织评估、发布和回退。
核对事项：注册模型不等于自动部署到生产；存储、访问控制、审批与服务运行环境仍需配置。
官方文档与项目说明 ↗Ray Serve
用于构建在线推理 API，可组合模型和 Python 业务逻辑，并支持相关批处理与扩展能力。[24]
选用场景：一个请求需要多个模型或预处理步骤，希望由代码定义服务组合。
核对事项：扩展策略、调度与资源隔离需要测试，不能只根据框架宣传判断成本。
官方文档与项目说明 ↗KServe
在 Kubernetes 生态中组织模型服务，提供多框架部署、扩展与发布相关能力。[25]
选用场景：已有容器集群和平台运维能力，希望统一模型服务交付。
核对事项：自动扩缩容、缓存和流量治理依赖部署模式与组件，不应认为默认安装即具备全部能力。
官方文档与项目说明 ↗LiteLLM
以统一接口连接不同模型提供方，网关支持虚拟密钥、成本追踪与路由等相关能力。[29]
选用场景：需要集中管理模型访问入口与多后端调用策略。
核对事项：它通常负责接入与治理，不是底层推理引擎；重试、回退、日志与企业功能应按部署版本核对。
官方文档与项目说明 ↗Open WebUI
可连接本地或云端模型，为用户提供统一交互界面，并支持相关扩展。[26]
选用场景：希望给个人或团队建立统一的模型使用入口。
核对事项：网页部署在自己服务器上，不代表模型、检索和插件都在本地；应检查整条数据链路。
官方文档与项目说明 ↗用于 Linux 服务器、应用、容器等运维，官方也提供 AI 智能体与本地模型相关管理入口。[43]
选用场景：中小规模自建应用，希望通过图形界面管理宿主机与应用。
核对事项：运维面板不等于训练平台或 GPU 调度器；应用的权限、备份和模型服务安全仍需单独配置。
官方文档与项目说明 ↗其中 Kubernetes 容器编排属于基础设施管理层；Ray Serve、KServe 与推理引擎的职责也不同。集群能调度容器，不等于模型质量、驱动兼容或显存配置已经正确。[24][25][48]
KServe 官方项目将其定位为在 Kubernetes 上部署生成式与预测式模型的分布式推理平台；这与单个推理引擎的职责不同。[51]
把模型放进完整工具链
除了模型运行，还要安排开发环境、数据、网络与可观测。
下面是配套组件的阅读线索。是否引入某一组件取决于规模和现有架构，不要求每个项目都搭建完整平台。
| 环节 | 工具或基础设施 | 如何配合与常见边界 |
|---|---|---|
| 操作系统 | Linux 运行环境、Ubuntu 系统、Debian 系统 | 选择与驱动、加速器和推理后端相匹配的系统；操作系统适配不能只看发行版名称。 |
| 容器与宿主 | Docker 容器部署、服务器运行环境 | 镜像封装依赖，宿主机仍负责驱动、设备访问、卷、网络及密钥。容器不自动带来完整安全隔离。 |
| 云端资源 | 云计算服务、云服务器资源 | 对比开发、训练和在线服务的资源计费；普通云服务器不一定配备适合模型的加速器。 |
| 模型文件 | 对象存储中的模型与数据文件 | 保存权重、检查点和数据快照，配合访问控制、版本和生命周期策略；文件存在不等于模型可恢复。 |
| 应用数据 | 数据库设计、PostgreSQL 数据库、MySQL 数据库 | 存放业务与应用元数据；具体模型服务是否依赖这些数据库，应以其部署架构为准。 |
| 知识检索 | RAG 检索增强生成、向量数据库选型 | 检索与生成是应用链路，向量数据库是可选组件；也可以结合关键词、SQL 或已有文档检索。 |
| 检索产品 | Milvus 向量数据库、Pinecone 向量服务 | 按检索方式、数据规模、权限和托管需求选型，不把向量存储当作训练框架。 |
| 应用交付 | LangChain 应用开发、FastGPT 知识库应用 | 组织模型、检索与工具调用；应用平台接入模型不等于自己训练了底层模型。 |
| 接口契约 | API 应用编程接口、RESTful API 接口设计、JSON 数据交换格式 | 约定身份、输入、输出与错误处理。结构合法不等于参数、权限或答案正确。 |
| 反向代理 | Nginx 反向代理 | 部署时测试流式响应、代理超时、请求体大小和访问限制；反向代理不能代替模型服务鉴权。 |
| 传输与运维 | HTTPS 加密传输、TLS／SSL 证书、SSH 远程维护 | 证书、密钥与运维账号分别管理；使用加密传输不等于获得了应用层授权。 |
| 指标与界面 | Prometheus 指标监控、Grafana 监控看板、数据可视化 | 监控指标与看板相互配合；应关注成功率、排队、延迟、资源与成本，而非只看 GPU 利用率。 |
| 运维入口 | 宝塔面板服务器管理 | 作为宿主机和网站运维方向的延伸阅读；具体模型安装入口、插件和商业版本能力需分别核对。 |
应用开发可参考 Dify、FastGPT 和 LangChain 的官方资料；监控组件分别承担指标与可视化等职责，不能用“监控页面可打开”代替模型服务验收。[32][42][33]
Prometheus 主要处理时序指标与告警相关能力；Grafana 可查询和展示不同来源的指标、日志与链路数据，实际采集、存储与保留策略仍要配置。[49][50]
如果要继续阅读模型能力与应用编排，可查看智能体 Agent 开发与协作专题。本页集中在工程工具层，不重复列出模型排行榜。
按目标选起点，别先堆平台
以下为实施建议，不是本站实测或已完成的部署记录。
| 你的目标 | 建议起点 | 先验证什么 |
|---|---|---|
| 先用上模型，不管理机器 | 托管推理 API 或平台提供的端点 | 模型效果、数据条款、地区、配额、延迟、失败处理和预算。 |
| 在电脑上体验开放模型 | LM Studio 或 Ollama；更底层可研究 llama.cpp | 模型来源、权重格式、硬件容量、实际离线状态和交互能力。 |
| 已有训练脚本，要跑一次作业 | 框架环境加云端训练或自建资源 | 数据格式、依赖、检查点、可恢复性和训练结束后的资源清理。 |
| 需要微调已有模型 | LlamaFactory 或 Axolotl 等微调工具 | 基础模型授权、训练方法、验证集与效果回归，避免只看训练损失。 |
| 网站接入自建模型服务 | 受支持推理引擎加鉴权、代理和监控 | 输入输出约束、并发、流式响应、超时、回退和密钥安全。 |
| 团队管理多个模型版本 | 实验追踪与模型注册，再连接服务发布流程 | 模型来自哪次实验、使用什么数据与参数、怎样发布和回滚。 |
| 多节点、多团队共享服务 | 评估集群、服务框架或托管平台 | 资源配额、租户隔离、发布策略、观测、可恢复性与运维投入。 |
一个小型试验通常可以从“代码与数据版本 → 模型运行 → 固定测试集 → 服务接口 → 监控与回退”逐步扩展。只有当现有方案出现明确瓶颈时，再增加模型网关、集群调度或复杂流水线。
上线前的核对清单
能启动、能回答、能稳定安全地交付，是三个不同层次。
| 核对面 | 需要回答的问题 |
|---|---|
| 模型与数据许可 | 基础模型、微调数据、输出素材和服务部署是否允许当前用途？工具开源不代表模型免费商用。 |
| 依赖与供应链 | 权重、镜像、插件来自哪里？能否锁定版本并核对完整性？是否执行了来源不明的自定义代码？ |
| 资源与性能 | 在一致的模型、精度、上下文、输入输出长度和并发下测量；分别记录首 Token 延迟、总耗时、吞吐和错误。 |
| 质量评估 | 使用真实业务样例与独立验证集，不以训练损失、演示输出或供应商跑分代替任务质量。 |
| 成本与释放 | 区分 Token、实例、存储、网络、训练时长和闲置资源，设置预算并验证停止计费的条件。 |
| 身份与网络 | 模型端点、管理后台和数据库不裸露公网；为用户、应用和运维分别设置最小权限。 |
| 数据与日志 | 确认提示词、文件、向量、插件、日志和监控的去向，定义脱敏、保留与删除策略。 |
| 版本与恢复 | 记录模型版本、配置、依赖、镜像与运行参数；回滚路径应实际演练，而非只留一份权重。 |
MLflow 可记录实验参数、指标与产物，并将模型版本与来源关联；但完整可复现仍依赖数据、代码、环境和随机性控制，不能只凭“已注册模型”断言结果可复现。[22][46]
本地部署是不是一定比 API 便宜？
不一定。要同时计入硬件、显存、利用率、存储、网络和运维；低频试验与稳定高负载的成本结构不同。
用了兼容 OpenAI 的接口，可以不做迁移测试吗？
不能。模型、参数、工具调用、返回结构和限制可能不同，需用业务请求与失败样例做回归测试。
量化是否只会降低显存、不影响质量？
不能这样保证。量化会改变数值表示，具体资源与质量变化取决于模型、方法和任务，应实际评估。
装好 Web UI 算不算建好了模型平台？
只完成了交互入口的一部分。还要确认模型在哪里运行，用户、插件、知识库、权限与日志如何管理。
模型下载页、训练库和托管服务能否共用一个许可证判断？
不能。平台条款、工具源码、模型权重和数据各有独立的许可与限制。
为什么不把所有产品都标成“开源平台”？
开源、开放权重、自托管、免费试用和商业托管不是同一概念。本文按职责分类，具体许可请查看对应版本。
官方资料与延伸阅读
正文编号可定位到这里，再通过资料名称打开官方来源。