GPUStack × CherryStudio：为企业用户构建安全可靠的本地私有化 AI 助手
推荐语
企业AI助手本地化部署的最佳实践，CherryStudio与GPUStack强强联合，打造安全高效的私有化AI解决方案。
核心内容：
1. 企业AI私有化部署的核心需求与挑战
2. CherryStudio的多模型桌面客户端功能详解
3. GPUStack作为算力中枢的关键特性与优势
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
关注🌟⌈GPUStack⌋💻
一起学习 AI、GPU 管理与大模型相关技术实践。
随着大模型的普及，越来越多的企业希望借助 AI 提升工作效率——从智能对话、文档分析到知识问答与研发辅助，AI 正在重塑企业的工作方式。但在实际落地中，数据安全与隐私合规始终是绕不过的问题。为确保企业核心数据不外流、私有化模型稳定可控，本地私有化部署逐渐成为企业首选方案，而 CherryStudio 与 GPUStack 的结合，正是这一需求的理想实现。
CherryStudio 作为交互界面，为企业员工提供便捷的操作入口和知识管理能力，让用户能够轻松调用内部模型、查询知识库，以及生成文档和辅助决策，提升业务流程的智能化水平与工作效率。
而GPUStack是整套系统的算力与模型管理中枢。它为企业提供统一的模型部署、调度与监控能力，支持多模型的单机/多机运行与自动资源分配，确保推理过程高效稳定。同时，GPUStack 还具备认证授权、负载均衡、故障恢复与指标观测功能，让企业在本地掌控模型生命周期，实现对 AI 服务的统一管理与合规运行。
CherryStudio 是跨平台（Windows、macOS、Linux）的桌面 AI 客户端，支持连接多种 LLM 服务：
作为 AI 生产力中心，适用于办公、编程、学习与创作等场景。
如果将 CherryStudio 视为交互前端，GPUStack则是后端引擎。
GPUStack提供标准化 API，可与上层系统（如 CherryStudio、业务服务或自定义应用）无缝集成，实现模型即服务（Model-as-a-Service）的统一访问，让企业能够集中管理算力资源，快速上线或更新模型服务。
天数智芯、寒武纪、沐曦等
简而言之：GPUStack 将服务器构建为可管理的 AI 平台，适合企业私有化部署与模型统一管理。
首先，参考 GPUStack 官方文档完成安装（https://docs.gpustack.ai/latest/installation/nvidia-cuda/online-installation/）。推荐容器化部署方式，在 NVIDIA GPU 服务器上，根据文档要求完成对应版本的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit 安装后，通过 Docker 启动 GPUStack 服务。
启动完成后，在浏览器访问http://your_server_ip：
若your_server_ip为localhost或127.0.0.1，可直接进入管理界面。
管理员账号为admin，默认密码使用以下命令查看：
更多设备与安装方式参考官方文档：https://docs.gpustack.ai/latest/overview/
模型可用后，可在 GPUStack 的「Playground - Chat」直接测试：
亦可按需部署更多模型（如下仅为演示）：
更多部署细节见 GPUStack 项目与文档：
显存不足或需添加多节点，请参考下图：
如尚未安装 CherryStudio，请先访问官网安装：https://www.cherry-ai.com/
1.打开 CherryStudio，进入「设置」→「模型服务」，搜索 “GPUStack”
2.选择「GPUStack」，并启用（未启用将无法使用）
3.配置参数：
4.管理模型
5.测试连接
配置正确后，会显示“连接成功”。
6.（可选）设置默认模型
至此，CherryStudio 即可调用 GPUStack 上部署的模型，获得与 OpenAI 一致的使用体验，同时实现对数据与算力的完全掌控。
接入 GPUStack 后，可在 CherryStudio 中自由切换多类模型，覆盖更多应用场景：
结合 CherryStudio 的多模态界面、知识库与插件体系，可构建功能完整的 AI 助手中心。
上述示例中，答案不正确，主要由于模型尺寸（7B）与量化精度（4bit）受限。更换更大模型后，结果正确：
向量嵌入是现代检索与问答系统的重要组成部分，通过将文本或文档映射为高维向量，实现语义级相似度匹配，从而提升搜索与问答质量。
以下示例展示如何结合知识库实现语义检索与问答：
1.准备知识库内容（示例为手动创建）
2.不使用知识库进行问答
3.使用知识库进行问答
注意：某些模型的函数调用输出格式与 CherryStudio 预期不一致，可能导致未能按预期调用知识库。此类差异在当前生态中较常见。
更换其他模型后再次尝试：
如果模型判断问题简单而不触发查库，可通过系统提示词明确约束：回答必须依据知识库内容。调整后，结果如预期：
更多用法，欢迎探索。
适用于企业内部应用的私有化落地，安全、高效且灵活。
借助 GPUStack 与 CherryStudio，即可高效释放本地算力，构建可控、可扩展的智能应用体系。
开始体验：
想要了解更多关于 GPUStack 的信息，可以访问我们的仓库地址：https://github.com/gpustack/gpustack。如果你对 GPUStack 有任何建议，欢迎提交 GitHub issue。在体验GPUStack或提交 issue 之前，请在我们的 GitHub 仓库上点亮 Star⭐️关注我们，也非常欢迎大家一起参与到这个开源项目中！
如果在使用过程中遇到任何问题，欢迎随时加入我们的Discord 社区：[https://discord.gg/VXYJzuaqwD]，也可以扫码添加 GPUStack 小助手联系加入GPUStack 微信交流群，获得 GPUStack 团队的技术支持，或与社区爱好者共同探讨交流。
如果觉得对你有帮助，欢迎点赞、转发、关注。
About GPUStack
GPUStack 是由数澈软件所推出的开源项目。数澈软件成立于2022年，是 Cloud 与 AI Infra 解决方案提供商，目前已完成5300万元种子轮融资。创始团队成员均来自业界应用广泛的 Kubernetes 管理平台 Rancher 的核心团队。其中，联合创始人及 CTO 梁胜博士是前 SUSE 全球工程及创新总裁，加入 SUSE 之前，梁胜博士于2014年9月创立全球著名的容器管理平台公司 Rancher Labs 并担任 CEO。
我们的愿景是赋能企业可以在任意环境使用人工智能以实现业务的卓越运营。GPUStack 是实现这一目标的重要一步。
使用 GPUStack 迅速搭建你的专属 MaaS 平台！开始体验在本地快速构建 GPU 集群，运行和使用各种 AI 模型，并将它们集成到您的应用中。
开源地址：github.com/gpustack/gpustack
智能硬件智能硬件产品什么是智能硬件
