摸索AI（一）安装Ollama和本地大模型部署

Spring Ai

admin 发布于：2026-01-17 20:22:25

阅读：loading

之前也是花了巨多的时间从Github上下载了一些AI摸索的实践项目，涉及到的有文生图、文生视频、图生图、语音克隆、数字人等，它们的实践对电脑配置的依赖有一定的要求，而且实践的过程复杂程度较高，属于摸索着玩玩而已。本次摸索AI的范围则是面向对擅长领域的代码接入实践。如果你对Java代码交互的AI大模型有一些兴趣，又或者是跟我一样不知从哪里入手，或许看看我这里分享的前后实践过程与实践的案例范围，也是不错的选择。

所以，本系列教程相关的实践是在本地部署大模型，并且使用Java代码与本地的大模型进行交互。除了本地部署的大模型以为，也是可以付费接入网络上的一些付费大模型，比如Deepseek、千问等等，但是对我个人来讲，私有化的本地大模型更加有意义，毕竟可以免费的集成到企业级应用实践当中。

1.安装Ollama

（1）Ollama 是一个用于简化本地大模型部署和使用的平台或工具。它的主要作用是帮助用户在本地环境中运行、管理和调用大型语言模型（LLMs），而无需依赖云端服务。Ollama提供界面和工具，方便用户安装、配置和优化本地的大模型，比如 GPT、LLAMA、GPT-4 等。而且增强隐私和安全，在本地运行模型意味着数据不必传输到云端，有助于保护敏感信息。总结来说，Ollama是连接用户和本地大模型的桥梁和管理平台，帮助用户更方便、安全、高效地利用大模型技术。

（2）可以在“Ollama官网”下载安装包，或者在“Github项目主页”下载安装，安装包OllamaSetup.exe挺大（1.17 GB），不建议直接双击打开的默认安装，因为它会安装在电脑C盘，而且后续安装的一些大模型也同样是在C盘，假如说现在安装包文件存放路径为“F:\ollama\”路径下，可以使用“OllamaSetup.exe /DIR=F:\ollama”来设置安装路径，参考按的结果如下：

（3）Ollama安装完毕后，设置大模型的存储路径，虽然不是必须的，毕竟大模型文件较大，建议设置在合适的位置，所以配置环境变量“OLLAMA_MODELS=F:\ollama”和“Path=F:\ollama”，前者为大模型的路径下载路径，后者则是为了在任何位置都可以输入ollama命令来方便执行相关命令。当然还有更多的环境变量，比如设置本地大模型在线访问的IP白名单范围、端口号等等，参考如下图所示：

2.安装大模型

（1）Ollama安装完毕后，从官网找一些自己感兴趣的大模型包下载安装即可，打开软件可以看到基本的界面样式，支持大模型问答交互，同样可以看到有多款大模型实现，参考如下图所示：

Ollama运行界面-含水印

（2）使用“ollama --version”查看刚刚安装的Ollama版本为0.13.5，并且提示could not connect to a running Ollama instance，再输入ollama list命令可以查看本地安装的大模型实例列表，本次演示的已经安装了qwen3和deepseek-r1两款，而且使用“http://localhost:11434”的地址也输出了Ollama is running，参考如下图所示：

（3）具体的大模型安装过程也比较简单，本次演示从官网“https://ollama.com/”找一个比较小型的大模型下载安装，以“llama3.2”为例，直接点进去执行“ollama run llama3.2”即可，由于是首次运行该大模型，会先进行下载，下载完成后直接进入运行主界面，参考过程如下图所示：