ollama环境搭建

ollama下载安装

直接安装方式（未选择）

curl -fsSL https://ollama.com/install.sh | sh

docker方式安装

前置：安装Nvidia Container Toolkit

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

查看docker运行信息：

kai@jarvis:/data/env_init$  docker info | grep -i runtime
 Runtimes: io.containerd.runc.v2 nvidia runc
 Default Runtime: runc

有nvidia就说明OK了

验证：

sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

OK,环境可以了，下一步安装docker版本的ollama。

拉取docker镜像

docker pull ollama/ollama

运行docker镜像

持久化ollama模型目录创建：

sudo mkdir -p /data/docker/ollama
sudo chown -R $USER:$USER /data/docker/ollama

下载ollama:

docker run -d --gpus=all -v /data/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

-d：使容器在后台以守护进程模式运行。

--gpus=all：分配所有 GPU 资源给容器，让 Ollama 能够利用 GPU 加速。

-v /data/docker/ollama:/root/.ollama：将主机上的 /data/docker/ollama 目录挂载到容器内的 /root/.ollama 目录，确保 Ollama 的模型和相关数据能够持久化存储在主机指定目录。

-p 11434:11434：将容器的 11434 端口映射到主机的 11434 端口，以便通过 http://localhost:11434（本地访问）或 http://<服务器 IP>:11434（远程访问）与 Ollama 服务交互。

--name ollama：给容器命名为 ollama，方便后续管理和识别。

ollama/ollama：指定要运行的 Ollama 镜像。

下载大模型

docker exec -it ollama ollama run deepseek-r1:1.5b

这里比较耗时，最终结果：

后续还会再尝试使用更大的模型看能否跑起来。

windows访问大模型进行交互

我使用的是chatbox这款比较小巧的模型，这里添加大模型信息。

选择模型即可进行对话了。

这样也拥有了一个可以本地执行的大模型后端了~。后续会继续探索。