| 失效链接处理 |
|
Ollama本地模型部署与调优实践 PDF 下载
转载自：
相关截图：
 主要内容：
前⾔
Ollama是⼀款轻量级、易上⼿的本地⼤语⾔模型（LLM）部署⼯具，⽀持Llama 3、Qwen、Gemini
等主流模型的⼀键部署，⽆需复杂的环境配置，即可实现模型本地运⾏、交互及⼆次开发。本⽂将从
环境准备、部署实施、基础操作、性能调优、故障排查五个维度，结合实操案例，详细讲解Ollama本
地模型的部署与调优全流程，适⽤于开发者、运维⼈员及AI爱好者，帮助快速掌握本地模型的部署技
巧，提升模型运⾏效率。
⼀、环境准备
1.1 硬件要求
Ollama的硬件要求主要取决于部署的模型⼤⼩（参数规模），不同模型对CPU、GPU、内存的需求差
异较⼤，以下为通⽤推荐配置（满⾜主流7B~70B模型部署），可根据实际模型调整：
•
CPU：Intel i5/i7 10代及以上、AMD Ryzen 5/7及以上，核⼼数≥4（推荐8核及以上，⽤于模型并
⾏计算）；
•
GPU：优先选择NVIDIA GPU（⽀持CUDA加速），计算能⼒≥5.0，显存≥4GB（7B模型）、
≥10GB（13B模型）、≥40GB（70B模型）；若⽆NVIDIA GPU，可使⽤AMD GPU（⽀持ROCm）
或仅依赖CPU（性能会⼤幅下降）；macOS设备可利⽤Metal加速，⽀持Apple Silicon芯⽚
（M1/M2/M3）；
•
内存（RAM）：≥16GB（7B模型）、≥32GB（13B模型）、≥64GB（70B模型），避免内存不⾜
导致模型崩溃；
•
存储：预留≥10GB空间（单模型，7B模型约3.8GB、13B模型约7.5GB），推荐使⽤SSD，提升模
型加载速度。
1.2 软件要求
Ollama⽀持Windows、macOS、Linux三⼤主流系统，不同系统的软件依赖如下：
1.2.1 通⽤依赖
⽆需提前安装Python、CUDA等复杂依赖，Ollama安装包会⾃动集成所需运⾏环境，仅需确保系统版
本满⾜要求：
•
Windows：Windows 10及以上（64位），需开启WSL2（可选，⽤于提升GPU兼容性）；
•
macOS：macOS 12及以上（⽀持Intel和Apple Silicon芯⽚）；
•
Linux：Ubuntu 20.04及以上、CentOS 8及以上（64位），需安装curl⼯具（⽤于下载安装脚
本）。
1.2.2 可选依赖（提升性能）
•
NVIDIA GPU：安装CUDA Toolkit 11.8及以上版本（Ollama会⾃动适配，⽆需⼿动配置），驱动版
本需≥531.00；
•
AMD GPU：安装ROCm 5.6及以上版本；
•
远程访问：安装Docker（可选，⽤于容器化部署）、浏览器（⽤于Web界⾯交互）。
⼆、Ollama本地部署实施 2.1 安装Ollama
不同系统的安装⽅式简洁⾼效，以下为详细步骤，全程⽆需复杂配置：
2.1.1 Windows系统
1. 访问Ollama官⽅⽹站（https://ollama.com/），下载Windows版本安装包（.exe⽂件）；
2. 双击安装包，按照提⽰完成安装（默认安装路径为C:\Users\⽤⼾名\.ollama，可⾃定义）；
3. 安装完成后，⾃动启动Ollama服务，可通过“任务管理器”查看服务是否正常运⾏（进程名：
ollama.exe）；
4. 打开命令提⽰符（CMD）或PowerShell，输⼊ ollama --version ，若显⽰版本信息，说明安
装成功。
2.1.2 macOS系统
1. ⽅式⼀（官⽅安装包）：访问Ollama官⽹，下载macOS版本安装包（.dmg⽂件），拖拽⾄应⽤程
序⽂件夹即可完成安装；
2. ⽅式⼆（命令⾏）：打开终端，输⼊命令 curl https://ollama.com/install.sh |
sh ，⾃动下载并安装；
3. 安装完成后，终端输⼊ ollama --version ，验证安装成功（Apple Silicon芯⽚可⾃动启⽤
Metal加速）。
2.1.3 Linux系统
1. 打开终端，确保已安装curl⼯具（若未安装，输⼊ sudo apt update && sudo apt
install curl -y ，Ubuntu系统）；
2. 输⼊安装命令： curl https://ollama.com/install.sh | sh ，脚本会⾃动下载
Ollama并配置环境变量；
3. 安装完成后，启动Ollama服务： sudo systemctl start ollama ，设置开机⾃启：
sudo systemctl enable ollama ；
4. 输⼊ ollama --version ，验证安装成功。若需升级Ollama，重新运⾏安装脚本即可：
curl -fsSL https://ollama.ac.cn/install.sh | sh 。
|
联系锋哥QQ：3320160706
苏公网安备 32061202001004号
