ollama的安装部署及使用

定义

管理大语言模型的平台；有ui界面 & 命令行; 把开源模型（比如 genma3）部署到本地

下载地址:https://github.com/ollama/ollama

  1. https://ollama.com/download/windows (window 为例)
  2. 固定安装到c盘（确保c盘 10G+）C:\Users[用户名]\AppData\Local\Programs\Ollama
  3. 安装完，右下角有图标了，开机自启动

使用文档

https://ollamacn.com/guide.html

通过CLI工具实现模型管理
• ollama list 查看本地模型库
• ollama pull llama3:70b 下载70B参数Llama3模型 【 谷歌的 genma3:4b 】 【 llava 支持图片识别 】
• ollama show llama3:70b 查看70B参数Llama3模型
• ollama run llava:13b 启动视觉语言混合模型
• ollama rm mistral 删除冗余模型释放存储
• ollama ps 监控运行实例资源占用

模型默认存储路径为~/.ollama/models，可通过设置OLLAMA_MODELS环境变量自定义存储位置

本地模型：安全性隐私性高，但是跑本地cpu慢

云模型：在不依赖本地显卡的情况下获得顶级体验
• ollama pull gpt-oss:120b-cloud
• ollama run gpt-oss:120b-cloud

视频教程: https://www.bilibili.com/video/BV1vZs1zqE27?vd_source=e99dc98c0d7aac1401f040da0b080c35&spm_id_from=333.788.videopod.episodes&p=7

怎么嵌入vscode

  1. 搜索安装 continue 插件（continue 使用教程 https://docs.continue.dev）
  2. 配置 config.yaml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
  
name: Local Config
version: 1.0.0
schema: v1
models:
  - name: Gemma3 4B
    provider: ollama
    model: gemma3:4b
    defaultCompletionOptions:
    contextLength: 320000
    roles:
      - chat
      - edit
      - apply

  - name: glm-4.7:cloud
    provider: ollama
    model: glm-4.7:cloud
    defaultCompletionOptions:
    contextLength: 320000
    roles:
      - chat
      - edit
      - apply

  - name: gpt-oss:120b-cloud
    provider: ollama
    model: gpt-oss:120b-cloud
    defaultCompletionOptions:
    contextLength: 320000
    roles:
      - chat
      - edit
      - apply