Ollama 安装说明(macOS)

Ollama 环境安装:Ollama 在 macOS 系统下的安装及设置

Ollama 现已在 macOS 上提供正式版,让您能够以全新的原生 Windows 体验拉取、运行和创建大型语言模型。macOS 上的 Ollama 包括内置 GPU 加速、完整模型库访问权限以及包括 OpenAI 兼容性的 Ollama API 。

硬件加速

Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集(如 AVX 和 AVX2,如果可用)来加速运行模型。无需配置或虚拟化!

完全访问模型库

完整的 Ollama 模型库可在 macOS 上运行,包括视觉模型。运行LLaVA 1.6等视觉模型时,可以将图像拖放到 ollama run 消息中。

始终开启 Ollama API

Ollama 的 API 自动在后台运行,服务于http://localhost:11434。工具和应用程序无需任何额外设置即可连接到它。

例如,以下是使用 命令窗口 调用 Ollama 的 API 的方法:

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

macOS 上的 Ollama 也支持与其他平台相同的OpenAI 兼容性,从而可以通过 Ollama 将为 OpenAI 构建的现有工具与本地模型一起使用。

下载安装

要开始使用 macOS 中的 Ollama:

  • 在 macOS 上,下载 Ollama
  • 解压 Ollama-darwin.zip 到当前目录
  • 解压完成后,可见文件 Ollama.app
  • 移动ollama.app 到应用程序目录,双击打开
  • 安装后,打开您喜欢的终端并运行ollama run llama3以运行模型

环境设置

在 Ollama 中,环境变量赋予了我们调整和定制这个强大工具的能力。就像一位指挥家调整乐队的每一件乐器,通过精心设置这些环境变量,我们可以让Ollama完美地适应我们的需求,奏出最和谐的数据交响曲。

可以设置的环境变量有哪些?
  • OLLAMA_HOST:设置网络监听端口。当我们设置OLLAMA_HOST0.0.0.0时,就相当于开放端口,可以让人意外部网络访问。
  • OLLAMA_MODELS:设置模型的存储路径。当我们设置OLLAMA_MODELS=E:\Ollama\models,就相当于给模型们在E盘建了一个仓库,让它们远离C盘。
  • OLLAMA_KEEP_ALIVE: 它决定了我们的模型们可以在内存里的存活时间。设置 OLLAMA_KEEP_ALIVE=24h,就好比给模型们装上了一块超大容量电池,让它们可以连续工作24小时,时刻待命。
  • OLLAMA_PORT:用来修改ollama的默认端口,默认是11434,可以在这里改为你想要的端口。
  • OLLAMA_NUM_PARALLEL:限制了Ollama可以同时加载的模型数量。
  • OLLAMA_MAX_LOADED_MODELS:可以确保系统资源得到合理分配。

环境变量的设置看似简单,但却是驾驭 Ollama 的关键。它们让 Ollama 从一个普通的工具,变成了我们可以随心调教的得力助手。

在 Mac 上设置环境变量

这里我们以OLLAMA_HOSTOLLAMA_MODELS两个环境变量为例,开放外部端口访问自定义模型存储路径

如果 Ollama 作为 macOS 应用程序运行,则应使用以下命令设置环境变量launchctl:

对于每个环境变量,调用 launchctl setenv

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_MODELS "/Users/{user}/Ollama/models"

注意:这里的 {user} 指的是你的用户目录

重新启动 Ollama 应用程序。

验证 Ollama 环境变量是否有效
  • 1、拉取一个本地没有的模型,例:ollama pull qwen2:0.5b,等待拉取成功。
  • 3、进入 /Users/{user}/Ollama/models 目录,查看刚拉取的新模型已经存在
  • 4、使用 ollama run qwen2:0.5b 命令运行模型并进行对话

参考资料:

Comments

No comments yet. Why don’t you start the discussion?

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注