ollama运行自定义模型

ollama有默认的模型,那么怎么运行自定义模型,自己选择下载模型,然后运行呢

下面说下自定义模型的运行

  1. 首先下载模型文件

ollama 可以直接加载gguf文件后缀的模型这些模型,你可以通过下面两个站点搜索即可。

https://huggingface.co/models 比如搜索 千问 qwen gguf

然后选择 Files and versions 选择对应模型的下载

  1. 配置路径

比如下载到路径 E:\model\xxx.gguf

那么 在同级目录下创建一个model.txt 内容如下:

FROM E:\model\xxx.gguf

3.通过ollama 加载模型

通过命令行进入到模型文件目录

运行 ollama create [xxxname] -f model.txt

ollama会自动编译装载模型 ,这里的xxxname 是对于你下载模型在ollama 中自定义名称

  1. 运行模型

上面加载完毕后,可以通过命令 ollama list 查看你的所有模型

运行你的模型: ollama run [xxxname]即可。

  1. 备注

GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准,用于储存模型的tokenizer & weight & vocab & hyparameters,其表现形式为一个二进制文件,例如gml-model-f16.gguf

用Ollama show 命令访问模型文件以了解其结构和参数。可以使用 ollama help show 查看相关命令的使用帮助。

ollama show llama2:latest –modelfile

Modelfile generated by “ollama show”

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama2:latest

FROM C:\Users\Administrator.ollama\models\blobs\sha256-8934d96d3f08982e95922b2b7a2c626a1fe873d7c3b06e8e56d7bc0a1fef9246
TEMPLATE “””[INST] <>{{ .System }}<>

{{ .Prompt }} [/INST]
“””
PARAMETER stop “[INST]”
PARAMETER stop “[/INST]”
PARAMETER stop “<>” PARAMETER stop “<>”

复制原始模型文件以创建自定义版本,下面以复制 llama2:latest 的模型文件为例。

ollama show llama2:latest –modelfile > myllama2.modelfile

Comments

No comments yet. Why don’t you start the discussion?

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注