ollama有默认的模型,那么怎么运行自定义模型,自己选择下载模型,然后运行呢
下面说下自定义模型的运行
- 首先下载模型文件
ollama 可以直接加载gguf文件后缀的模型这些模型,你可以通过下面两个站点搜索即可。
https://huggingface.co/models 比如搜索 千问 qwen gguf
然后选择 Files and versions 选择对应模型的下载
- 配置路径
比如下载到路径 E:\model\xxx.gguf
那么 在同级目录下创建一个model.txt 内容如下:
FROM E:\model\xxx.gguf
3.通过ollama 加载模型
通过命令行进入到模型文件目录
运行 ollama create [xxxname] -f model.txt
ollama会自动编译装载模型 ,这里的xxxname 是对于你下载模型在ollama 中自定义名称
- 运行模型
上面加载完毕后,可以通过命令 ollama list 查看你的所有模型
运行你的模型: ollama run [xxxname]即可。
- 备注
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准,用于储存模型的tokenizer & weight & vocab & hyparameters,其表现形式为一个二进制文件,例如gml-model-f16.gguf
用Ollama show 命令访问模型文件以了解其结构和参数。可以使用 ollama help show 查看相关命令的使用帮助。
ollama show llama2:latest –modelfile
Modelfile generated by “ollama show”
To build a new Modelfile based on this one, replace the FROM line with:
FROM llama2:latest
FROM C:\Users\Administrator.ollama\models\blobs\sha256-8934d96d3f08982e95922b2b7a2c626a1fe873d7c3b06e8e56d7bc0a1fef9246
TEMPLATE “””[INST] <>{{ .System }}<>
{{ .Prompt }} [/INST]
“””
PARAMETER stop “[INST]”
PARAMETER stop “[/INST]”
PARAMETER stop “<>” PARAMETER stop “<>”
复制原始模型文件以创建自定义版本,下面以复制 llama2:latest 的模型文件为例。
ollama show llama2:latest –modelfile > myllama2.modelfile