为使用 Ollama 部署的 DeepSeek V3 启用函数调用功能

引言#

DeepSeek V3 是一个强大的开源语言模型，而Ollama则提供了便捷的本地部署方案。本文将介绍如何通过自定义Modelfile为DeepSeek V3添加函数调用功能，从而支持一些常见的agent框架。

准备工作#

1
# 确保已经安装了 Ollama
2
ollama --version
3

4
# 拉取 DeepSeek V3 模型
5
ollama pull deepseek-v3

自定义 Modelfile#

创建一个新的 Modelfile

1
vim deepseek-v3t.modelfile

把以下内容复制进去：

1
FROM deepseek-v3:latest
2
TEMPLATE """{{- if .Messages }}
3
{{- if or .System .Tools }}
4
{{- if .System }}
5
{{ .System }}
6
{{- end }}
7
{{- if .Tools }}
8
{{- end }}
9
{{- end }}
10
{{- range $i, $_ := .Messages }}
11
{{- $last := eq (len (slice $.Messages $i)) 1 }}
12
{{- if eq .Role "user" }}<｜User｜>
13
{{- if and $.Tools $last }}
14
Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.
15
Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.
16
{{ $.Tools }}
17
{{- end }}
18
{{ .Content }}
19
{{- if $last }}<｜Assistant｜>{{ end }}
20
{{- else if eq .Role "assistant" }}
21
<｜Assistant｜>
22
{{- if .ToolCalls }}
23
<｜tool▁calls▁begin｜>
24
{{- range .ToolCalls }}
25
<｜tool▁call▁begin｜>
26
{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}
27
<｜tool▁call▁end｜>
28
{{- end }}
29
<｜tool▁calls▁end｜>
30
{{- else }}
31
{{ .Content }}
32
{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
33
{{- end }}
34
{{- else if eq .Role "tool" }}
35
<｜tool▁outputs▁begin｜>
36
<｜tool▁output▁begin｜>
37
{{ .Content }}
38
<｜tool▁output▁end｜>
39
<｜tool▁outputs▁end｜>
40
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
41
{{- end }}
42
{{- end }}
43
{{- else }}
44
{{- if .System }}
45
{{ .System }}
46
{{- end }}
47
{{- if .Prompt }}
48
<｜User｜>
49
{{ .Prompt }}
50
{{- end }}
51
<｜Assistant｜>
52
{{ .Response }}
53
{{- if .Response }}{{ end }}
54
{{- end }}"""

使用自定义 Modelfile#

1
ollama create deepseek-v3t -f deepseek-v3t.modelfile

使用示例#

任选一个你喜欢的agent框架，调用 openai 兼容的 sdk，就可以直接使用了。这里以pydantic-ai为例：

1
from openai import AsyncOpenAI
2
from pydantic_ai import Agent
3
from pydantic_ai.models.openai import OpenAIModel
4

5
openai_client = AsyncOpenAI(
6
    api_key="test",
7
    base_url="http://localhost:11434/v1",
8
)
9
# 如果你创建的模型名称不是 deepseek-v3t，需要自己修改
10
model = OpenAIModel("deepseek-v3t", openai_client=openai_client)
11

12
agent = Agent(
13
    model
14
)
15

16
# 为 agent 添加一个工具函数
17
@agent.tool
18
async def get_time():
19
    import datetime
20
    return f"Current time is {datetime.datetime.now()}"
21

22
async def main():
23
    response = await agent.run("What time is it?")
24
    print(response)
25

26
if __name__ == "__main__":
27
    import asyncio
28
    asyncio.run(main())

只要这个代码可以运行，那就说明你已经成功为DeepSeek V3添加了函数调用功能，即使他没调用你给的工具函数

其他#

解决闪退问题#

由于DeepSeek系列模型不支持K-shift，当上下文达到一定长度时，会导致ollama闪退。目前ollama官方还没给出一个比较好的解决方案，这个问题暂时可以通过编辑Modelfile来规避，你只需要在 Modelfile 中添加下面这两行即可：

1
PARAMETER num_ctx 24576
2
PARAMETER num_predict 8192

修改后的完整 Modelfile 如下：

1
FROM deepseek-v3:latest
2
PARAMETER num_ctx 24576
3
PARAMETER num_predict 8192
4
TEMPLATE """{{- if .Messages }}
5
{{- if or .System .Tools }}
6
{{- if .System }}
7
{{ .System }}
8
{{- end }}
9
{{- if .Tools }}
10
{{- end }}
11
{{- end }}
12
{{- range $i, $_ := .Messages }}
13
{{- $last := eq (len (slice $.Messages $i)) 1 }}
14
{{- if eq .Role "user" }}<｜User｜>
15
{{- if and $.Tools $last }}
16
Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.
17
Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.
18
{{ $.Tools }}
19
{{- end }}
20
{{ .Content }}
21
{{- if $last }}<｜Assistant｜>{{ end }}
22
{{- else if eq .Role "assistant" }}
23
<｜Assistant｜>
24
{{- if .ToolCalls }}
25
<｜tool▁calls▁begin｜>
26
{{- range .ToolCalls }}
27
<｜tool▁call▁begin｜>
28
{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}
29
<｜tool▁call▁end｜>
30
{{- end }}
31
<｜tool▁calls▁end｜>
32
{{- else }}
33
{{ .Content }}
34
{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
35
{{- end }}
36
{{- else if eq .Role "tool" }}
37
<｜tool▁outputs▁begin｜>
38
<｜tool▁output▁begin｜>
39
{{ .Content }}
40
<｜tool▁output▁end｜>
41
<｜tool▁outputs▁end｜>
42
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
43
{{- end }}
44
{{- end }}
45
{{- else }}
46
{{- if .System }}
47
{{ .System }}
48
{{- end }}
49
{{- if .Prompt }}
50
<｜User｜>
51
{{ .Prompt }}
52
{{- end }}
53
<｜Assistant｜>
54
{{ .Response }}
55
{{- if .Response }}{{ end }}
56
{{- end }}"""

然后根据上文给出的命令重新创建模型即可。

DeepSeek R1 也适用吗？#

理论上，添加了这个模板之后DeepSeek R1也可以有工具调用的能力，但是由于模型默认输出的<think>xxx</think>标签，不一定和常见的agent框架兼容，所以可能需要一些额外的处理，我也没有测试过，如果你有兴趣，可以试试看。