本地私有化部署DeepSeek,告別“伺服器繁忙,請稍後再試”

DeepSeek 最近實在太火爆了,導致官網對話訪問經常提示“伺服器繁忙,請稍後再試”。 如下圖所示:

img

硬體環境

1.安裝Ollama & 載入模型

什麼是Ollama?

Ollama 是一款跨平台的大型模型管理用戶端(MacOS、Windows、Linux),旨在無縫部署大型語言模型(LLM),例如DeepSeek、Llama、Mistral 等。 Ollama 提供大模型一鍵部署,所有使用資料會保存在本機內,提供全方面的資料隱私和安全性。

image-20250210141116160

官網:https://ollama.com/

下載安裝Ollama,驗證版本

ollama -v

2.下載&載入本機模型

下載安裝完ollama後,透過命令列可以查看對應的版本,並且可以開始部署你想要的模型,這裡選擇的是deepseek-r1:14b(預設是7b)。

ollama run deepseek-r1:14b

20250210140506
image-20250210141346265

https://ollama.com/library/deepseek-r1

3.驗證本地模型對話

20250211082835

如何以積極的心態擁抱AI?

20250211082655

4.安裝chatbox(可選)

下載chatbox,完成安裝

https://chatboxai.app/zh

配置本地API

20250211084216

使用chatbox,開始對話

20250211084425