本地私有化部署DeepSeek,告別“伺服器繁忙,請稍後再試”
DeepSeek 最近實在太火爆了,導致官網對話訪問經常提示“伺服器繁忙,請稍後再試”。 如下圖所示:
硬體環境
- CPU:i9-11900
- 記憶體:64GB
- 顯示卡:3060 12G CUDA驅動程式下載
- 作業系統:Windows 10 LTSC
1.安裝Ollama & 載入模型
什麼是Ollama?
Ollama 是一款跨平台的大型模型管理用戶端(MacOS、Windows、Linux),旨在無縫部署大型語言模型(LLM),例如DeepSeek、Llama、Mistral 等。 Ollama 提供大模型一鍵部署,所有使用資料會保存在本機內,提供全方面的資料隱私和安全性。
下載安裝Ollama,驗證版本
ollama -v
2.下載&載入本機模型
下載安裝完ollama後,透過命令列可以查看對應的版本,並且可以開始部署你想要的模型,這裡選擇的是deepseek-r1:14b(預設是7b)。
ollama run deepseek-r1:14b
https://ollama.com/library/deepseek-r1
3.驗證本地模型對話
如何以積極的心態擁抱AI?
4.安裝chatbox(可選)
下載chatbox,完成安裝
配置本地API
使用chatbox,開始對話