以下是一篇关于本地部署 DeepSeek 的图文教程，DeepSeek 包含 DeepSeek Coder 代码模型和 DeepSeek Chat 对话模型，这里以 DeepSeek Coder 为例进行说明，部署环境为 Linux 系统，使用 GPU 加速推理。
环境准备
- 硬件：NVIDIA GPU（建议显存 16GB 及以上），如 NVIDIA A10、V100 等。
- 软件：操作系统：Ubuntu 20.04 及以上。
- CUDA：版本 11.3 及以上。
- Python：版本 3.8 及以上。
- Git
步骤 1：安装必要的依赖库
文字步骤
- 打开终端，更新系统软件包列表：
收起
bash
sudo apt update
- 安装 CUDA 相关依赖和其他必要工具：
收起
bash
sudo apt install build-essential python3-dev python3-pip libnvidia-common- libcudnn8 libcudnn8-dev
注意：
3. 安装 Python 依赖库：
收起
bash
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes sentencepiece步骤 2：克隆代码仓库
文字步骤
在终端中执行以下命令克隆 DeepSeek Coder 的代码仓库：
收起
bash
git clone https://github.com/deepseek-ai/DeepSeek-Coder.git
cd DeepSeek-Coder步骤 3：下载模型权重
文字步骤
你可以从 Hugging Face 上下载 DeepSeek Coder 的模型权重，以 deepseek-coder-6.7b-base 为例：
收起
python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "deepseek-ai/deepseek-coder-6.7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")步骤 4：进行推理
文字步骤
以下是一个简单的推理示例代码：
input_text = "def hello_world():"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))步骤 5：验证部署成功
如果终端输出了基于输入代码生成的代码内容，说明 DeepSeek Coder 本地部署成功。
注意事项
- 模型权重较大，下载可能需要较长时间，请确保网络稳定。
- 如果显存不足，可以尝试使用 bitsandbytes 库进行 8 位或 4 位量化推理。例如，在加载模型时添加 load_in_8bit=True 或 load_in_4bit=True 参数。
以上教程详细介绍了如何在本地部署 DeepSeek Coder 模型，通过上述步骤你可以在自己的环境中使用该模型进行代码生成。如果要部署 DeepSeek Chat 模型，步骤类似，只需将模型路径替换为相应的 Chat 模型路径即可。
