训练好的大模型如果不能被别人用，那只是一个“孤岛”。
本文带你从本地训练模型开始，构建 RESTful 接口，借助 Flask 和 Ngrok 实现公网访问，让你的 GPT-2 成为“在线可调用的文本生成服务”。

1. 模型准备：有哪些文件必须有？

确保你已经完成模型微调，并保存了以下文件夹：

gpt2_finetune/
├── config.json
├── model.safetensors
├── tokenizer_config.json
├── vocab.json
├── merges.txt
├── special_tokens_map.json

这些文件是实现推理 + 接口调用的基础！

2. 创建 Flask 推理服务

① 安装依赖：

pip install flask transformers torch

② 编写服务脚本 app.py：

from flask import Flask, request, jsonify
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = "gpt2_finetune"

tokenizer = GPT2Tokenizer.from_pretrained(model_path)
tokenizer.pad_token = tokenizer.eos_token
model = GPT2LMHeadModel.from_pretrained(model_path).to(device).eval()

def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt", padding=True).to(model.device)
    with torch.no_grad():
        outputs = model.generate(
            input_ids=inputs.input_ids,
            attention_mask=inputs.attention_mask,
            max_length=80,
            do_sample=True,
            top_k=40,
            top_p=0.9,
            temperature=0.7,
            repetition_penalty=1.2,
            pad_token_id=tokenizer.eos_token_id
        )
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

app = Flask(__name__)

@app.route("/generate", methods=["POST"])
def generate():
    data = request.get_json()
    prompt = data.get("prompt", "")
    if not prompt:
        return jsonify({"error": "Prompt is required"}), 400
    return jsonify({"response": generate_response(prompt)})

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000)

提供 /generate 接口，支持 JSON 输入 + JSON 返回！

3. 本地启动 + Postman 测试

运行 Flask：

python app.py

用 Postman 或 curl 测试 POST 接口：

POST http://localhost:5000/generate
{
  "prompt": "今天天气怎么样？"
}

你将收到类似：

{
  "response": "今天天气晴朗，适合出门散步。"
}

4. 使用 Ngrok 实现公网访问

① 下载 Ngrok 并绑定 token：

ngrok config add-authtoken <你的token>

② 启动端口映射：

ngrok http 5000

得到公网地址后就能让任何设备访问你的接口！

https://abc12345.ngrok.io/generate

5. 容器化部署建议（可选）

如果你想部署到云服务器或团队协作，建议封装为 Docker 容器：

Dockerfile 示例：

FROM python:3.10
WORKDIR /app
COPY . /app
RUN pip install flask transformers torch
EXPOSE 5000
CMD ["python", "app.py"]

构建 + 运行：

docker build -t gpt2-flask .
docker run --gpus all -p 5000:5000 gpt2-flask

6. 项目部署流程总结

最终效果回顾

成功将 GPT-2 模型转为 Web 服务
支持 Postman、网页前端调用
可远程部署，全球访问
扩展性强，方便集成前端/移动应用

本文为 GPT-2 三部曲最终篇：部署实战篇

推荐系列阅读：

• 第一篇：手把手训练你的 GPT-2：从分词、batch 到优化调参全流程
• 第二篇：搭建属于你的 GPT-2 文本生成器：推理参数优化与调用实战
• 第三篇：GPT-2 部署实战：用 Flask 构建在线生成接口，支持公网访问！

YoanAILab 技术导航页（包含 github 源码和各平台专栏合集）
复制以下链接到浏览器打开即可查看：
https://docs.qq.com/doc/DV3RtTG90cXBHa01T

也可关注我的公众号：YoanAILab
专注 AI 工程实战 · LLM 训练部署 · 智能资产应用

如果你觉得这篇文章有启发，别忘了点赞 + 收藏 + 分享支持一下！