Ubuntu服务器部署VLLM推理框架后，启动VLLM服务，并让局域网通过浏览器webui界面访问

1、服务器启动服务：

python -m vllm.entrypoints.openai.api_server \

  --model /home/user/env/vllm/QWQ \

  --gpu-memory-utilization 0.85 \

  --max-num-seqs 8 \

  --tensor-parallel-size 1 \

  --max-model-len 4096 \

  --dtype float16 \

  --host 0.0.0.0 \

  --port 5000

2、服务器端编写webui的python代码（webui.py）：

import gradio as gr

import requests

VLLM_API_URL = "http://192.168.1.230:5000/v1/chat/completions"

MODEL_ID = "/home/user/env/vllm/QWQ"

def query_vllm(user_input):

    headers = {"Content-Type": "application/json"}

    data = {

        "model": MODEL_ID,

        "messages": [{"role": "user", "content": user_input}],

        "temperature": 0.7

    }

    try:

        # 超时设为120秒

        response = requests.post(VLLM_API_URL, headers=headers, json=data, timeout=120)

        response.raise_for_status()

        result = response.json()

        answer = result['choices'][0]['message']['content']

        return answer

    except Exception as e:

        return f"请求错误: {e}"

with gr.Blocks() as demo:

    gr.Markdown("# QWQ LLM - vLLM 服务 WebUI")

    user_input = gr.Textbox(label="请输入问题", lines=3)

    submit_btn = gr.Button("提交")

    output = gr.Textbox(label="回答", lines=10)

    submit_btn.click(fn=query_vllm, inputs=user_input, outputs=output)

demo.launch(server_name="0.0.0.0", server_port=7860)

3、启动webui服务：

python webui.py

4、浏览器访问：

http://192.168.1.230:7860