Docker方式部署Dify
1、从github上拉取项目文件:
git clone https://githubfast.com/langgenius/dify.git
2、配置好Docker中的镜像源
3、进入dify/docker目录
4、运行命令(给.env配置文件修改后缀名):
mv middleware.env.example middleware.env
5、运行docker命令:
mv middleware.env.example middleware.env
5、运行docker命令:
docker compose up -d
----------------------------------------------------------------------
等待镜像文件拉取完毕即可!
安装完毕后,第一次运行时,浏览器访问:
http://localhost/install
先注册一个账号,然后,登陆即可!
http://localhost/install
先注册一个账号,然后,登陆即可!
-------------------------------------------------------------------
Vllm的启动方式与本地运行的不同,应该改为:
python -m vllm.entrypoints.openai.api_server --model /home/zhangfanxp/env/models/Qwen3-Embedding-4B \
--served-model-name Qwen3-Embedding-4B \
--tensor-parallel-size 1 \
--host 0.0.0.0 --port 5000 \
--trust-remote-code \
--max-num-batched-tokens 99999 \
--max-num-seqs 9999
成功运行后,在Dify中的设置页面下,再安装“Open-AI-compatible”插件,来进行vllm中的模型配置,其中最关键的就是“API endpoint URL”的填写:
http://host.docker.internal:5000/v1
http://host.docker.internal:5000/v1

评论
发表评论