博文

目前显示的是 六月, 2025的博文

Ubuntu服务器部署VLLM推理框架后,启动VLLM服务,并让局域网通过浏览器webui界面访问

1、服务器启动服务: python -m vllm.entrypoints.openai.api_server \   --model /home/user/env/vllm/QWQ \   --gpu-memory-utilization 0.85 \   --max-num-seqs 8 \   --tensor-parallel-size 1 \   --max-model-len 4096 \   --dtype float16 \   --host 0.0.0.0 \   --port 5000 2、服务器端编写webui的python代码(webui.py): import gradio as gr import requests VLLM_API_URL = "http://192.168.1.230:5000/v1/chat/completions" MODEL_ID = "/home/user/env/vllm/QWQ" def query_vllm(user_input):     headers = {"Content-Type": "application/json"}     data = {         "model": MODEL_ID,         "messages": [{"role": "user", "content": user_input}],         "temperature": 0.7     }     try:         # 超时设为120秒         response = requests.post(VLLM_API_URL, headers=headers, json=data, timeout=120)         response.raise_for_status()   ...

将Docker镜像文件进行tar归档

1、将目标镜像文件先拉取到本地 sudo docker pull mysql 2、进行tar归档 cd images                              #使用cd命令进入要存放tar归档文件的文件夹 sudo   docker   save   -o    mysql .tar    mysql:latest 使用sudo  docker  images命令查看本地有哪些镜像可以被tar归档 3、给tar文件修改权限 sudo chown zhangfanxp:zhangfanxp /home/zhangfanxp/env/Duix.Heygem/images/ mysql.tar   ----------------------------------------------------------------------------------------- 拷贝到其他电脑后,再进行Load加载: docker  load  -i  /images/mysql.tar

本地部署SenseVoice的ONNX模型,识别音频并以字幕格式展示

图片
1、创建虚拟环境并激活 2、安装sensevoice pip install sensevoice-onnx -i https://pypi.tuna.tsinghua.edu.cn/simple 3、使用命令进行转换: sensevoice --audio path/to/audio.wav --language auto --use_itn language = "auto" , # "zh", "en", "yue", "ja", "ko", "nospeech" 如果模型下载失败,可以从hf镜像站下载: https://hf-mirror.com/lovemefan/SenseVoice-onnx/tree/main 并手动拷贝至: /home/ zhangfanxp /miniconda3/envs/ sense2 /lib/python3.10/site-packages/sensevoice/resource/ 另外: whisper也支持按字幕格式输出。

微软官网下载Windows内部预览版

图片
https://www.microsoft.com/en-us/software-download/windowsinsiderpreviewiso?rfs=1 页面拉到下方,从下拉选框中,选择需要下载的windows版本,包括英文和中文(china) 在链接失效之前,点击下载即可:

Docker方式部署Dify

图片
1、从github上拉取项目文件: git clone https://githubfast.com/langgenius/dify.git 2、配置好Docker中的镜像源 3、进入dify/docker目录 4、运行命令(给.env配置文件修改后缀名): mv middleware.env.example middleware.env 5、运行docker命令: docker compose up -d ---------------------------------------------------------------------- 等待镜像文件拉取完毕即可! 安装完毕后,第一次运行时,浏览器访问: http://localhost/install 先注册一个账号,然后,登陆即可! ------------------------------------------------------------------- Vllm的启动方式与本地运行的不同,应该改为: python -m vllm.entrypoints.openai.api_server --model /home/zhangfanxp/env/models/Qwen3-Embedding-4B \     --served-model-name Qwen3-Embedding-4B \     --tensor-parallel-size 1 \     --host 0.0.0.0 --port 5000 \     --trust-remote-code \     --max-num-batched-tokens 99999 \     --max-num-seqs 9999 成功运行后,在Dify中的设置页面下,再安装“Open-AI-compatible”插件,来进行vllm中的模型配置,其中最关键的就是“API endpoint URL”的填写: http://host.docker.internal:5000/v1

在CloudFlare上部署Vless翻墙服务节点

图片
1、注册一个CloudFlare账号,并登陆(可以通过谷歌邮箱来注册); 2、在CloudFlare中点击Computer(Worker)菜单,进入《Workers & Pages》页面,点击Create按钮,创建新的项目 3、点击"Start wiht Hello World"项目后的Get Started按钮,创建一个最简单的项目 4、点击Deploy按钮,部署项目 5、点击Edit code按钮,编辑项目代码 6、访问https://github.com/yonggekkk/Cloudflare_vless_trojan/ ,找到Vless_workers_pages文件夹进入,点击打开 _worker.js 文件,全选拷贝代码 7、将拷贝的代码,黏贴至CloudFlare项目中的代码区域,并点击右上角的Deploy按钮: 8、点击返回按钮,并点击Settings对当前Worker项目进行配置:在Variables中添加一个新的变量,类型为Text,变量名为uuid,变量值是从uuid生成平台拷贝的一个id字符串,并点击右下角的Deploy部署按钮 9、至此,Cloudflare上部署Vless服务器节点的Workers项目完成 10、访问当前Workers项目的域名并加上之前生成的uuid字符串,可查看当前节点的配置信息 把vless的节点链接拷贝至v2ray或hiddify中即可! 可根据当前网络服务运营商来进行IP优选,将最佳IP替换至vless的服务器节点中。

Docker模式部署Dify如何配置Ollama本地模型

1、在Dify设置页面中的模型列表中添加Ollama 2、点击「添加模型」按钮,在弹出窗口中输入模型信息,包括: 模型类型(向量化模型,则选择Text Embedding) 模型名称(要包含完整路径,如:dengcao/Qwen3-Embedding-4B:F16) 基础URL(http://host.docker.internal:11434)

本地部署VoiceprintRecognition-Pytorch声纹识别服务

项目地址: https://github.com/yeyupiaoling/VoiceprintRecognition-Pytorch 1、创建虚拟环境 conda create -n voiceprint python=3.11 -y && conda activate voiceprint 2、克隆项目文件 git clone https://githubfast.com/yeyupiaoling/VoiceprintRecognition-Pytorch.git cd VoiceprintRecognition-Pytorch 3、安装依赖库 conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia python -m pip install mvector -U -i https://pypi.tuna.tsinghua.edu.cn/simple pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple 4、(百度网盘中)下载模型及配置文件: models/CAMPPlus_Fbank/best_model/ configs/cam++.yml 5、运行识别代码: python infer_speaker_diarization_gui.py  

一篇文章详细讲清楚UV

什么是 uv ? uv 是一个相对较新的 Python 包和项目管理器,由 Astral 公司(也开发了 ruff linter)推出。它最大的特点是 速度 ,因为它使用 Rust 语言编写,充分利用了 Rust 的性能优势,在处理 Python 依赖和虚拟环境方面提供了显著的加速。 uv 的目标是成为 pip 和 virtualenv 的 替代品 ,甚至在某些方面可以替代 Poetry 和 conda ,为 Python 开发者提供一个更快速、更可靠的依赖管理工具。 a、mac下安装uv: brew install uv  uv --version   (查看uv版本,检查uv是否安装成功) b、使用uv来创建虚拟环境: mkdir创建一个新的项目文件夹,并且通过cd命令,进入当前项目文件夹 uv  venv uv venv --python=3.10      /创建 指定python版本 的虚拟环境 激活虚拟环境 source  .venv/bin/activate c、安装依赖 uv  pip  install  xxx  -i  https://pypi.tuna.tsinghua.edu.cn/simple d、升级包 uv pip install --upgrade xxx e、删除包 uv pip uninstall  xxx f、列出已安装的包 uv  pip  list uv  pip show  xxx    (查看已安装包的版本信息)

GitHub项目通过pip install命令安装失败时的几种解决方法

1、确保Ubuntu系统中已安装了: g++,make,cmake,libopenblas-dev,liblapack-dev,libhdf5-dev和zlib1g-dev 命令行中执行命令: sudo apt-get install make -y sudo apt-get install g++ sudo apt-get install cmake sudo apt-get install libopenblas-dev liblapack-dev libhdf5-dev zlib1g-dev 2、找到安装失败的内容,例如:pyworld 分别使用 conda install , mamba install , pip install 来进行安装; 如果不行,则 去掉版本号 ,再安装 3、单独把pytorch等内容拿出来安装 (requirement.txt中则去掉相应的内容) 执行命令对pythorch进行单独安装: mamba install pytorch torchvision torchaudio pytorch-cuda= 12.1 -c pytorch -c nvidia -y

利用谷歌的Firebase虚拟主机来部署Axure的原型页面

Mac电脑为例,前期准备: npm install -g firebase-tools firebase login ------------------------------------------ 1、通过Axure导出Html静态页面(例如,shuziren文件夹); 2、通过浏览器在firebase上创建一个名为shuziren的项目; https://console.firebase.google.com/u/0/ 如果失败,多创建几次,网络有时候不稳定或者是谷歌服务器太繁忙! 3、通过cd命令进入导出文件的Html文件夹; 4、在(shuziren)文件夹内执行 「项目初始化」 命令: firebase init 5、依次进行初始化配置: Hosting: Configure files for Firebase Hosting and (optionally) set up GitHub Action deploys 光标 移至此项处,按 空格键 使当前项选中;再按 回车键 ! ? What do you want to use as your public directory? (public) 输入:       并按回车键! Configure as a single-page app (rewrite all urls to /index.html)? (Y/n) 输入: n   并按回车键 ? Set up automatic builds and deploys with GitHub? (Y/n) 输入: n   并按回车键 ? File ./index.html already exists. Overwrite? (y/N) 输入: n   并按回车键 当命令行中展示: ✔  Wrote configuration info to firebase.json ✔  Wrote project information to .firebaserc ✔  Firebase initialization complete! 表示当前项目已成功初始化! 6、项目正式部署: 继续保留在当前(shuziren)文件...

调用Gradio库的Python代码改为支持局域网访问

1、修改结尾代码: demo.queue(     max_size=50,     default_concurrency_limit=1, ).launch(share=True) 改为: demo.queue(     max_size=50,     default_concurrency_limit=1, ).launch(     server_name="0.0.0.0",     # 监听所有网卡,包括局域网     server_port=7860,            # 可自定义端口     share=False                    # 不使用 Gradio 的外网中继 ) 2、修改防火墙,允许访问7860端口: sudo ufw allow 7860

Ubuntu全新系统下安装常用软件

1、git sudo apt install git -y 2、ffmpeg sudo snap install ffmpeg 3、vlc sudo apt install vlc -y 4、sublime-text 4.1安装 GPG 密钥: wget -qO - https://download.sublimetext.com/sublimehq-pub.gpg | sudo gpg --dearmor -o /usr/share/keyrings/sublimehq-archive.gpg 4.2添加 Sublime Text 官方软件源: echo "deb [signed-by=/usr/share/keyrings/sublimehq-archive.gpg] https://download.sublimetext.com/ apt/stable/" | sudo tee /etc/apt/sources.list.d/sublime-text.list 4.3更新并安装 sudo apt update sudo apt install sublime-text 4.4运行: subl 5、huggingface_hub pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple export HF_ENDPOINT=https://hf-mirror.com 6、测试cuda是否正常运行的代码: 点击下载 Python 源码文件: 下载 test.py 7、网络命令 sudo  apt. install  net-tools  -y 运行ifconfig可查看当前IP地址

Ubuntu下安装Nvidia驱动

图片
A、设置(Settings)->  软件更新(Software Updates)->  附加驱动(Additional Drivers) B、安装CUDA sudo  apt  install nvidia-cuda-toolkit  -y 安装完毕后,运行命令: nvcc  -V 出现版本号,说明CUDA已安装成功!

显卡直通模式安装PVE下的虚拟机

图片
使用显卡直通模式,在PVE下安装虚拟机时,虚拟机创建完毕后,要再单独添加鼠标和键盘的USB设备,如下图所示: 添加后的效果:

PVE中安装PVE-Tools工具(开启硬件直通)

图片
前期准备:      ---安装git程序:      # apt  install  git  -y 1、将pvetools项目文件克隆到本地 git clone https://github.com/ivanhao/pvetools.git (网络不好,就用https://github fast .com/ivanhao/pvetools.git) 2、进入pvetools文件夹: cd  pvetools 3、添加中文支持: dpkg-reconfigure locales 新增勾选最下面zh_CN.的几类 4、运行pvetools程序: ./pvetools.sh

PVE安装后修改软件更新源

清华镜像站: https://mirrors.tuna.tsinghua.edu.cn/help/debian/ https://mirrors.tuna.tsinghua.edu.cn/help/proxmox/ 1、使用vi编辑器,修改 /etc/apt/sources.list # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware # deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware # deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware # deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware # 以下安全更新软件源包含了官方源与镜像站配置,如有需要可自行修改注释切换 deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main contrib non-free non-free-firmware # deb-src https://sec...

Windows下使用diskpart修复硬盘/U盘

 使用管理员身份进入命令行,输入命令: 1、启动硬盘管理程序 diskpart 2、列出所有硬盘 list disk 3、选择当前需要操作的硬盘( n 是0,1,2,3...) select   disk    n 展示当前磁盘下的分区信息 list partition 4、清除当前硬盘分区 clean ---------------------------------------------------------------- create partition primary size= 102400 创建100GB的主分区 create partition extended size= 204800 创建200G的扩展分区 select partition 1 format fs=ntfs quick label=" 名称 " 选择第一个分区,并格式化为ntfs格式