370 字
2 分钟
llama.cpp一键启动脚本
llama.cpp一键启动脚本
路径示例:
llama.cpp所在路径:
D:\AI\llama.cpp\build\bin\Release\llama-server.exe
模型所在路径:
D:\AI\models\Gemma 3 4B
D:\AI\models\Google_Gemma4-E2B
D:\AI\models\Qwen2.5-VL 7B
脚本:
```bat@echo offchcp 65001 >nultitle llama.cpp 模型启动器color 0B
:menucls
echo.echo ============================================================echo llama.cpp 模型启动器echo ============================================================echo.echo [1] Gemma 3 4Becho 文本对话echo ------------------------------------------------------------echo.echo [2] Qwen2.5-VL 7Becho 多模态 / 图片理解echo ------------------------------------------------------------echo.echo [3] Gemma 4 E2Becho 多模态 / 图片理解echo ------------------------------------------------------------echo.echo [0] 退出echo.echo ============================================================echo.set /p choice= 请输入数字 [0-4]:
if "%choice%"=="1" goto gemmaif "%choice%"=="2" goto qwenif "%choice%"=="3" goto gemma4if "%choice%"=="0" exit
echo.echo 输入错误,请输入 0 - 3timeout /t 2 /nobreak >nulgoto menu
:gemmaclsecho.echo ============================================================echo Gemma 3 4Becho ============================================================echo.echo 正在启动模型,请稍候...echo.
start "llama.cpp - Gemma 3 4B" cmd /k ""D:\AI\llama.cpp\build\bin\Release\llama-server.exe" -m "D:\AI\models\Gemma 3 4B\google_gemma-3-4b-it-Q4_K_M.gguf" -ngl 999 -c 8192 --host 127.0.0.1 --port 8080"
goto browser
:qwenclsecho.echo ============================================================echo Qwen2.5-VL 7Becho ============================================================echo.echo 类型:多模态 / 图片理解echo.echo 正在启动模型,请稍候...echo.
start "llama.cpp - Qwen2.5-VL 7B" cmd /k ""D:\AI\llama.cpp\build\bin\Release\llama-server.exe" -m "D:\AI\models\Qwen2.5-VL 7B\Qwen2.5-VL-7B-Instruct-UD-IQ3_XXS.gguf" --mmproj "D:\AI\models\Qwen2.5-VL 7B\mmproj-BF16.gguf" -ngl 999 -c 4096 --host 127.0.0.1 --port 8080"
goto browser
:gemma4clsecho.echo ============================================================echo Gemma 4 E2Becho ============================================================echo.echo 类型:多模态 / 图片理解echo.echo 主模型:Gemma 4 E2B Q4_K_Mecho MMProj :mmproj-BF16.ggufecho.echo 正在启动模型,请稍候...echo.
start "llama.cpp - Gemma 4 E2B" cmd /k ""D:\AI\llama.cpp\build\bin\Release\llama-server.exe" -m "D:\AI\models\Google_Gemma4-E2B\gemma-4-E2B-it-Q4_K_M.gguf" --mmproj "D:\AI\models\Google_Gemma4-E2B\mmproj-BF16.gguf" -ngl 999 -c 8192 --host 127.0.0.1 --port 8080"
goto browser
:browserecho.echo 等待模型启动...echo.
timeout /t 15 /nobreak >nul
echo 正在打开浏览器...start "" "http://127.0.0.1:8080"
exit```根据自己文件所在目录自行修改即可。
llama.cpp一键启动脚本
https://wenzoo.cc.cd/posts/system/llamacpp一键启动脚本/