|
@@ -22,9 +22,10 @@ CONDA_ENV="mineru2"
|
|
|
PORT="8101"
|
|
PORT="8101"
|
|
|
HOST="0.0.0.0"
|
|
HOST="0.0.0.0"
|
|
|
|
|
|
|
|
-# 本地 GGUF 模型路径
|
|
|
|
|
-MODEL_PATH="$HOME/models/glmocr/ggml-org_GLM-OCR-GGUF_GLM-OCR-Q8_0.gguf"
|
|
|
|
|
-MMPROJ_PATH="$HOME/models/glmocr/ggml-org_GLM-OCR-GGUF_mmproj-GLM-OCR-Q8_0.gguf"
|
|
|
|
|
|
|
+# 本地 GGUF 模型路径(llama-server -hf 下载后的实际路径)
|
|
|
|
|
+HF_CACHE="$HOME/models/hf_home/hub/models--ggml-org--GLM-OCR-GGUF/snapshots/65a42de1148dbed2297e922b5dbc7d9b70c36578"
|
|
|
|
|
+MODEL_PATH="$HF_CACHE/GLM-OCR-Q8_0.gguf"
|
|
|
|
|
+MMPROJ_PATH="$HF_CACHE/mmproj-GLM-OCR-Q8_0.gguf"
|
|
|
|
|
|
|
|
# llama-server 参数
|
|
# llama-server 参数
|
|
|
CONTEXT_SIZE="16384" # 上下文长度(需 >= max_tokens,推荐 8192-16384)
|
|
CONTEXT_SIZE="16384" # 上下文长度(需 >= max_tokens,推荐 8192-16384)
|