跳到主要内容

自定义推理引擎

离线模式支持开箱即用，由 Ante 自动安装并监管引擎。您可以替换二进制文件、自定义模型与 GPU 选项，或连接到自行运行的服务。

使用自编译的 llama.cpp 构建​

Ante 解析引擎二进制的优先级如下：

  1. 在 offline-config.json 中锁定的二进制路径（见下文）
  2. 托管的 ~/.ante/llama.cpp/current/llama 多路复用程序

托管模式不会自动发现任意 PATH 安装。若要使用自己的构建，请在 ~/.ante/offline-config.json 中将 llama_cpp.binaries.server 指向其 llama 多路复用程序：

{
  "llama_cpp": {
    "binaries": {
      "server": "/opt/llama.cpp/build/bin/llama"
    }
  }
}

该文件必须存在并支持 llama serve。历史配置中以 llama-server 结尾的路径会自动解析为同目录的 llama，因此现有托管安装无需重写配置即可迁移。若对应多路复用程序不存在，请运行 ante offline install 安装受支持引擎，或更新自定义路径。

备注

Ante 通常会在安装期间自行写入这些字段。若将其指向自定义构建版本，版本检查可能会提示“升级”回固定版本 —— 拒绝提示即可保留自定义构建。

调优托管推理​

可以通过以下两处旋钮调优托管推理：

模型专属额外参数。 在模型的偏好设置中设置 extra_args，添加 llama.cpp 模型选项。字符串采用 Shell 语法解析并转换为该模型的路由器预设；提供的值会覆盖 Ante 模型默认值，无需重启共享服务：

建议通过 CLI 设置，无需手写偏好键：

ante offline use Qwen3.5-9B --args "--threads 12 --load-mode mmap --cache-type-k q8_0"

直接编辑配置时，请使用模型的绝对文件路径或验证模型下载 URL 作为键（见 ante offline list --json 的 reference）；下方路径仅为示例。

{
  "model_preferences": {
    "/models/Qwen3.6-27B-Q4_K_M.gguf": {
      "model_id": "/models/Qwen3.6-27B-Q4_K_M.gguf",
      "context_window": 32768,
      "thinking_enabled": true,
      "extra_args": "--threads 12 --load-mode mmap --cache-type-k q8_0"
    }
  }
}

请使用已安装 llama.cpp 版本支持的选项。ante offline use 会检查基本语法，并拒绝 --host、--port、--model、--alias 等保留选项。其他无效选项或参数值可能到加载模型时才报错。

Ante v0.2.12 固定使用 llama.cpp b11540。旧加载参数 --mlock、--mmap、--no-mmap、--dio / --direct-io 与 --ndio / --no-direct-io 已被拒绝。请将已保存的 extra_args 中这些参数替换为 --load-mode 与引擎支持的模式，例如上面的 --load-mode mmap。

GPU 卸载层数。 llama_cpp.server_defaults.gpu_layers 控制 -ngl 参数。默认 -1 代表将所有网络层卸载至 GPU；若显存紧张可适当调小数值：

{
  "llama_cpp": {
    "server_defaults": { "gpu_layers": 24 }
  }
}

连接到运行中的服务端​

您可以完全独立运行 llama-server —— 任意构建版本、任意参数 —— 并让 Ante 作为客户端连接。Ante 会自动扫描本地端口 8080-8179，也支持在 /offline-mode 中按 Ctrl+A 手动输入 host:port 接入。

关于端点输入格式、Docker 示例、断开行为及远程主机数据流注意事项，请参见接入现有服务。

使用其他完全不同的推理框架​

任何提供兼容 OpenAI 接口的端点（Ollama、vLLM、LM Studio、局域网 GPU 服务器等），均可通过标准目录提供商机制接入 Ante。该方式提供常规提供商机制（模型选择器、通信协议）；本页中的生命周期管理、内存预估与加载进度展示专属于托管的 llama.cpp 路径。参见添加本地提供商。