STEP 01
路由 Routing
请求按地区与负载就近路由到最近的集群，跨区请求自动切到最近的可用节点，不排队。
-
P99 推理延迟
6ms
跨集群调度，单个请求的 P99 落在个位数毫秒级。
-
计费单位
1token
输入与输出按 token 计费，账单逐 token 可审计。
-
接入时间
5分钟
创建密钥、替换 SDK、发一次真实请求，三分钟跑通。
无最小消费
模型热更新
请求级日志
密钥按项目隔离
推理链路
一次请求，经过路由、批处理、缓存三步
下面这段会跟着你的滚动往下走。每一步的右侧链路图都会同步高亮，说明请求在这一段到底发生了什么。
STEP 02
批处理 Batch
同一批请求按模型与上下文窗口打包，在同一个 GPU 上并行执行，排队时间被摊平。
STEP 03
缓存 Cache
命中输入缓存直接返回结果，命中的请求不再重新生成，重复查询的 P99 降到个位数。
请求链路ROUTING → BATCH → CACHE
-
路由 Routing
就近路由到最近的集群，跨区请求自动切流。
-
批处理 Batch
同批请求在同一个 GPU 上并行执行。
-
缓存 Cache
命中输入缓存直接返回结果，未命中才落库。
请求结果返回
计费
按 token 计费，账单逐 token 可审计
没有最小消费，也没有按量打包的隐形门槛。输入与输出按 token 分别计价，每一次请求都对应一条可导出的明细。
- 按 token输入与输出分开计价，账单口径与请求日志一一对应。
- 无最小消费没有月费门槛，闲时只付真正被消耗掉的 token。
- 可审计每条请求可导出明细，方便对账与合规复核。
接入
五分钟接入，不需要为模型单独扩容
把推理后端接进你自己的产品，只需要三步：创建一个推理密钥，替换 SDK 里的端点，发一次真实请求。
- 01创建推理密钥，指定项目与额度上限。
- 02替换 SDK 里的端点，模型与上下文窗口照常配置。
- 03发一次真实请求，延迟与 token 用量当场可查。
import { Halide } from "@halide/sdk";
const halide = new Halide({ key: process.env.HALIDE_KEY });
const response = await halide.chat({
model: "halide-mistral-7b",
messages: [{ role: "user", content: "写一段请求体校验的示例代码" }],
max_tokens: 4096
});
console.log(response.id, response.token_usage);