OpenRouter peluncuran cache respons: permintaan yang sama tanpa biaya, latensi turun dari detik ke milidetik

robot
Pembuatan abstrak sedang berlangsung

币界网消息,OpenRouter推出响应缓存(response caching)功能,开发者在请求头中加入x-openrouter-cache: true即可启用。
首次调用正常走供应商计费,之后完全相同的请求直接返回缓存结果,不产生token费用。
缓存命中后响应时间在80到300毫秒之间,查询平均4毫秒。
未缓存时,Gemini 2.5 Flash平均约1.3秒,Kimi K2.6约4.6秒,GPT-5.5约9.1秒。
该功能与供应商的prompt缓存不同,响应缓存完全跳过供应商,从OpenRouter边缘缓存直接返回完整响应。
文本、图片、音频、文档、工具调用均可缓存,覆盖四个端点。
缓存按API key隔离,TTL默认5分钟,可设为1秒到24小时。

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan