Gemini 4 Carbon

Зачем

Если ты отправляешь один и тот же системный промпт + документы на каждом запросе — модель повторно тратит compute на их обработку. Prompt caching сохраняет эти токены и заряжает 10× меньше при попадании.

Базовая формула экономии:

• Cache write — обычно 1.25× цены input (5-минутный TTL) или 2× (1-часовой).
• Cache hit — 0.1× цены input.
• Окупается с 2-3 повторений того же префикса в течение TTL.

Что кэшируется

Префикс должен быть идентичным byte-в-byte: системный промпт, статические документы, фиксированные few-shot примеры. Динамическая часть (юзер-промпт, переменные) идёт ПОСЛЕ кэшированной.

Когда использовать

• RAG: документы в context каждого запроса (кэшируй документы).
• Агенты: длинная инструкция системы (кэшируй её).
• Few-shot prompting: фиксированные примеры (кэшируй блок примеров).

Как работает

Передай stream: true в теле запроса — сервер вернёт SSE-поток с заголовком content-type: text/event-stream. Каждый чанк — строка вида data: {...}\n\n. Конец потока — data: [DONE]\n\n.

curl -N https://api.ranvik.ru/v1/chat/completions \
  -H "Authorization: Bearer rk_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5",
    "messages": [{"role": "user", "content": "Привет"}],
    "stream": true,
    "stream_options": {"include_usage": true}
  }'

Каждый чанк содержит choices[0].delta — частичные данные. Последний чанк перед [DONE] (если включить stream_options.include_usage: true) содержит usage с реальным числом токенов — используй для биллинг-учёта на клиенте.

Когда использовать

• Чат-интерфейсы, где важна перцептивная скорость отклика.
• Длинные ответы (> 1000 токенов) — пользователь видит прогресс.
• Streaming tool-calls — delta.tool_calls[i].function.arguments приходят инкрементально.

Когда НЕ использовать

• Backend-to-backend интеграции, где нужен только финальный JSON — добавляет парсинг SSE без выгод.
• Когда обязательно знать стоимость до отправки в БД — без include_usage затраты неизвестны.