Когда приложение показывает ответ модели по частям, первый видимый фрагмент не означает, что операция завершилась. Соединение может оборваться, клиент может повторить запрос, а лог обычного API-вызова покажет только длительность открытого потока. Это важно для команд, которые ставят перед ИИ-сервисом шлюз.
22 октября Google объявила поддержку потоковых соединений в API Gateway в статусе Public Preview. В перечень входят SSE, WebSocket, gRPC streaming и потоковые HTTP-ответы. По сообщению компании, контракт API менять не нужно, но опцию включают при создании нового шлюза; существующий шлюз нельзя переключить на неё на месте. Это сообщение о возможностях конкретного облачного сервиса, а не доказательство, что любой потоковый сценарий уже надёжен.

Один ответ, несколько состояний
Для клиента полезно различать начало ответа, получение очередного фрагмента, штатное завершение и обрыв. Если интерфейс при первом токене снимает индикатор ожидания и записывает обращение как успешное, он скроет недополученный ответ. Тест должен оборвать соединение после нескольких фрагментов и проверить, что пользователь увидит понятное сообщение, а система не сохранит незаконченный текст как окончательное решение.
Отдельно проверьте повторное подключение. Для SSE и WebSocket понадобится понятное правило: продолжить прежнюю операцию, запросить результат заново или предложить пользователю повторить действие. Автоматический повтор опасен, если за потоком стоит не только генерация текста, но и действие агента, например создание заявки. В таком случае нужен идентификатор операции и защита от повторного выполнения.

Почему обычная задержка вводит в заблуждение
В анонсе Google отмечено, что метрика latency для потокового соединения отражает всю его продолжительность, а не время до первого байта. Длинный поток может выглядеть «медленным» в графике, хотя пользователь увидел ответ быстро. И наоборот, быстрый первый фрагмент может скрывать зависание в середине. На тестовом маршруте стоит отдельно измерять время до первого фрагмента, интервалы между фрагментами, долю оборванных соединений и время до подтверждённого завершения. Это предложенные эксплуатационные метрики, не обещанные показатели Google.
Проверка перед переносом трафика
Проверку удобно разделить на две части.
- Сначала оцените поведение клиента: отображается ли первый фрагмент, остаётся ли открытым индикатор работы и что происходит при закрытии вкладки.
- Затем проверьте серверную сторону: получил ли обработчик сигнал обрыва, завершил ли задачу и как записал её итог. Эти состояния не обязаны совпадать.
Например, пользователь мог потерять соединение, когда сервер уже закончил работу. Такой тест помогает избежать ложного сообщения об ошибке и случайного повтора действия.
Для каждого тестового запроса запишите идентификатор операции и четыре отметки:
- время отправки,
- первого фрагмента,
- последнего фрагмента
- и подтверждения завершения.
При разрыве соединения оставьте завершение пустым до отдельной проверки на сервере. Сравнивайте потоки одного типа и длины: средняя длительность коротких и длинных ответов сама по себе мало говорит о качестве работы клиента. Это схема проверки, а не описание встроенных метрик API Gateway.
Если поток подключает ИИ-агента к CRM или другой системе, отделите генерацию ответа от записи данных. Повтор безопасного чтения и повтор создания заявки имеют разные последствия. Правило повторного выполнения задаётся в приложении, а не возникает автоматически из поддержки WebSocket или SSE. Для выбора архитектуры обмена между сервисами полезно заранее решить, когда хватит сценария n8n, а когда нужен программный обработчик.
- Создайте отдельный тестовый шлюз, потому что Preview нельзя включить на существующем.
- Прогоните обычный короткий ответ, длинный поток и разрыв соединения.
- Сверьте аутентификацию, лимиты и журнал событий с теми же требованиями, что действуют для непотоковых вызовов.
- Наконец, убедитесь, что клиент различает завершённый результат и текст, который лишь успел появиться на экране.
Факты и выводы проверены автором по указанному источнику.
Источник: Google Developers Blog, 22 октября 2026 года.
Автор: Александр Богданов, главный разработчик Bogdanov Lab.