[ blog · deep-dive ]10 min read

Agentic Search vs SERP-скрейпинг: почему агентам нужна другая API

Sarah Choy·Опубликовано 29 мая 2026 г.·10 мин чтения

Двадцать лет search API означало «скрейпить страницу результатов Google». AI-агенты сломали это допущение. Вот что такое agentic search на самом деле, почему он появился и когда старая модель SERP всё ещё имеет смысл.

Кратко

• •Agentic search — это веб-поиск, спроектированный для потребления AI-агентом: вы отправляете семантическую цель и получаете короткий ранжированный список чистых, цитируемых текстовых пассажей под размер контекстного окна.
• •SERP-скрейпинг возвращает сырой HTML/JSON страницы результатов поисковика — построен для людей и дашбордов, а не для языковых моделей.
• •Сдвиг произошёл потому, что LLM рассуждают по короткому ранжированному тексту, а не по SERP-блобу, и потому что Microsoft вывел из эксплуатации Bing Search API в августе 2025 года, заставив весь рынок заново выбирать.
• •Agentic search добавляет три вещи, которых лишены SERP API: предварительно очищенные сниппеты, опциональные заземлённые ответы и удобную для агентов тарификацию (за вызов, часто только за успех).
• •SERP-скрейпинг всё ещё выигрывает, когда вам действительно нужна полная страница результатов Google — ранжирование, knowledge panels, локальные паки — и вы запускаете собственный пайплайн чистки.

Определение, сразу

Agentic search — это веб-поиск, спроектированный для потребления AI-агентом, а не для показа человеку. Вы отправляете запрос — или более высокоуровневую семантическую цель — и получаете короткий ранжированный список заголовков, URL и предварительно очищенных текстовых пассажей, иногда готовый ответ со ссылками, уже отформатированный для вставки в контекстное окно языковой модели.

Это другой продукт, нежели то, что «search API» означало предыдущие двадцать лет. Два десятилетия search API означало: дай мне страницу результатов, которую увидел бы человек. Именно это допущение и сломали AI-агенты.

Старая модель: SERP-скрейпинг

SERP (search engine results page) API возвращает структурированный JSON страницы результатов Google или Bing — органические ссылки, knowledge panel, «people also ask», локальные паки, рекламу, карусели шопинга. Инструменты вроде Serper и SerpApi делают это крайне хорошо и дёшево. Вывод верен тому, что человек видит в браузере:

{
  "organic": [
    { "position": 1, "title": "…", "link": "https://…", "snippet": "…" },
    { "position": 2, "title": "…", "link": "https://…", "snippet": "…" }
  ],
  "knowledgeGraph": { "title": "…", "type": "…", "description": "…" },
  "peopleAlsoAsk": [ /* … */ ],
  "relatedSearches": [ /* … */ ]
}

Это идеально для SEO-дашборда, трекера позиций или исследовательского инструмента с человеком в контуре. Это неправильная форма для языковой модели по одной грубой причине: модель не может эффективно рассуждать по SERP-блобу. Она рассуждает по короткому, поименованному, ранжированному тексту. Вручи модели полный SERP — и вы тратите токены контекста на метаданные раскладки, рекламу и «related searches», которые не имеют отношения к ответу.

Новая модель: agentic search

Agentic search выбрасывает SERP и возвращает только то, что агент может использовать. Тот же запрос возвращается компактным ранжированным списком чистых пассажей:

{
  "results": [
    {
      "title": "Retrieval-augmented generation - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Retrieval-augmented_generation",
      "snippet": "Retrieval-augmented generation (RAG) combines search with\ntext generation, grounding LLM answers in retrieved documents."
    }
    /* …4 more, ranked */
  ],
  "result_count": 5,
  "credits_used": 15
}

Эта форма кодирует три осознанных решения, которые SERP API оставляет вам:

• Предварительно очищенные сниппеты. Шаблонщина — навигация, баннеры cookie, реклама — вырезана, так что модель тратит контекст на сигнал.
• Ранжирование под релевантность, а не под рекламу. Результаты упорядочены по полезности для запроса, а не по раскладке страницы результатов, которая монетизирует верхние слоты.
• Бюджет на размер. Горстка результатов, а не сотня, потому что контекстные окна и бюджеты токенов конечны.

Почему сдвиг случился именно сейчас

В 2025–2026 годах сошлись две силы.

1. LLM сделали формат SERP помехой

Как только агенты начали вызывать поиск как инструмент, несоответствие стало очевидным. Каждый токен, потраченный на леса SERP, — это токен, не потраченный на реальные источники, и каждая неочищенная страница — место, где модель может отвлечься или процитировать баннер cookie. Команды обнаружили, что пишут слой чистки-и-ранжирования поверх каждой SERP API — ровно тот слой, который agentic search встраивает в себя.

2. Отставка Bing заставила выбирать заново

11 августа 2025 года Microsoft вывел из эксплуатации Bing Search API, отключив эндпоинты, которые тихо заземляли значительную долю пайплайнов LLM. Замена — Grounding with Bing Search внутри Azure AI Foundry — не является drop-in API и тарифицируется примерно по $35 за 1 000 транзакций. Тысячам команд пришлось выбирать нового поставщика ровно в тот момент, когда выстрелила волна agent-native стартапов: Exa привлёк Series B на $85M, Parallel привлёк $100M, Tavily был приобретён Nebius за $275M, Linkup привлёк seed. Категория не просто появилась — она получила финансирование и была вытолкнута на свет.

SERP-скрейпинг vs agentic search: честная таблица

Экономика, которую никто не выкладывает на страницу цен

Шок от ценника — «agentic search в 10 раз дороже Serper» — исчезает, когда вы оцениваете весь пайплайн. SERP API даёт вам страницу результатов; чтобы скормить модели, вы затем запускаете content extractor по выбранным ссылкам, плюс инженерию на построение и поддержку логики чистки и ранжирования. Agentic search складывает это в вызов. Вы платите не в 10 раз за то же самое; вы платите один раз за два шага вместо двух раз за два шага.

Есть и вторая, более коварная стоимость: ретраи. Агенты разветвляются и ретраят при временных сбоях. На поставщике SERP с оплатой за запрос каждый ретрай оплачивается. Самая чистая защита — оплата только за успех: вы платите за HTTP 200, а не за три тайм-аута перед ним. Для всплескового трафика агентов это единственное правило биллинга часто экономит больше, чем разница в цене за вызов между поставщиками.

Строим на agentic search: минимальный цикл

Поскольку вывод уже отформатирован под модель, интеграция короткая. Подтяните tool schema, передайте её модели и дайте ей вызывать поиск как инструмент:

import anthropic, requests

# Agentic search ships a ready-made tool definition — no hand-written JSON
schema = requests.get("https://www.apipick.com/api/search/web/tool-schema").json()
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    tools=[schema["claude"]],
    messages=[{"role": "user", "content": "What is agentic search, with sources?"}],
)
# The model calls /api/search/web, gets clean ranked snippets back,
# and answers with citations — no SERP parser anywhere in the loop.

В этом и весь смысл категории: search API встречает агента там, где он уже находится, так что glue-код, который раньше жил в вашей кодовой базе, переезжает за эндпоинт.

Так что же использовать?

Автор

Sarah Choy

CEO, API Pick

Сара Чой — CEO API Pick. Пишет о продакшен-готовых API для AI-агентов и LLM-воркфлоу.