[ blog · deep-dive ]10 min read

エージェント検索 vs SERP スクレイピング：なぜエージェントには別の API が必要か

Sarah Choy·公開: 2026年5月29日·読了 10 分

20 年間、検索 API といえば「Google の結果ページをスクレイプする」ことを意味していた。AI エージェントがその前提を壊した。エージェント検索とは実際に何なのか、なぜ登場したのか、そして旧来の SERP モデルがまだ意味を持つのはいつかをまとめた。

要点

• •エージェント検索とは、AI エージェントに消費されるよう設計された Web 検索だ：意味的な目的を送ると、コンテキストウィンドウに収まるサイズの、短く ranked でクリーンな引用可能テキスト passage のリストが返ってくる。
• •SERP スクレイピングは検索エンジン結果ページの生の HTML / JSON を返す — 言語モデルではなく、人間とダッシュボードのために作られている。
• •この転換が起きたのは、LLM が SERP の塊ではなく短い ranked テキスト上で推論するからであり、また Microsoft が 2025 年 8 月に Bing Search API を引退させ、市場全体に選び直しを強いたからだ。
• •エージェント検索は SERP API に欠ける 3 つを加える：整形済みスニペット、任意の grounding 済み回答、そしてエージェントに優しい課金（1 回単位、しばしば成功時のみ）。
• •SERP スクレイピングがまだ勝つのは、Google の完全な結果ページ — ランキング、ナレッジパネル、ローカルパック — が本当に必要で、自前のクリーニングパイプラインを運用するときだ。

まず定義から

エージェント検索とは、人間に表示するためではなく AI エージェントに消費されるよう設計された Web 検索だ。クエリ — あるいはより高次の意味的目的 — を送ると、短く ranked なタイトル・URL・整形済みテキスト passage のリスト、ときには完成した引用付き回答が、すでに言語モデルのコンテキストウィンドウに落とし込める形で返ってくる。

これは「検索 API」がそれまでの 20 年間意味してきたものとは別のプロダクトだ。20 年にわたり、検索 API はこう意味していた：人間が見るであろう結果ページをくれ。その前提こそ、AI エージェントが壊したものだ。

旧来のモデル：SERP スクレイピング

SERP（検索エンジン結果ページ）API は、Google や Bing の結果ページの構造化 JSON — organic リンク、ナレッジパネル、「people also ask」、ローカルパック、広告、ショッピングカルーセル — を返す。Serper や SerpApi のようなツールはこれを極めてうまく、安くこなす。出力は人がブラウザで見るものに忠実だ：

{
  "organic": [
    { "position": 1, "title": "…", "link": "https://…", "snippet": "…" },
    { "position": 2, "title": "…", "link": "https://…", "snippet": "…" }
  ],
  "knowledgeGraph": { "title": "…", "type": "…", "description": "…" },
  "peopleAlsoAsk": [ /* … */ ],
  "relatedSearches": [ /* … */ ]
}

これは SEO ダッシュボード、順位トラッカー、あるいは人間が介在するリサーチツールには完璧だ。だが言語モデルにとっては間違った形だ。理由は一つ、身も蓋もないものだ：モデルは SERP の塊の上で効率よく推論できない。モデルは短く、命名され、ranked なテキスト上で推論する。完全な SERP をモデルに渡せば、回答とは無関係なレイアウトのメタデータや広告、「関連検索」にコンテキストトークンを費やすことになる。

新しいモデル：エージェント検索

エージェント検索は SERP を捨て、エージェントが使えるものだけを返す。同じクエリが、コンパクトで ranked なクリーン passage のリストとして返ってくる：

{
  "results": [
    {
      "title": "Retrieval-augmented generation - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Retrieval-augmented_generation",
      "snippet": "Retrieval-augmented generation (RAG) combines search with\ntext generation, grounding LLM answers in retrieved documents."
    }
    /* …4 more, ranked */
  ],
  "result_count": 5,
  "credits_used": 15
}

この形は、SERP API があなたに委ねている 3 つの意図的な決定を符号化している：

• 整形済みスニペット。 ボイラープレート — ナビ、クッキーバナー、広告 — が剥ぎ取られているので、モデルはコンテキストをシグナルに費やせる。
• 広告のためではなく関連性のためのランキング。 結果は、上位スロットを収益化する結果ページのレイアウトではなく、クエリへの有用さで並べられる。
• サイズの予算。 100 件ではなく一握りの結果。コンテキストウィンドウとトークン予算は有限だからだ。

なぜ今この転換が起きたのか

2025〜2026 年に 2 つの力が収束した。

1. LLM が SERP 形式を負債にした

エージェントがツールとして検索を呼び始めた途端、ミスマッチが明白になった。SERP の足場に費やすトークンはどれも実際のソースに費やされないトークンであり、クリーニングされていないページはどれも、モデルが脱線したりクッキーバナーを引用したりする場所になる。各チームは、あらゆる SERP API の上にクリーニングとランキングのレイヤーを書く羽目になった — それはまさに、エージェント検索が内蔵しているレイヤーだ。

2. Bing の引退が選び直しを強いた

2025 年 8 月 11 日、Microsoft は Bing Search API を引退させ、多くの LLM パイプラインを陰で grounding していたエンドポイントを廃止した。後継の — Grounding with Bing Search、Azure AI Foundry 内 — はドロップイン置換にならない API で、1,000 トランザクションあたり約 $35 で課金される。数千のチームがちょうど新しいプロバイダを選ばざるを得ない瞬間に、エージェントネイティブのスタートアップの波が出荷した：Exa は $85M のシリーズ B を調達、Parallel は $100M を調達、Tavily は Nebius に $275M で買収され、Linkup はシードを調達した。このカテゴリーはただ現れたのではない — 資金を得て、表舞台へと押し出された。

SERP スクレイピング vs エージェント検索：正直な表

誰も料金ページに載せない経済性

「エージェント検索は Serper の 10 倍の価格だ」という値札ショックは、パイプライン全体を価格づけすると消える。SERP API は結果ページをくれる。モデルに食わせるには、選んだリンクにコンテンツエクストラクタを走らせ、さらにクリーニングとランキングのロジックを構築・保守するエンジニアリングが必要になる。エージェント検索はそれを呼び出しの中に畳み込む。同じものに 10 倍払っているのではない。2 ステップに 2 回ではなく、2 ステップに 1 回払っているのだ。

もう一つの、より狡猾なコストがある：リトライだ。エージェントはファンアウトし、一時的失敗でリトライする。クエリ単位で課金する SERP では、リトライのたびに課金される。最もきれいな防御は 成功時のみ 課金だ — その前の 3 回のタイムアウトではなく、HTTP 200 に対して支払う。バースト的なエージェントトラフィックでは、この単一の課金ルールが、プロバイダ間の 1 回あたり価格差よりも多くを節約することが多い。

エージェント検索の上に構築する：最小ループ

出力がすでにモデル向けに整形されているので、統合は短い。ツールスキーマを引っ張り、モデルに渡し、検索をツールとして呼ばせる：

import anthropic, requests

# Agentic search ships a ready-made tool definition — no hand-written JSON
schema = requests.get("https://www.apipick.com/api/search/web/tool-schema").json()
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    tools=[schema["claude"]],
    messages=[{"role": "user", "content": "What is agentic search, with sources?"}],
)
# The model calls /api/search/web, gets clean ranked snippets back,
# and answers with citations — no SERP parser anywhere in the loop.

それがこのカテゴリーの要点だ：検索 API はエージェントが既にいる場所まで出向くので、かつてあなたのコードベースに住んでいたグルーコードが、エンドポイントの裏側へ移る。

では、どちらを使うべきか？

執筆

Sarah Choy

CEO, API Pick

API Pick の CEO。AI エージェントと LLM ワークフロー向けの本番運用可能な API について執筆。