[ blog · deep-dive ]10 min read

Agentic search versus SERP-scraping: waarom agents een andere API nodig hebben

Sarah Choy·Gepubliceerd op 29 mei 2026·10 min leestijd

Twintig jaar lang betekende een zoek-API 'scrape de resultatenpagina van Google'. AI-agents doorbraken die aanname. Hier lees je wat agentic search werkelijk is, waarom het ontstond en wanneer het oude SERP-model nog steeds zinvol is.

TL;DR

• •Agentic search is webzoekfunctionaliteit ontworpen om door een AI-agent verwerkt te worden: je stuurt een semantisch doel en krijgt een korte, gerangschikte lijst van schone, citeerbare tekstpassages terug, op maat gemaakt voor een contextvenster.
• •SERP-scraping geeft de ruwe HTML/JSON van een zoekresultatenpagina terug — gebouwd voor mensen en dashboards, niet voor taalmodellen.
• •De verschuiving gebeurde omdat LLM's redeneren over korte, gerangschikte tekst en niet over een SERP-blob, en omdat Microsoft in augustus 2025 de Bing Search API uitfaseerde, wat de hele markt dwong opnieuw te kiezen.
• •Agentic search voegt drie dingen toe die SERP-API's missen: voorgeschoonde snippets, optionele gefundeerde antwoorden, en agentvriendelijke facturering (per call, vaak alleen bij succes).
• •SERP-scraping wint nog steeds wanneer je echt de volledige resultatenpagina van Google nodig hebt — rankings, knowledge panels, local packs — en je eigen opschoningspijplijn draait.

Vooraf een definitie

Agentic search is webzoekfunctionaliteit die ontworpen is om door een AI-agent verwerkt te worden in plaats van aan een mens getoond. Je stuurt een zoekopdracht — of een semantisch doel op een hoger niveau — en je krijgt een korte, gerangschikte lijst van titels, URL's en voorgeschoonde tekstpassages terug, soms een afgerond geciteerd antwoord, al gevormd om in het contextvenster van een taalmodel te vallen.

Dat is een ander product dan wat "een zoek-API" de voorgaande twintig jaar betekende. Twee decennia lang betekende een zoek-API: geef me de resultatenpagina die een mens zou zien. Precies die aanname is wat AI-agents doorbraken.

Het oude model: SERP-scraping

Een SERP-API (search engine results page) geeft de gestructureerde JSON van een resultatenpagina van Google of Bing terug — organische links, het knowledge panel, "people also ask", local packs, advertenties, shoppingcarrousels. Tools als Serper en SerpApi doen dit uitstekend en goedkoop. De output is getrouw aan wat een persoon in een browser ziet:

{
  "organic": [
    { "position": 1, "title": "…", "link": "https://…", "snippet": "…" },
    { "position": 2, "title": "…", "link": "https://…", "snippet": "…" }
  ],
  "knowledgeGraph": { "title": "…", "type": "…", "description": "…" },
  "peopleAlsoAsk": [ /* … */ ],
  "relatedSearches": [ /* … */ ]
}

Dit is perfect voor een SEO-dashboard, een rank tracker, of een research-tool met een mens in de lus. Het is de verkeerde vorm voor een taalmodel, om één botte reden: een model kan niet effectief redeneren over een SERP-blob. Het redeneert over korte, benoemde, gerangschikte tekst. Geef een model een volledige SERP en je verspilt contexttokens aan lay-outmetadata, advertenties en "related searches" die niets met het antwoord te maken hebben.

Het nieuwe model: agentic search

Agentic search gooit de SERP weg en geeft alleen terug wat een agent kan gebruiken. Dezelfde query komt terug als een compacte, gerangschikte lijst van schone passages:

{
  "results": [
    {
      "title": "Retrieval-augmented generation - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Retrieval-augmented_generation",
      "snippet": "Retrieval-augmented generation (RAG) combines search with\ntext generation, grounding LLM answers in retrieved documents."
    }
    /* …4 more, ranked */
  ],
  "result_count": 5,
  "credits_used": 15
}

Deze vorm codeert drie doelbewuste beslissingen die een SERP-API aan jou overlaat:

• Voorgeschoonde snippets. De ballast — navigatie, cookiebanners, advertenties — wordt gestript, zodat het model zijn context aan signaal besteedt.
• Ranking op relevantie, niet op advertenties. Resultaten worden geordend op bruikbaarheid voor de query, niet op een resultatenpagina-lay-out die de bovenste plekken te gelde maakt.
• Een groottebudget. Een handvol resultaten, geen honderd, omdat contextvensters en tokenbudgetten eindig zijn.

Waarom de verschuiving nú gebeurde

Twee krachten kwamen samen in 2025–2026.

1. LLM's maakten het SERP-formaat een blok aan het been

Zodra agents zoeken als tool begonnen aan te roepen, werd de mismatch overduidelijk. Elk token dat aan SERP-stellingwerk wordt besteed is een token dat niet aan de echte bronnen wordt besteed, en elke ongeschoonde pagina is een plek waar het model afgeleid kan raken of een cookiebanner kan citeren. Teams merkten dat ze een opschoon- en rankinglaag bovenop elke SERP-API zaten te schrijven — precies de laag die agentic search ingebakken meelevert.

2. Het uitfaseren van Bing dwong tot herkiezen

Op 11 augustus 2025 faseerde Microsoft de Bing Search API's uit, waarmee het de endpoints ontmantelde die stilletjes een groot deel van de LLM-pijplijnen fundeerden. De vervanger — Grounding with Bing Search binnen Azure AI Foundry — is geen drop-in-API en rekent zo'n $35 per 1.000 transacties. Duizenden teams moesten een nieuwe provider kiezen op precies het moment dat een golf van agent-native startups lanceerde: Exa haalde een Series B van $85M op, Parallel haalde $100M op, Tavily werd door Nebius overgenomen voor $275M, Linkup haalde een seed op. De categorie verscheen niet zomaar — ze werd gefinancierd en het daglicht in geduwd.

SERP-scraping versus agentic search: de eerlijke tabel

De economie die niemand op de prijspagina zet

De prijsschok — "agentic search is 10x de prijs van Serper" — verdwijnt zodra je de hele pijplijn beprijst. Een SERP-API geeft je een resultatenpagina; om een model te voeden draai je vervolgens een content-extractor op de gekozen links, plus de engineering om de opschoon- en rankinglogica te bouwen en te onderhouden. Agentic search vouwt dat in de call. Je betaalt geen 10x voor hetzelfde; je betaalt één keer voor twee stappen in plaats van twee keer voor twee stappen.

Er is een tweede, sluipendere kostenpost: retries. Agents waaieren uit en proberen opnieuw bij tijdelijke storingen. Bij een SERP-facturering per query is elke retry factureerbaar. De schoonste verdediging is facturering alleen bij succes — je betaalt voor de HTTP 200, niet voor de drie timeouts ervoor. Voor stootsgewijs agentverkeer bespaart die ene factureringsregel vaak meer dan het verschil in prijs per call tussen providers.

Bouwen op agentic search: de minimale loop

Omdat de output al modelvormig is, is de integratie kort. Haal een tool-schema op, geef het aan je model, en laat het zoeken als tool aanroepen:

import anthropic, requests

# Agentic search ships a ready-made tool definition — no hand-written JSON
schema = requests.get("https://www.apipick.com/api/search/web/tool-schema").json()
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    tools=[schema["claude"]],
    messages=[{"role": "user", "content": "What is agentic search, with sources?"}],
)
# The model calls /api/search/web, gets clean ranked snippets back,
# and answers with citations — no SERP parser anywhere in the loop.

Dat is het hele punt van de categorie: de zoek-API ontmoet de agent waar die al is, zodat de lijmcode die vroeger in je codebase leefde achter het endpoint verhuist.

Dus welke moet je gebruiken?

Geschreven door

Sarah Choy

CEO, API Pick

Sarah Choy is de CEO van API Pick. Ze schrijft over het bouwen van productieklare API's voor AI-agents en LLM-workflows.