[ blog · deep-dive ]10 min read

Pencarian agentik vs SERP scraping: mengapa agen membutuhkan API yang berbeda

Sarah Choy·Diterbitkan 29 Mei 2026·10 menit baca

Selama dua puluh tahun, sebuah API pencarian berarti 'scrape halaman hasil Google'. Agen AI mematahkan asumsi itu. Inilah apa sebenarnya pencarian agentik itu, mengapa ia muncul, dan kapan model SERP lama masih masuk akal.

TL;DR

• •Pencarian agentik adalah pencarian web yang dirancang untuk dikonsumsi oleh agen AI: Anda mengirim tujuan semantik dan menerima daftar pendek terperingkat berisi potongan teks yang bersih dan dapat dikutip, berukuran pas untuk sebuah context window.
• •SERP scraping mengembalikan HTML/JSON mentah dari halaman hasil mesin pencari — dibangun untuk manusia dan dashboard, bukan untuk model bahasa.
• •Pergeseran ini terjadi karena LLM bernalar atas teks pendek terperingkat, bukan atas sebuah blob SERP, dan karena Microsoft menghentikan Bing Search API pada Agustus 2025, memaksa pemilihan ulang di seluruh pasar.
• •Pencarian agentik menambahkan tiga hal yang tidak dimiliki API SERP: snippet yang sudah dibersihkan, jawaban berdasar (grounded) opsional, dan penagihan ramah-agen (per panggilan, sering kali hanya saat berhasil).
• •SERP scraping masih unggul ketika Anda benar-benar membutuhkan halaman hasil lengkap Google — peringkat, knowledge panel, local pack — dan menjalankan pipeline pembersihan Anda sendiri.

Sebuah definisi, di awal

Pencarian agentik adalah pencarian web yang dirancang untuk dikonsumsi oleh agen AI alih-alih ditampilkan ke manusia. Anda mengirim sebuah query — atau tujuan semantik tingkat lebih tinggi — dan menerima daftar pendek terperingkat berisi judul, URL, dan potongan teks yang sudah dibersihkan, kadang sebuah jawaban berkutipan yang sudah jadi, yang sudah dibentuk untuk dimasukkan ke context window sebuah model bahasa.

Itu adalah produk yang berbeda dari apa yang dimaksud "sebuah API pencarian" selama dua puluh tahun sebelumnya. Selama dua dekade, sebuah API pencarian berarti: beri saya halaman hasil yang akan dilihat manusia. Asumsi itu persis yang dipatahkan oleh agen AI.

Model lama: SERP scraping

Sebuah API SERP (search engine results page) mengembalikan JSON terstruktur dari halaman hasil Google atau Bing — tautan organik, knowledge panel, "people also ask", local pack, iklan, carousel shopping. Tool seperti Serper dan SerpApi melakukannya dengan sangat baik dan murah. Keluarannya setia pada apa yang dilihat seseorang di browser:

{
  "organic": [
    { "position": 1, "title": "…", "link": "https://…", "snippet": "…" },
    { "position": 2, "title": "…", "link": "https://…", "snippet": "…" }
  ],
  "knowledgeGraph": { "title": "…", "type": "…", "description": "…" },
  "peopleAlsoAsk": [ /* … */ ],
  "relatedSearches": [ /* … */ ]
}

Ini sempurna untuk dashboard SEO, sebuah rank tracker, atau tool research dengan human-in-the-loop. Ini bentuk yang salah untuk model bahasa, dengan satu alasan blak-blakan: sebuah model tidak bisa bernalar efektif atas blob SERP. Ia bernalar atas teks pendek, bernama, dan terperingkat. Berikan sebuah SERP penuh ke sebuah model dan Anda menghabiskan token konteks untuk metadata tata letak, iklan, dan "related searches" yang tidak ada hubungannya dengan jawabannya.

Model baru: pencarian agentik

Pencarian agentik membuang SERP dan hanya mengembalikan apa yang bisa dipakai sebuah agen. Query yang sama kembali sebagai daftar ringkas terperingkat berisi potongan-potongan yang bersih:

{
  "results": [
    {
      "title": "Retrieval-augmented generation - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Retrieval-augmented_generation",
      "snippet": "Retrieval-augmented generation (RAG) combines search with\ntext generation, grounding LLM answers in retrieved documents."
    }
    /* …4 more, ranked */
  ],
  "result_count": 5,
  "credits_used": 15
}

Bentuk ini mengkodekan tiga keputusan disengaja yang ditinggalkan API SERP kepada Anda:

• Snippet yang sudah dibersihkan. Boilerplate — navigasi, banner cookie, iklan — dilucuti, sehingga model menghabiskan konteksnya untuk sinyal.
• Peringkat untuk relevansi, bukan untuk iklan. Hasil diurutkan menurut kegunaan terhadap query, bukan menurut tata letak halaman hasil yang memonetisasi slot teratas.
• Anggaran ukuran. Segenggam hasil, bukan seratus, karena context window dan anggaran token itu terbatas.

Mengapa pergeseran ini terjadi sekarang

Dua kekuatan menyatu pada 2025–2026.

1. LLM menjadikan format SERP sebuah beban

Begitu agen mulai memanggil pencarian sebagai tool, ketidakcocokannya menjadi jelas. Setiap token yang dihabiskan untuk perancah SERP adalah token yang tidak dihabiskan untuk sumber sesungguhnya, dan setiap halaman yang tidak dibersihkan adalah tempat bagi model untuk terdistraksi atau mengutip banner cookie. Tim mendapati diri mereka menulis sebuah lapisan pembersihan-dan-peringkat di atas setiap API SERP — yang persis lapisan yang dipanggang pencarian agentik ke dalam.

2. Pensiunnya Bing memaksa pemilihan ulang

Pada 11 Agustus 2025, Microsoft menghentikan Bing Search API, menonaktifkan endpoint yang diam-diam mendasari sebagian besar pipeline LLM. Penggantinya — Grounding with Bing Search di dalam Azure AI Foundry — bukan API drop-in dan menagih sekitar $35 per 1.000 transaksi. Ribuan tim harus memilih penyedia baru pada saat persis ketika gelombang startup native-agen merilis: Exa menggalang Seri B $85J, Parallel menggalang $100J, Tavily diakuisisi Nebius senilai $275J, Linkup menggalang seed. Kategori ini bukan sekadar muncul — ia didanai dan dipaksa terbuka.

SERP scraping vs pencarian agentik: tabel yang jujur

Ekonomi yang tak seorang pun pasang di halaman harga

Kejutan harga — "pencarian agentik 10x harga Serper" — lenyap ketika Anda menghitung harga seluruh pipeline. Sebuah API SERP memberi Anda halaman hasil; untuk memberi makan sebuah model lalu Anda menjalankan content extractor pada tautan yang dipilih, plus rekayasa untuk membangun dan merawat logika pembersihan dan peringkat. Pencarian agentik melipat itu ke dalam panggilan. Anda tidak membayar 10x untuk hal yang sama; Anda membayar sekali untuk dua langkah alih-alih dua kali untuk dua langkah.

Ada biaya kedua yang lebih licik: retry. Agen menyebar dan mencoba ulang saat kegagalan sementara. Pada penagih SERP per query, setiap retry dapat ditagih. Pertahanan terbersih adalah penagihan hanya-saat-berhasil — Anda membayar untuk HTTP 200, bukan untuk tiga timeout sebelumnya itu. Untuk lalu lintas agen yang meledak-ledak, satu aturan penagihan itu sering menghemat lebih dari selisih harga per panggilan antar penyedia.

Membangun di atas pencarian agentik: loop minimal

Karena keluarannya sudah berbentuk untuk model, integrasinya pendek. Tarik sebuah tool schema, serahkan ke model Anda, dan biarkan ia memanggil pencarian sebagai tool:

import anthropic, requests

# Agentic search ships a ready-made tool definition — no hand-written JSON
schema = requests.get("https://www.apipick.com/api/search/web/tool-schema").json()
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    tools=[schema["claude"]],
    messages=[{"role": "user", "content": "What is agentic search, with sources?"}],
)
# The model calls /api/search/web, gets clean ranked snippets back,
# and answers with citations — no SERP parser anywhere in the loop.

Itulah inti dari kategori ini: API pencarian menemui agen di tempat ia sudah berada, sehingga kode lem yang dulu tinggal di codebase Anda pindah ke balik endpoint.

Jadi yang mana yang harus Anda pakai?

Ditulis oleh

Sarah Choy

CEO, API Pick

Sarah Choy adalah CEO API Pick. Ia menulis tentang membangun API siap produksi untuk AI agent dan alur kerja LLM.