[ blog · deep-dive ]10 min read

에이전틱 검색 vs SERP 스크래핑: 에이전트에는 왜 다른 API가 필요한가

Sarah Choy·2026년 5월 29일 게시·10분 분량

이십 년 동안 검색 API란 'Google 결과 페이지를 긁어 오는 것'을 뜻했다. AI 에이전트가 그 전제를 깼다. 에이전틱 검색이 실제로 무엇인지, 왜 등장했는지, 그리고 옛 SERP 모델이 여전히 말이 되는 때는 언제인지 정리했다.

한눈에

• •에이전틱 검색은 AI 에이전트가 소비하도록 설계된 웹 검색이다: 시맨틱 목표를 보내면 컨텍스트 윈도우에 맞춘 짧고 ranked된 깨끗한 인용 가능 텍스트 구절 리스트를 돌려받는다.
• •SERP 스크래핑은 검색 엔진 결과 페이지의 원본 HTML/JSON을 반환한다 — 언어 모델이 아니라 사람과 대시보드를 위해 만들어진 것이다.
• •이 전환이 일어난 이유는 LLM이 SERP 블롭이 아니라 짧은 ranked 텍스트로 추론하기 때문이고, Microsoft가 2025년 8월 Bing Search API를 종료하며 시장 전체의 재선택을 강제했기 때문이다.
• •에이전틱 검색은 SERP API에 없는 세 가지를 더한다: 사전 정리된 스니펫, 옵션 grounded 답변, 그리고 에이전트 친화 과금(호출 단위, 종종 성공시에만).
• •SERP 스크래핑은 Google의 전체 결과 페이지 — 랭킹, 지식 패널, 로컬 팩 — 가 진짜로 필요하고 자체 정리 파이프라인을 운영할 때 여전히 이긴다.

먼저 정의부터

에이전틱 검색은 사람에게 보여주기 위해서가 아니라 AI 에이전트가 소비하도록 설계된 웹 검색이다. 쿼리 — 또는 더 높은 수준의 시맨틱 목표 — 를 보내면, 짧고 ranked된 제목·URL·사전 정리된 텍스트 구절 리스트를, 때로는 완성된 인용 답변까지, 이미 언어 모델의 컨텍스트 윈도우에 떨어뜨릴 수 있는 형태로 돌려받는다.

그것은 지난 이십 년 동안 "검색 API"가 뜻하던 것과 다른 제품이다. 이십 년 동안 검색 API란 이런 뜻이었다: 사람이 볼 결과 페이지를 내게 달라. 바로 그 전제를 AI 에이전트가 깼다.

옛 모델: SERP 스크래핑

SERP(검색 엔진 결과 페이지) API는 Google이나 Bing 결과 페이지의 구조화된 JSON을 반환한다 — organic 링크, 지식 패널, "사람들이 함께 묻는 질문", 로컬 팩, 광고, 쇼핑 캐러셀. Serper와 SerpApi 같은 도구가 이 일을 대단히 잘, 그리고 저렴하게 해낸다. 출력은 사람이 브라우저에서 보는 것에 충실하다:

{
  "organic": [
    { "position": 1, "title": "…", "link": "https://…", "snippet": "…" },
    { "position": 2, "title": "…", "link": "https://…", "snippet": "…" }
  ],
  "knowledgeGraph": { "title": "…", "type": "…", "description": "…" },
  "peopleAlsoAsk": [ /* … */ ],
  "relatedSearches": [ /* … */ ]
}

이는 SEO 대시보드, 랭크 트래커, 또는 사람이 끼는 리서치 도구에는 완벽하다. 하지만 언어 모델에는 잘못된 형식이다. 무딘 이유 하나 때문이다: 모델은 SERP 블롭으로 효율적으로 추론하지 못한다. 모델은 짧고 이름이 붙은 ranked 텍스트로 추론한다. 모델에 전체 SERP를 건네면, 답과 무관한 레이아웃 메타데이터, 광고, "관련 검색"에 컨텍스트 토큰을 쓰게 된다.

새 모델: 에이전틱 검색

에이전틱 검색은 SERP를 버리고 에이전트가 쓸 수 있는 것만 반환한다. 같은 쿼리가 간결하고 ranked된 깨끗한 구절 리스트로 돌아온다:

{
  "results": [
    {
      "title": "Retrieval-augmented generation - Wikipedia",
      "url": "https://en.wikipedia.org/wiki/Retrieval-augmented_generation",
      "snippet": "Retrieval-augmented generation (RAG) combines search with\ntext generation, grounding LLM answers in retrieved documents."
    }
    /* …4 more, ranked */
  ],
  "result_count": 5,
  "credits_used": 15
}

이 형식은 SERP API가 당신에게 떠넘기는 세 가지 의도적 결정을 인코딩한다:

• 사전 정리된 스니펫. 보일러플레이트 — 내비게이션, 쿠키 배너, 광고 — 가 제거돼, 모델이 컨텍스트를 신호에 쓴다.
• 광고가 아니라 관련성을 위한 랭킹. 결과는 상단 슬롯을 수익화하는 결과 페이지 레이아웃이 아니라 쿼리에 대한 유용성으로 정렬된다.
• 크기 예산. 백 개가 아니라 소수의 결과 — 컨텍스트 윈도우와 토큰 예산은 유한하기 때문이다.

왜 이 전환이 지금 일어났나

두 가지 힘이 2025~2026년에 수렴했다.

1. LLM이 SERP 형식을 부채로 만들었다

에이전트가 검색을 도구로 호출하기 시작하자마자 불일치가 명백해졌다. SERP 골조에 쓴 모든 토큰은 실제 출처에 쓰지 못한 토큰이고, 정리되지 않은 모든 페이지는 모델이 산만해지거나 쿠키 배너를 인용할 자리다. 팀들은 모든 SERP API 위에 정리·랭킹 레이어를 쓰고 있는 자신을 발견했다 — 바로 에이전틱 검색이 안에 구워 넣는 그 레이어다.

2. Bing의 종료가 재선택을 강제했다

2025년 8월 11일, Microsoft가 Bing Search API를 종료했고, LLM 파이프라인의 큰 몫을 조용히 grounding하던 엔드포인트를 폐기했다. 대체재인 Azure AI Foundry 내부의 Grounding with Bing Search는 드롭인 API가 아니며 1,000 트랜잭션당 약 $35로 과금된다. 마침 에이전트 네이티브 스타트업의 물결이 출시되던 바로 그 순간에 수천 팀이 새 제공자를 골라야 했다: Exa는 $85M 시리즈 B를 조달했고, Parallel은 $100M을 조달했으며, Tavily는 Nebius에 $275M에 인수됐고, Linkup은 시드를 조달했다. 이 카테고리는 그냥 나타난 게 아니라 — 자금을 받고 빛 속으로 떠밀렸다.

SERP 스크래핑 vs 에이전틱 검색: 정직한 표

아무도 가격 페이지에 넣지 않는 경제성

"에이전틱 검색은 Serper의 10배 가격"이라는 스티커 쇼크는, 파이프라인 전체를 가격 매기면 사라진다. SERP API는 결과 페이지를 준다. 모델에 먹이려면 그다음 선택된 링크에 콘텐츠 추출기를 돌리고, 거기에 정리·랭킹 로직을 만들고 유지하는 엔지니어링을 더해야 한다. 에이전틱 검색은 그것을 호출에 접어 넣는다. 같은 것에 10배를 내는 게 아니라, 두 단계에 두 번 내는 대신 두 단계에 한 번 내는 것이다.

둘째, 더 음흉한 비용이 있다: 재시도. 에이전트는 펼쳐지고 일시적 실패에 재시도한다. 쿼리당 과금하는 SERP 제공자에서는 모든 재시도가 과금 대상이다. 가장 깔끔한 방어는 성공시에만 과금하는 것이다 — 그 앞의 세 번의 타임아웃이 아니라 HTTP 200에 지불한다. 가변적 에이전트 트래픽에서는 그 단 하나의 과금 규칙이 제공자 간 호출당 가격 차이보다 더 많이 절약하는 경우가 많다.

에이전틱 검색 위에 쌓기: 최소 루프

출력이 이미 모델에 맞춰져 있으므로 통합이 짧다. 도구 스키마를 끌어와 모델에 건네고, 검색을 도구로 호출하게 두면 된다:

import anthropic, requests

# Agentic search ships a ready-made tool definition — no hand-written JSON
schema = requests.get("https://www.apipick.com/api/search/web/tool-schema").json()
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    tools=[schema["claude"]],
    messages=[{"role": "user", "content": "What is agentic search, with sources?"}],
)
# The model calls /api/search/web, gets clean ranked snippets back,
# and answers with citations — no SERP parser anywhere in the loop.

그것이 이 카테고리의 핵심이다: 검색 API가 에이전트가 이미 있는 자리에서 만나므로, 예전에 당신의 코드베이스에 살던 글루 코드가 엔드포인트 뒤로 옮겨 간다.

그래서 어느 것을 써야 하나?

작성

Sarah Choy

CEO, API Pick

Sarah Choy는 API Pick의 CEO입니다. AI 에이전트와 LLM 워크플로를 위한 프로덕션 등급 API에 대해 씁니다.