AI 에이전트에 실시간 웹 데이터 연결하기: Claude와 MCP 활용법

일반 AI 챗봇은 실시간 웹 정보를 보지 못하는 한계가 있다. 이 강의는 검색과 스크래핑을 하나로 묶은 웹 API를 MCP로 Claude에 연결해, 실시간 가격 비교와 여러 웹 데이터 수집을 실행하는 과정을 보여준다.

⏱ 00:00일반적인 AI 챗봇에게 현재 판매 중인 제품 가격을 물으면 실시간 연결이 없어 추측으로 답하게 된다. AI는 코드 작성과 계획 수립은 잘하지만 직접 연결되지 않으면 라이브 웹 데이터를 볼 수 없다.

이번 강의는 AI 에이전트와 시스템에 이런 맥락 이해 능력을 부여하는 방법을 다룬다.

⏱ 00:54웹 스크래핑에는 캡차, IP 차단, 사이트 구조 변경, 자바스크립트 렌더링 같은 문제가 따른다. 그동안 개발자는 URL 검색 도구, 페이지 수집 도구, 프록시 관리 서비스 등을 여러 개 복잡하게 연결해야 했다.

강의에서 소개하는 웹 API는 검색과 스크래핑을 하나로 결합했다. 검색 기능은 실시간 URL을 찾고, 스크래핑 기능은 동적 사이트에서도 AI가 읽을 수 있는 형태로 데이터를 추출하며, 이 결과가 에이전트 파이프라인이나 MCP 워크플로에 바로 연결된다.

⏱ 03:16대시보드에서 웹 API 인스턴스를 만들고 API 키를 확인하는 것이 첫 단계다. 무료 체험 크레딧으로 실습 전 과정을 진행할 수 있다고 설명한다.

이후 터미널에서 제공된 명령어 세 줄을 순서대로 실행해 MCP 서버를 설치하고, 자리표시자에 실제 API 키를 넣어 계정과 연결한다. 설정이 끝나면 Claude에서 MCP 상태를 확인해 웹 검색, 페이지 읽기, 스크래핑 등 여섯 가지 도구에 접근할 수 있는지 점검한다.

⏱ 05:43세 개의 경쟁 콜드 브루 브랜드 제품 페이지를 검색해 가격과 리뷰를 수집하고 비교표로 만들어 달라는 프롬프트를 입력한다. Oxylabs를 쓰라고 명시하지 않아도 Claude가 데이터 수집에 웹 API를 선택해 호출한다.

자바스크립트가 필요한 페이지에서는 렌더링 기능을 켜서 다시 수집하는 과정이 나타난다. 이 과정 덕분에 실제 웹 페이지의 실시간 가격을 가져올 수 있었다고 설명한다.

⏱ 07:09아마존 제품 페이지에서 가격, 재고, 별점, 리뷰 수를 추출하는 예시와 웹 검색으로 상위 결과를 찾는 예시가 소개된다. 부동산 매물 목록 페이지에서 특정 지역 매물 정보를 가져오는 예시도 함께 나온다.

전용 스크래퍼 목록에는 구글 쇼핑, 검색 엔진, 유튜브 등이 있어 목적에 맞게 고를 수 있다. 대시보드의 사용량과 지출 탭에서 이 작업들의 비용이 매우 적게 든 것도 확인한다.

⏱ 09:26웹 API 플레이그라운드에서는 같은 API 키로 URL을 직접 넣거나 검색어로 정보를 가져올 수 있다. 결과는 AI가 읽기 쉬운 형식으로 나오므로 Claude나 ChatGPT 채팅창에 바로 붙여 넣어 활용할 수 있다.

발표자는 MCP가 API를 AI 대화 환경에 자연스럽게 연결해 주는 핵심 요소라고 평가한다. 다만 API 사용이 처음이라면 학습 곡선이 있고, 무료 크레딧 이후에는 유료 요금을 고려해야 한다고 덧붙인다.