Categories
컴퓨터

인공지능(GPT) 기반의 검색엔진 시대가 온다

검색엔진(Search Engine)은 쏟아지는 각종 정보 속에서 필요한 정보를 찾기 위해 반드시 필요한 도구다. 검색엔진이 없는 세상은 상상도 할 수 없다. 그래도 한 번 상상은 해보자. 검색엔진이 없었다면 어떻게 되엇을까?

우리는 인터넷에서 필요한 정보를 찾기 위해 많은 시간을 허비해야 했을 것이다. 좋은 사이트를 알게 되면 잊어버리지 않기 위해 메모를 하거나 브라우저에 북마크(Bookmark)를 추가했을 것이다. 단순히 시간효율적인 문제나 기억력의 문제는 아니다. 어쩌면 많은 학생들이 자신이 수강하는 과목에서 낙제를 하거나 결국에는 졸업을 하지 못했을 수도 있다.

네가 없었다면 졸업은 불가능했어! 고마워, 구글(Google)!

위키피디아피셜에 따르면 우리가 생각하는 검색엔진이 처음 출시된 해는 1993년으로 ALIWEB 이 가장 먼저 나왔다고 한다. 해당 웹사이트의 업데이트는 방문자가 웹 사이트 추가를 요청하는 방식으로 운영을 했다. 지금처럼 인터넷에 있는 각종 웹사이트를 수집하는 크롤러(Crawler)라는 로봇을 활용한 것이 아니다.

ALIWEB 이전에 있었던 FTP 기반의 아치(Archie)와 Gopher 기반의 베로니카(Veronica)는 우리가 생각하는 검색엔진과는 너무나도 상이하기 때문에 여기서는 소개하지 않는다. 사실 MZ세대라서 나도 잘 모른다… ^^

ALIWEB은 사실 대한민국 사람들에게 익숙하지 않다. 컴퓨터에 관심이 많은 나도 검색을 통해서 알게 되었다. 1994년에는 “고령의” 대한민국 사람들에게 익숙한 “잘했어! 라이코스!” 광고의 주인공 라이코스(Lycos.com)가 등장한다.

라이코스(Lycos.co.kr) 홈페이지
라이코스? 잘했어, 라이코스!

그리고 1995년 미국에는 그 유명한 야후(Yahoo.com)이 등장하고 대한민국에는 지금은 카카오로 합병한 대한민국 최초의 포털 및 검색엔진이라고 할 수 있는 다음(Daum)이 등장한다. 1998년에는 지금은 네이트(Nate)로 흡수한 엠파스(Empas)가 등장했다. 현대 국내 포털 및 검색엔진 시장에서 대장역할을 하는 네이버(Naver)가 1999년에 등장했다는 점에서 다음(Daum)이 얼마나 서비스를 일찍 시작했는지 알 수 있다.

대한민국 최초 포털 & 검색엔진 사이트, 다음(Daum)
디지털시대의 나침반이라는 뜻의 엠파스(Empas)
2000년대 네이버(Naver) 홈페이지

다만 앞에서 언급한 야후(Yahoo), 라이코스(Lycos), 다음(Daum), 네이버(Naver)는 여전히 현대 검색엔진의 필수 요소인 크롤러(Crawler)가 없었다. 당시에는 사람이 직접 인터넷에 존재하는 웹 사이트를 수집한 후, 분야별로 정리를 하는 디렉토리 기반의 검색엔진에 불과했다. 이러한 비슷한 수준의 검색엔진이 봇물처럼 쏟아지자 여러 검색엔진의 결과를 종합하여 보여주는 메타 검색엔진이 등장했으나 인기는 별로 없었다.

이러한 검색엔진 세계의 파괴적 혁신(disruptive innovation)을 불러온 검색엔진은 스탠포드 대학원 박사과정의 두 천재 세르게이 브린(Sergey Brin)래리 페이지(Larry Page)PageRank 기반의 신개념 검색엔진인 구글(Google)을 1998년에 세상에 소개한다.

다른 검색엔진과 구글(Google)의 차별점이라고 하면 다수의 일반 PC를 마치 하나의 성능이 좋은 거대한 컴퓨터처럼 사용하기 위해 클러스터링(Clustering)으로 서버를 구성했다는 점과 크롤러(Crawler) 기반의 웹 수집 및 PageRank를 통한 중요 사이트 자동분류라고 할 수 있다. 구글의 전세계 검색엔진 시장 점유율은 현재 92.9% 로 압도적이다. 최근 5년은 물론 약 15년 전인 2009년에도 시장 점유율이 90%를 넘었다. 구글 검색엔진 점유율에 힘입어 Google Ads를 통한 광고수익은 천정부지로 늘어났다.

전 세계 검색엔진 시장 점유율 현황

하지만 최근 구글은 OpenAI의 GPT-3 서비스 공개를 통해 검색엔진의 Rule이 바뀔 것을 감지하고 비상체제에 들어갔다. 그 동안에는 윤리적인 이유 등으로 서비스 공개를 미루다가 2023년 2월 7일에는 GPT-3 에 대항하기 위해 Bard(바드)라는 AI 챗봇을 빠른 시일안에 공개한다고 발표했다. 하드웨어 명가 마이크로소프트(Microsoft)는 구글보다 행동이 빨랐다. 바로 빙(Bing.com) 검색엔진에 AI 챗봇의 답변을 추가로 제공한 것이다. (아래 그림) 게다가 향후 일론 머스크(Elon Musk)의 OpenAI에 100억달러(한화 12조) 투자를 검토하고 있으며 이를 통해 AI 시대의 새로운 검색엔진 강자로 거듭나려 하고 있다.

ChatGPT를 적용한 마이크로소프트(Microsoft) 검색엔진 빙X Bing.com

전자책과 실제 책이 공존하는 것처럼 기존의 검색엔진과 AI 기반의 검색엔진은 공존할 것이다. 각자 나름대로의 장점이 있기 때문이다. 다만, 모든 기술이 결국에는 각 기술의 장점을 취합한 하이브리드(hybrid) 형태로 발전하는 것처럼 검색엔진 또한 그러하리라 생각한다.

‘검색’은 있어도 ‘사고’가 없는 시대를 살고 있는 현대인들에게 대화형 검색엔진은 어쩌면 ‘사고하는 인간’을 만들어 줄 수 있지 않을까?

Hits: 3814

By 라이언양

라이언양 연구실 주인

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다