새로운 AI 챗봇 ‘ChatGPT’, ‘빙 챗(Bing Chat)’, ‘바드(Bard)’는 사람처럼 정보, 즐거움, 가르침을 제공하는 AI를 통해 일상생활에 일대 변혁을 가져올 것이라고 말한다. 이런 AI 챗봇이 과연 얼마나 좋은지 알아보기 위해 직접 테스트를 했다.
ChatGPT와 빙 챗, 바드에게 다양한 질문을 했다. 일반적인 검색 주제부터 시작해 의견을 물어보거나, 논리 퍼즐을 풀어 달라고 하거나, 심지어는 코드를 작성해 달라고 요청했다. 창의력을 테스트하는 질문도 던졌다. 예를 들면 드라마 <왕좌의 게임>의 더 나은 결말과 특별 게스트가 등장하는 시트콤 <사인펠드(Seinfeld)>의 한 장면을 집필해 달라고 주문했다. 3가지 AI 챗봇의 답변을 전부 또는 최대한 공개한다. 판은 개인의 몫이다.
참고로 빙 챗(무료), 구글 바드(무료), 그리고 ChatGPT+(유료, 월 20달러)를 모두 사용했다. 새 GPT-4 언어 모델을 활용할 수 있기 때문에 유료 버전의 ChatGPT를 선택했다(하지만 몇 시간마다 25~40개의 질문만 허용됐으며, 이후에는 GPT-3 언어 모델로 기본 설정됐다).
여기서는 세 챗봇에게 덜진 질문과 답변(빙, ChatGPT, 바드 순), 그리고 대화에 관한 해설을 소개한다. 가능하면 전체 답변을 공유하려고 했지만 명확한 결과는 별도의 탭에서 스크린샷을 열어서 확인할 수 있다(또한 바드의 답변은 맨 처음 나온 것만 사용하기로 했다. 바드는 대체 설명을 제공할 수 있지만 얼마나 많은 사용자가 대체 설명을 찾을지는 잘 모르겠다).
‘최고의 AI 챗봇’으로 선정된 승자가 있다! 투표 집계 결과는 마지막에 발표한다.
최신 정보: 월드 베이스볼 클래식(WBC) 결승 결과
승자: 빙
ChatGPT에 최신 정보를 제공하는 웹 브라우징 기능이 추가될 예정이지만, 현재로서는 2021년까지의 정보가 ChatGPT의 최선이다. 빙이나 바드가 최근 정보를 제공할 수 있는지 확인해 본 결과, 오직 빙만 성공했고 바드는 계속해서 사실과 다른 결과를 내놨다.
시사 문제: 크림반도
승자: 동률
세 AI 챗봇에게 크림반도가 어느 국가에 속하는지 물었다. 정답을 바로 대답한 빙과 바드가 좋은 점수를 받았다. ChatGPT는 추가적인 맥락을 제시하긴 했지만, 마지막 문장에서야 정답으로 간주되는 답변을 제공했다. 앞선 질문과 성격이 비슷한, 대만이 독립 국가인지 묻는 질문에 세 AI 챗봇 모두 이 질문의 복잡 미묘한 의미를 정확하게 지적했다.
불확실한 정보: 노터데임 파이팅 아이리시
승자: 빙
노터데임 대학교(The University of Notre Dame)의 별명인 ‘파이팅 아이리시(The Fighting Irish)’의 기원은 출처가 불분명하다. 다양한 설이 있지만, 그중 확실한 것은 없다. 빙이 링크를 건, 노터데임 대학교 측의 설명에 따르면 여러 가능성이 있다. 이럴 때 자세한 내용은 추가 출처를 확인하는 것이 좋은데, 빙이 가장 잘 안내했다.
복잡한 검색: 특정 설정에서 오버워치 2를 플레이할 수 있는 게이밍 PC
승자: 바드
게임 블로그와 유튜브 채널이 워낙 많고 팬층도 두텁기 때문에 거의 모든 게임 관련 질문이 어딘가에서 다뤄졌을 수 있다. AI를 사용하게 될 상황은 바로 이런 심층적인 맥락 정보를 찾기 위해서다. 빙은 유튜브 동영상에서 답을 찾아냈고, 만족스러운 가격 정보도 제공했다. 바드 역시 깊이 파고들어 만족스러운 가격을 찾아냈다(물론 바드의 출처는 직접 검색해서 찾아내야 했지만 정확해 보인다). 질문에 한 번에 답한 바드를 승자로 선정했다. ChatGPT는 만족할 만한 답을 제시하지 못했다.
정보에 입각한 의견: 맥과 PC 비교
승자: ChatGPT과 바드(동률)
세 챗봇에게 맥 플랫폼과 윈도우 PC 플랫폼의 장단점을 분석해 달라고 요청했다(참고 : 아래의 스크린샷에서는 답변을 더 보여주고자 프롬프트를 생략했다). 빙보다는 ChatGPT와 바드가 제대로 된 답변을 내놨다. ChatGPT의 답변이 좀 더 장황하다는 점은 호불호가 갈릴 수 있다.
챗 GPT의 이어지는 답변은 다음과 같다.
2. 맞춤 설정과 업그레이드 가능성: 윈도우 PC는 그래픽 카드, 프로세서, RAM 등 개별 구성요소를 사용자 정의하고 업그레이드할 선택지가 많다. 시스템을 최적화하거나 시스템 수명을 연장하려는 사용자에게 유용할 수 있다.
3. 소프트웨어 호환성: 윈도우는 게임, 생산성, 전문 애플리케이션 등 광범위한 소프트웨어를 사용할 수 있다. 특정 소프트웨어가 필요하거나 최신 게임을 하려는 사용자에게 중요한 요인이 될 수 있다.
4. 하드웨어 호환성: 윈도우 PC는 일반적으로 프린터, 스캐너, 입력 장치 등 다양한 주변 기기 및 액세서리와 더 잘 호환된다.
약점
1. 보안 취약점: 윈도우는 전통적으로 바이러스와 맬웨어에 더 취약하다. 더 큰 시장 점유율로 인해 사이버 범죄자의 매력적인 표적이기 때문이다. 하지만 최근 몇 년 동안 윈도우의 보안 기능이 개선됐다.
2. 일관성 없는 사용자 경험: 제조업체와 구성이 매우 다양하기 때문에 윈도우 PC의 품질과 사용자 경험에 편차가 크다. 다양한 기기 간의 제조 품질, 성능, 안정성이 일관하지 않을 수 있다.
3. 잠재적으로 복잡한 유지관리: 윈도우 PC는 드라이버 업데이트 및 문제 해결 등 유지보수를 직접 해야 하는 경우가 많다. 기술에 익숙하지 않은 사용자에게는 부담스러울 수 있다.
결국 맥이냐 윈도우 PC냐의 선택은 사용자 개인의 선호도, 예산, 특정 요구사항에 달려 있다. 중요한 것은 사용자에게 가장 중요한 요소를 고려하는 것이다.
바드의 이어지는 답변은 다음과 같다.
결국 최선의 선택은 사용자 개인의 필요와 선호도에 달려 있다. 통합된 생태계를 갖춘 사용자 친화적인 컴퓨터를 찾는다면 맥을 선택하는 것이 좋다. 소프트웨어 종류가 다양하고 합리적인 가격의 컴퓨터를 찾는다면 윈도우 PC를 선택하는 것이 좋다.
문제 해결: 가계 예산 분석
승자: ChatGPT (부득이 선정)
세 챗봇 모두 이 질문에 평범하게 대답했다. 빙은 그다지 많은 맥락을 제공하지 않았고, 구체적인 금액도 부족했다. ChatGPT의 예산이 상세하고 구체적이어서 가장 좋아 보이지만, 합계를 4,000달러가 아닌 4,700달러로 내는 큰 오류를 범했다. 바드의 예산 합계도 5,700달러가 아닌 4,800달러로 잘못 나왔다. 그래서 ChatGPT가 울프럼 알파(Wolfram Alpha)와 협력해 수학 플러그인을 추가하는 것일까?
논리: LSAT 논리 퍼즐
승자: 빙과 바드(동률)
변호사 지망생이 응시하는 LSAT 시험에 출제된 논리 퍼즐이다. 구체적으로는 이 LSAC 페이지에 나온 8번 문제다(<워싱턴 포스트>의 제프리 파울러가 GPT-4 테스트에 비슷한 기법을 사용했다). 이론적으로 세 AI 챗봇 모두 해당 데이터를 학습했을 가능성이 있다. LSAC 페이지에 정답이 나와 있다. 마지막 답변은 빙과 바드 둘 다 맞혔고(빙은 참고 출처를 밝히지 않은 반면 바드는 놀랍게도 한곳을 밝혔다), ChatGPT는 틀렸다.
논리: 처음부터 하는 코딩
승자: ChatGPT
개인적으로는 자바스크립트 코딩을 전혀 모른다. 하지만 AI에는, 사용자가 할 줄 모르는 작업을 자연어 명령만으로 처리해 주는 마법 같은 기능이 있다. 프롬프트 엔지니어링과 관련된 마이크로소프트 페이지를 참고하여 코덱스 바빌론(Codex Babylon)을 사용해 일련의 3D 정육면체를 만드는 코드를 작성해 달라고 요청했다. https://jsfiddle.net/를 샌드박스로 사용해 코드 작동 여부를 테스트하고, 필요한 후속 명령을 입력했다. 빙은 아무런 코드도 제공하지 않았다. 바드의 코드는 아쉽게도 작동하지 않았지만, 전문가라면 수정 가능한 수준이었다. ChatGPT와 코드 디버깅을 포함한 여러 이야기를 나눈 끝에, 요청한 대로 5개의 정육면체가 렌더링 됐다.
연역적 추론: 스무고개
승자: ChatGPT
각 챗봇과 스무고개 게임을 했고, 바다코끼리를 정답으로 정했다. 빙은 무작위로 동물을 선택하며 어린아이처럼 게임을 플레이했다. 바드도 크게 다르지 않았다.
창의성: 사인펠드와 일론 머스크의 만남
승자: 빙과 ChatGPT
챗봇은 인공지능을 사용해 문학적 스타일을 모방할 수 있어야 한다. 이번 테스트에서는 사인펠드 출연진이 일론 머스크를 만나는 가상의 장면을 쓰도록 요청했다. 아직까지 래리 데이비드 앤 컴퍼니(Larry David & Co.)는 크게 걱정하지 않아도 되지만, 일단은 빙과 ChatGPT가 최고라고 생각한다.
빙의 이어지는 답변은 다음과 같다.
종업원: 주문하시겠습니까?
일론: 네, 칠면조 호밀빵 샌드위치 주세요.
종업원: 곧 드리겠습니다. [종업원이 나간다.]
제리: 그래서, 또 어떤 일을 하고 있나요?
일론: 아, 머. 로켓, 전기 자동차, 태양열 발전이요.
조지: 태양열 발전이요? 흥미롭군요.
일론: 네, 세계를 지속 가능한 에너지로 전환하고자 노력하고 있어요.
제리: 지속 가능한 에너지라! 할 일이 많겠네요.
일론: 그래요, 하지만 그럴 만한 가치가 있어요.
[종업원이 샌드위치를 들고 돌아온다.]
종업원: 음식 나왔습니다.
일론: 감사합니다.
제리: 그럼 샌드위치 드시죠. 이만 가보겠습니다. 만나서 반가웠습니다.
일론: 저도 만나서 반가워요.
[제리와 조지가 자신의 부스로 돌아온다.]
조지: 저 남자 보통이 아니네.
제리: 맞아. 실제 토니 스타크 같아.
조지: 양복을 안 입은 것만 빼고.
제리: 재치 있는 한 줄 농담이 없는 것도 빼고.
이 장면에서는 제리와 조지가 몽스 카페(Monk's Cafe)에서 일론 머스크를 만나 그의 다양한 프로젝트와 발명품에 관해 논의한다. 이 장면은 일론의 지성과 야망을 보여주는 동시에 이 쇼의 특징적인 유머를 포함한다.
ChatGPT의 이어지는 답변은 다음과 같다.
일레인: (신이 나서) 와, 마치 미래를 운전하는 것 같아, 제리. 그리고 그는 스페이스X를 만든 사람이기도 해.
일레인: (손을 뻗으며) 안녕하세요, 전 일레인이에요. 열렬한 팬입니다.
일론 머스크: (웃으며) 감사합니다, 일레인. 만나서 반가워요.
일레인은 웃으며 부스로 돌아온다.
조지: (신문을 보며) 정말로 좋은 게 뭔지 알아? 널 최고의 취업 면접에 데려다줄 전기차를 만들 수 있다면 정말 좋을 거야.
제리: (웃으며) 조지, 널 알면 전기차조차 취업 면접에 도움이 될 수는 없을 거야.
일론이 대화를 엿듣더니 이들의 부스로 걸어간다.
일론 머스크: 사실 저는 실제로 당신의 성격을 분석하고 당신에게 가장 적합한 직업을 찾을 수 있는 자율주행차를 개발하고 있어요.
조지: (신이 나서) 정말로요?
일론 머스크: (웃으며) 아니요, 그건 아니에요. 그래도 흥미로운 아이디어에요.
조지가 실망한 듯 보이자 제리가 킥킥 웃는다.
제리: (일론에게) 여기에 오셨으니 우리 내기에서 누가 옳은지 말해줄 수 있나요? 이 전기 자동차 중 하나를 충전하는 데 시간이 얼마나 걸리나요?
일론 머스크: 음, 사용하는 충전기에 따라 다릅니다. 테슬라 수퍼차저의 경우 약 30분 충전에 약 200마일을 주행할 수 있어요.
조지: (의심스러워하며) 30분이요? 5분이면 연료 탱크를 채울 수 있는데요.
일론 머스크: (웃으며) 하지만 전기차의 경우 집에서 하룻밤 동안 충전해서 매일 아침 일어나 보면 연료 탱크가 가득 차 있어요.
제리: (장난스럽게) 조지의 데이트 생활에 도움이 될 수 있는 전기차를 가지고 계시면 좋겠네요. 일론은 킥킥대며 고개를 흔든다.
일론 머스크: 기술마저도 거기엔 도움이 안 될 것 같네요.
조지가 눈알을 굴리자 모두가 웃는다. 그리고는 전기차, 스페이스X 등에 대해 대화를 이어나간다.
바드의 이어지는 답변은 다음과 같다.
조지: 와, 말도 안 돼.
제리: 응, 상당히 야심찬 프로젝트네.
조지: 음, 그에게 행운을 빈다.
제리: 맞아, 행운이 필요할 것 같아.
창의성: 펭귄 그리기
승자: 동점
테스트 당시 기준으로 어떤 챗봇도 기존 채팅 설정에서 그림을 그릴 수 있는 역량을 보여주지 못했다. 하지만 빙을 크리에이티브 모드로 설정하면 그림을 그릴 수 있으며, 매우 잘 그린다. 하지만 세 챗봇이 내놓은 결과물 모두 그다지 인상적이진 않았다.
창의성: 농담해 줘
승자: 없음
두 AI 챗봇이 같은 농담을 했고, 구글은 아예 망했기 때문에 승자를 선정하지 않았다.
창의성: 에로틱한 소설 한 편
승자: 기본값에 따라 바드
어떤 챗봇도 유해한(NSFW; Not Safe for Work) 장면을 만들지 않지만, 세 AI 챗봇에게 페르난도와 잠재적인 연애 상대가 등장하는 로맨스 소설을 만들어 달라고 했을 때 어떤 결과를 보여줄지 알고 싶었다. 빙은 ‘손이 상대방의 몸 전체를 더듬는’다는 다소 외설적인 장면으로 즐겁게 시작했지만, 이상하거나 기괴해지지 않아야 한다는 사실을 깨달았다. 그러고는 답을 지워버렸다.
창의성: 왕좌의 게임 다른 결말
승자: ChatGPT
수백만 명의 시청자를 실망시킨 TV 시리즈 ‘왕좌의 게임(Game of Thrones)’ 결말의 다른 버전을 제시해 달라고 세 챗봇에게 요청했다. 승자는 ChatGPT로 선정했지만, 세 챗봇 모두 훌륭했다. 이 결말은 왕좌의 게임의 많은 등장인물과 이야기를 마무리하는 동시에, 웨스테로스(Westeros)의 미래에 대한 희망적인 비전을 제공한다. 많은 등장인물에게 더 만족스러운 결론을 제공해 드라마의 마지막 시즌에 제기된 비판을 일부 해소하기도 했다.
ChatGPT의 이어지는 답변은 다음과 같다.
하지만 세르세이는 패배를 인정할 수 없다. 권력을 유지하기 위한 필사적인 시도로 그녀는 도시 아래에 숨겨진 남은 산불 은닉처에 불을 붙이도록 콰이번에게 명령한다. 그녀의 의도를 알게 된 제이미는 콰이번을 죽이고 세르세이에 맞선다. 그녀가 구제될 수 없음을 깨달은 그는 발론카르 예언의 비극적이고 시적인 성취를 위해 그녀의 목을 조른다. 산불이 둘을 집어삼키자 제이미는 여동생과 함께 생을 마감한다.
전투가 끝난 후, 결혼한 대너리스와 존은 칠왕국의 왕과 왕비로 철 왕좌에 오른다. 이들은 스테로스를 재건하고 평화, 번영, 통합의 새로운 시대를 열기 위해 협력한다. 티리온 라니스터는 왕과 왕비의 수관(Hand of the King and Queen)으로 이름 붙여진다. 브란 스타크는 윈터펠로 돌아와 윈터펠의 영주가 돼 북부의 조언자이자 보호자 역할을 한다. 산사 스타크는 북부의 관리자로 명명돼 철왕좌에 대한 북부의 지속적인 충성을 보장한다. 가족의 복수를 한 아리아 스타크는 웨스테로스 서쪽 미지의 땅을 탐험하기 위해 항해를 떠난다. 마침내 권력의 수레바퀴가 깨지고 웨스테로스에서 새롭고 정의로운 통치가 시작됨에 따라 왕국이 전쟁의 상처로부터 치유되고 미래에 대한 희망이 떠오르며 이 시리즈는 결말을 맺는다.
전체 우승자: 간발의 차로 ChatGPT
집계에 따르면 ChatGPT가 8점, 바드와 빙이 각각 6점을 받아 ChatGPT가 간발의 차로 승리했다. 생각보다 막상막하였다. ChatGPT가 빙이나 바드보다 낫다고 확실하게 말할 수 있을까? 그렇진 않다. 이번 테스트 결과는 오픈AI의 챗봇이 적어도 우수하다는 믿음을 뒷받침하기는 한다. 하지만 AI의 세계에서는 모든 것이 매우 빠르게 변화하기 때문에 한 달이나 두 달 안에 어떤 챗봇이 최고가 될지는 아무도 모를 일이다.
AI 월간 추천 (더보기)
카카오톡
페이스북
트위터
스크랩
