어떤 질문에서 위치에 따른 차이가 나타났나?
연구진은 집수리, 병원, 식당, 금융 등 10개 분야에서 질문을 만들었다. 질문은 ‘내 주변’을 찾는 경우, 가격이나 법처럼 장소에 따라 답이 달라지는 경우, 장소와 무관한 상품을 묻는 경우로 나눴다. 질문 문장에는 특정 도시 이름을 넣지 않았다.
위치를 설정한 ChatGPT API 실험에서 미국 도시의 ‘내 주변’ 답변 중 79%는 해당 도시나 주 이름이 주소에 들어간 출처를 인용했다. 연구진이 URL의 지역명으로 분류한 결과다. 이 숫자는 특정 업체의 추천률이 아니라 지역명이 포함된 출처가 답변에 등장한 비율이다.
같은 질문에서 추천 업체도 달라졌나?
달라졌다. 연구진은 ‘내 주변’ 질문의 추천 업체를 비교했을 때, 같은 미국 도시에서 반복한 두 답변의 겹침을 32%, 서로 다른 도시의 답변을 비교한 겹침을 8%로 제시했다. 같은 장소에서 다시 물어도 차이가 생기지만, 도시를 바꾼 비교에서는 겹치는 업체가 더 적었다.
연구의 미국 15개 도시에서 ‘내 주변’ 질문으로 추천된 업체 중 96%는 한 도시에서만 등장했다. 도시를 무작위로 하나 골라 확인했을 때 포착한 업체는 15개 도시 전체 추천 업체의 평균 9%였다. 이는 각 도시에서 같은 질문을 두 번씩 보낸 실험의 결과다.
예를 들어 지역 신용협동조합 질문에서 뉴욕과 마이애미는 서로 다른 기관들을 추천했다. 이 수치는 연구에 포함된 미국 도시와 영어 질문의 비교 결과다. 국내 병원이나 업체의 AI 추천률을 실측한 수치는 아니다.
ChatGPT와 Gemini는 어떤 위치를 기준으로 삼았나?
연구진은 프로그램이 검색 도구에 전달하는 ‘설정 위치’와 요청이 나가는 인터넷 연결의 ‘네트워크 위치’를 따로 살폈다. ChatGPT 쪽은 웹 검색 도구에 도시를 지정해 비교했고, Gemini 쪽은 위치를 지정하지 않은 채 여러 국가의 네트워크에서 요청을 보냈다.
해당 실험에서 ChatGPT API는 설정된 도시에 따라 검색어와 출처가 달라졌다. Gemini API에서는 접속 국가가 달라질 때 출처 차이가 나타났다. 연구진은 Gemini의 위치 좌표를 바꾼 예비 실험도 진행했지만, 두 제품의 모든 위치 기능을 같은 조건에서 전수 비교한 것은 아니다.
시크릿 모드에서 한 번 확인하면 충분할까?
시크릿 모드에서도 인터넷 연결의 IP 주소는 유지된다. Google 검색 안내는 IP 주소로 대략적인 지역을 추정할 수 있다고 설명한다. 다만 이는 일반 웹 검색 안내이며, 이번 API 실험과 소비자 앱이 같은 방식으로 작동한다는 근거는 아니다.
GEO 보고서를 받을 때 무엇을 물어봐야 할까?
측정한 질문에 지역명이 들어갔는지, API에 위치를 설정했는지, 어느 네트워크에서 요청했는지 물어본다. 병원이나 지역 매장이라면 해당 지역을 명시한 질문과 ‘내 주변’ 질문의 결과를 나눠 확인할 수 있다. 두 질문의 국내 결과를 직접 비교한 통계는 아니다.
이 연구를 국내 AI 사용자에게 그대로 적용해도 될까?
연구 지역은 미국 15개 도시와 영국·캐나다·호주·아일랜드의 4개 도시다. 질문은 영어로 작성됐고, 네트워크 실험에는 데이터센터 VPN이 사용됐다. 한국어 질문이나 한국 지역을 대상으로 한 조사는 포함되지 않았다.
연구진은 소형 API 모델이 소비자용 앱과 다르게 작동할 수 있고 가정용 인터넷에서는 더 세밀한 위치 차이가 나타날 수 있다고 밝혔다. 따라서 이 결과는 국내 서비스의 작동 규칙을 확정하기보다 측정 조건을 살펴보게 하는 단서로 읽어야 한다.