OpenAI의 검색용 봇과 학습용 봇은 무엇이 다른가?
‘봇’은 웹페이지를 자동으로 읽는 프로그램을 뜻한다. OAI-SearchBot은 ChatGPT 검색에 보여줄 자료를 찾는다. 이 봇을 막으면 ChatGPT 검색 답변에 사이트가 나오기 어려워진다. 다만 허용했다고 해서 모든 질문에 출처로 표시되는 것은 아니다.
GPTBot은 OpenAI가 모델 학습에 사용할 수 있는 콘텐츠를 찾는다. 이 봇을 막으면 사이트 내용을 모델 학습에 쓰지 말라는 의사를 전달하게 된다. 검색 결과에 사이트를 보여주는 OAI-SearchBot과는 하는 일이 다르다.
ChatGPT 검색은 허용하고 학습만 막을 수 있나?
가능하다. 사이트의 robots.txt 파일에서 OAI-SearchBot은 허용하고 GPTBot은 막으면 된다. robots.txt는 자동 방문 프로그램에 어느 영역을 읽어도 되는지 알려주는 공개 설정 파일이다. OpenAI는 두 봇의 허용 여부를 따로 처리한다고 설명한다.
설정을 바꿔도 바로 검색 화면이 달라지는 것은 아니다. OpenAI는 ChatGPT 검색이 변경 내용을 반영하는 데 약 24시간이 걸릴 수 있다고 안내한다. 방문 기록을 확인할 때는 봇 이름만 보지 말고 OpenAI가 공개한 접속 주소 범위도 함께 확인해야 다른 프로그램이 이름을 흉내 낸 경우를 가릴 수 있다.
사용자가 직접 열어 달라고 한 페이지도 같은 설정을 따르나?
ChatGPT-User는 사람이 ChatGPT에 특정 페이지를 열어 달라고 요청했을 때 사용되는 이름이다. 웹 전체를 돌아다니며 검색 자료를 모으는 봇과는 다르다. OpenAI는 이런 사용자 요청 방문에는 robots.txt 규칙이 그대로 적용되지 않을 수 있다고 설명한다.
ChatGPT 검색 노출은 OAI-SearchBot 설정으로 관리한다. 검색 자료를 찾는 방문, 모델 학습 자료를 찾는 방문, 사용자가 직접 요청한 방문을 같은 것으로 보면 사이트 방문 기록을 잘못 해석할 수 있다.
구글 AI 답변에 보이는 내용은 어떻게 조절하나?
구글의 AI Overviews와 AI Mode는 기존 구글 검색 설정의 영향을 받는다. noindex는 페이지 자체를 검색 결과에서 빼는 설정이다. nosnippet은 검색 결과에 본문 미리보기를 보여주지 않게 하며, 구글 AI 답변이 해당 내용을 직접 활용하는 범위도 제한한다.
max-snippet은 검색 결과에 보여줄 글자 수를 제한한다. 페이지 전체가 아니라 특정 문장만 미리보기에서 빼려면 data-nosnippet을 쓸 수 있다. 다만 별도로 제공한 구조화된 정보나 사용 계약이 있는 콘텐츠에는 다른 조건이 적용될 수 있다.
AI 검색과 학습 설정에서 무엇을 기억해야 하나?
OpenAI에서는 ChatGPT 검색용 OAI-SearchBot과 모델 학습용 GPTBot을 따로 설정한다.
사람이 직접 페이지를 열어 달라고 요청한 방문은 일반 검색용 봇과 다르게 처리될 수 있다.
구글 AI 답변은 기존 구글 검색의 페이지 노출과 미리보기 설정을 따른다.