Google NotebookLM의 robots.txt 무시 문제와 대처법

구글 NotebookLM이 로봇.txt 명령을 무시하는 이유와 대응 방안

여러분, 웹사이트를 운영할 때 가장 중요하게 생각하는 점 중 하나가 바로 검색 엔진 최적화, 즉 SEO죠. 그런데 최근 구글의 새로운 동향이 웹마스터들 사이에서 화제를 몰고 있습니다. 바로 Google NotebookLM의 robots.txt 무시에 대한 이야기인데요. 과연 이게 무엇이고, 우리가 어떻게 대처해야 할지 함께 알아보도록 하겠습니다.

Google NotebookLM이란 무엇일까요?

Google NotebookLM은 사용자에게 웹 페이지를 입력하면 그 내용을 바탕으로 다양한 질문에 대한 답변을 제안하거나 요약을 생성해주는 AI 기반의 연구 및 작문 도구입니다. 이를 통해 사용자들은 웹 콘텐츠를 조직화하고 주요 내용을 효율적으로 파악할 수 있는 장점을 누립니다. 이때 Google NotebookLM은 사용자 요청에 따라 웹 콘텐츠를 가져오지만, 문제가 되는 건 robots.txt를 무시한다는 것입니다.

왜 robots.txt를 무시할까요?

보통 robots.txt 파일은 웹사이트 소유자들이 특정 페이지나 섹션에 접근을 제한하기 위해 사용하는 파일입니다. 하지만 Google NotebookLM 같은 사용자 유발 검색 퍽처(Fetcher)는 이러한 명령을 무시합니다. 이는 사용자가 선택한 콘텐츠에 대해 기존의 인덱싱 방식이 아닌 상호작용을 기반으로 작동하기 때문이에요.

구글의 입장과 우리에게 미치는 영향

구글은 사용자 유발 검색 퍽처는 사용자가 요청한 경우에만 작동하기 때문에 robots.txt의 규칙을 준수할 필요가 없다고 설명합니다. 즉, NotebookLM은 콘텐츠 인덱싱이 아니라 사용자 상호작용을 기반으로 하는 도구로 인식됩니다. 이런 방식은 웹사이트 소유자들에게 혼란을 줄 수 있으며, 어떤 콘텐츠가 어떻게 활용되는지를 파악하기 어렵게 만들죠.

NotebookLM을 차단하는 방법

그렇다면, 웹사이트의 콘텐츠 접근을 제한하고자 하는 경우 어떻게 해야 할까요?

Wordfence 플러그인 사용: 워드프레스 사용자라면 Wordfence같은 보안 플러그인을 활용해 Google-NotebookLM 사용자 에이전트를 차단할 수 있습니다. 이를 통해 많은 방문자를 간단하게 필터링할 수 있어요.
.htaccess 파일 수정: Apache 서버를 사용하는 경우, .htaccess 파일에 다음 규칙을 추가하여 NotebookLM의 접근을 차단할 수 있습니다.
- RewriteEngine On
- RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC]
- RewriteRule .* - [F,L]

이러한 방식으로 NotebookLM의 웹사이트 콘텐츠 접근을 제어할 수 있습니다.

마무리하며

디지털 환경은 끊임없이 변화하고 있으며, 우리는 이러한 변화를 이해하고 대응할 수 있는 능력을 갖춰야 합니다. Google NotebookLM의 경우, 사용자가 정보를 탐색하는 방법에 대한 혁신을 보여주는 사례입니다. 이에 따르는 잠재적인 체제와 통합을 통해 브랜드가 지속적으로 혁신하고 성장할 수 있도록 유연해야 합니다. 여러분의 웹사이트 SEO 전략에도 이러한 변화가 잘 반영되길 바랍니다.