네이버 검색 로봇 차단 robots.txt 후 네이버 포스팅 워드프레스 노출하기

네이버 검색 로봇 차단(robots.txt 설정) 네이버 포스팅 정보를 워드프레스 노출해보겠습니다.

현재 네이버 블로그를 운영하고 있습니다. 워드프레스를 함께 이용하려고 합니다. 이미 작성된 네이버 포스팅을 워드프레스에 작성하고 저품질을 막기 위해 네이버 봇을 차단하려고 합니다.

만일 저 품질로 빠진다면 네이버 글을 모두 삭제를 결정하려고 합니다.

워드프레스 검색엔진 Robots.txt 파일을 이용한 네이버 검색 로봇 차단

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치한 파일입니다. 네이버나, 구글 검색엔진이 해당 파일을 읽고 내 사이트의 어떤 페이지를 수집할지 말지 또는 제한되는 범위를 결정할 수 있습니다.

robots.txt 파일 정보에 User-agent와 Disallow로 작성합니다.
User-agent는 특정 검색엔진(크롤러)에 대한 설정을 지정할 때 사용하며, Disallow는 검색엔진이 접근할 수 없는 경로를 지정할 때 사용됩니다.

예를 들어, User-agent를 네이버로 설정하고 Disallow에 /admin을 입력하면, 검색엔진 크롤러는 /admin 경로에 접근하지 못합니다.

User-agent: 검색 엔진 봇 정보
Disallow: /페이지주소 또는 디렉토리

#네이버 검색 
User-agent: Yeti <-네이버 검색엔진
Disallow: /admin

robots.txt 파일은 웹사이트를 검색엔진이 크롤링할 때 참고하는 매우 중요한 파일입니다. 이 파일을 이용하여 제 워드프레스 사이트의 내용을 네이버 검색엔진이 수집하지 못하도록 차단했습니다.

사이트 페이지 루트에 robots.txt를 설정했습니다.

robots.txt 규칙을 사이트 성격에 맞게 변경이 가능합니다.

User-agent: *
Disallow: /
User-agent: Yeti
Allow: /

User-agent: *
Disallow: /

사이트의 /admin-test /admin-image ... 앞에 admin이 있는 디렉토리 허용 불가
User-agent: Yeti
Disallow: /admin*

네이버 웹마스터도구 활용 가이드에 가면 더욱 자세한 내용을 확인 할 수 있습니다. https://searchadvisor.naver.com/guide/seo-basic-robots