robots.txt 구글 네이버 검색엔진에 맞게 설정 만드는 법

웹사이트나 티스토리, 워드프레스 등 블로그를 만들고 설정하다보면 robots.txt 를 만들어야 합니다. 사실 없어도 구글, 네이버, 다음, MSN  등 대부분의 검색엔진은 웹사이트나 블로그를 색인할 수 있지만 때때로 원하지 않는 방식으로 접근하고 불필요한 페이지가 색인되어 검색 결과로 노출될 수도 있어서 robots.txt를 설정하는 것이 좋은데요. 검색엔진에 대응하는 robots.txt를 설정하는 방법과 만들어서 적용하는 방법, 검색엔진에 적용하는 방법을 알아봅니다.

 

 

robots.txt 만들기

robots.txt 만드는 건 누구나 쉽게 할 수 있습니다. 네이버 웹마스터도구에서는 이미 만들어진 robots.txt를 다운로드할 수도 있으니 받아서 수정하거나 그대로 써도 상관 없거든요. 네이버 웹마스터도구에서 robots.txt를 다운로드하면 아래와 같은 내용이 들어 있습니다.

 

반응형

 

User-agent:Yeti

Allow:/

 

이것만 받아서 내 웹사이트나 블로그의 Root폴더에 넣어도 되는데요, 한가지 문제는 Yeti는 네이버의 검색로봇이라 네이버만 대응이 가능하다는 것입니다. 구글, 다음, MSN 등은 사실상 대응이 안되기 때문에 모든 검색엔진에 대응해주려면 User-agent:* 이렇게 써줘야 합니다.

참고로 유명 검색엔진의 검색로봇이름은 다음과 같이 쓸 수 있습니다.

User-agent: Yeti (네이버)

User-agent: Googlebot (구글)

User-agent: Googlebot-image (구글이미지)

User-agent: MSNBot (MSN)

User-agent: Daumoa (다음)

 

그런데 위에 Allow:/는 내 웹사이트나 블로그의 모든 문서에 접근을 허용하겠다는 의미인데요. 굳이 검색되지 말아야할 관리자페이지나 의미없는 폴더나 내가 테스트용도나 다른 이유로 검색이 되지 않도록 하고 싶은 페이지들도 모두 검색이 되기 때문에 오히려 검색결과가 원하지 않는 상태가 될 수 있습니다. 그래서 이럴 경우엔 disallow:를 추가해줘야합니다. disallow:/ 라고 하면 모두 차단되니까 주의해야하구요. 필요한 폴더나 페이지명을 써주면 됩니다.

 

disallow:/test/abc/

이렇게 하면 예를 들면 https://도메인/test/abc 디렉토리는 모두 검색이 되지 않도록 차단한다는 의미가 됩니다.

 

disallow와 allow를 섞어서 쓸 수도 있습니다.

disallow:/ 모든 폴더 검색을 차단하고

allow:/$ 이렇게 달러표시를 해주면  모든 폴더 검색을 차단하지만 모든 폴더의 첫번째 페이지는 검색을 허용한다는 의미가 됩니다. 가령 /about, /business, /portpolio  등의 폴더가 있을 때 각각의 폴더 밑에 첫페이지만 검색이 되고 나머지는 첫페이지를 통해서 네비게이션 하도록 하고 모든 검색엔진에 대해서 적용하고자 한다면 아래와 같이 합니다.

 

User-agent:*

disallow:/

allow:/$

라고 써주는 것만으로 해결이 되는 것이죠.

 

워드프레스 robots.txt

워드프레스나 웹사이트를 만들 때 앞서 잠깐 언급한 것처럼 특정폴더를 검색되지 않도록 하고싶을 수 있습니다. 워드프레스의 경우는 web-admin폴더는 검색되어야할 필요가 없죠. web-admin폴더 명을 바꿔놨을 때도 마찬가지입니다. 또 웹사이트의 경우 login이나 admin폴더, mypage 같은 경우도 검색될 필요가 없고 정보성 페이지나 게시판들만 검색되도록 해야할 수 있겠죠 이런 경우엔

 

User-agent:*

allow:/

disallow:/web-admin/

disallow:/mypage

disallow:/login.html

 

이런 식으로 써주면 됩니다.

 

특정 검색엔진만 차단하는 robots.txt

특정 검색엔진을 차단해야할 일이 있을 지 모르겠지만 예를 들면 네이버만 허용하고 구글을 차단하거나 반대로 구글은 허용하고 네이버는 차단해야할 경우도 없지는 않을 것 같습니다. 이럴 때는 검색엔진 명과 disallow를 활용하면 됩니다.

 

User-agent:Yeti

allow:/

User-agent:Googlebot
disallow:/

 

또는 

User-agent:Googlebot

allow:/

User-agent:Yeti
disallow:/

 

위와 같이 하면 각각의 검색엔진을 차단하거나 허용할 수 있습니다.

 

마치며,

robots.txt를 만드는 방법, 설정하는 방법을 간단히 살펴봤습니다. 파일을 만들기 전에 네이버웹마스터도구에서 작성해서 다운로드 해도 되고 다른 곳에서 복사해서 붙여 넣기하고 파일을 다운로드 해도 되니 robots.txt를 만들기는 쉽습니다. 

만들어진 robots.txt는 파일질라 등 파일관리도구로 홈페이지  root 폴더에 넣고 경로를 검색엔진에 적어주면 됩니다.

 

고맙습니다.