그누보드 짧은주소 사용시 robots.txt를 이용하여 구글 검색엔진 무분별한 색인생성 등록 막는 방법

그누보드 짧은주소 사용시 필요없는 웹페이지 등록 안되게 하는 방법

그구보드는 짧은주소를 사용 가능합니다. 짧은주소란 https://도메인/한글제목, https://도메인/보드명/숫자, 이런식으로 사이트나 웹문서를 줄여주는 서비스로 기본적인 그누보드 주소는 https://도메인/bbs/board.php?보드명 이런식으로 되어있습니다.

그누보드로 홈페이지를 만들었을 경우 robots.txt를 이용하여 구글에서 무분별한 색인생성을 막을 수 있습니다. 무분별한 등록을 막아야 되는 이유는 중복페이지를 피하기 위함입니다. 중복페이지가 되면 아무래도 구글 상위노출쪽에 마이너스가 됩니다.

그누보드 짧은주소를 사용시 구글검색엔진은 3가지의 URL을 가져 갑니다. 짧은주소를 사용한다 하여 짧은주소만 가져가는 것이 아닌 기본적인 주소도 가져가므로 하나의 웹문서를 3개지 이상의 주소를 색인생성하여 구글봇이 검색시 혼란을 주어 검색 노출이 덜 될수 있습니다.

그누보드 짧은주소 robots.txt 작성법

그누보드 robots.txt 작성방법

User-agent: *

Allow:/

위 방식은 모든 검색엔진 네이버,다음,구글,빙 등 모든 검색엔진에서 모든 자료를 크롤링 할 수 있습니다.

2. 모든 검색이 사이트의 모든 자료를 크롤링 할 수 없는 robots.txt 작성방법

User-agent: *

Disallow:/

위 방식은 모든 검색엔진 네이버,다음,구글,빙 등 모든 검색엔진에서 모든 자료를 크롤링 할 수 없습니다.

그누보드 짧은주소 robots.txt 작성방법

그누보드 짧은주소 사용시 robots.txt 작성하여 서버에 올리면 구글에서 무분별한 크롤링을 할 수 없습니다. robots.txt 작성 예를 보여 드리겠습니다.

User-agent: *

Disallow: /bbs/ (bbs폴더 하위 파일 색인 등록(크롤링)을 막는 방법)

Disallow: */? (폴더/? 물음표가 포함된 하위 파일 색인 등록(크롤링)을 막는 방법)

Disallow: *? (? 물음표가 포함된 하위 파일 색인 등록(크롤링)을 막는 방법)

robots.txt를 위와 같이 작성 후 서버에 올리면 무분별한 등록을 막을 수 있습니다.

이상 그누보드로 사이트를 만들었으면 robots.txt를 작성하여 서버에 올려 주시면 무분별한 등록을 막을 수 있는 방법을 알아 보았습니다.