생활정보

그누보드 짧은주소 사용시 robots.txt를 이용하여 구글 검색엔진 무분별한 색인생성 등록 막는 방법

  • 낚시캠핑나들이 작성
  • 작성일

그누보드 짧은주소 사용시 필요없는 웹페이지 등록 안되게 하는 방법

 

그구보드는 짧은주소를 사용 가능합니다. 짧은주소란 https://도메인/한글제목, https://도메인/보드명/숫자, 이런식으로 사이트나 웹문서를 줄여주는 서비스로 기본적인 그누보드 주소는 https://도메인/bbs/board.php?보드명 이런식으로 되어있습니다.

 

그누보드로 홈페이지를 만들었을 경우 robots.txt를 이용하여 구글에서 무분별한 색인생성을 막을 수 있습니다. 무분별한 등록을 막아야 되는 이유는 중복페이지를 피하기 위함입니다. 중복페이지가 되면 아무래도 구글 상위노출쪽에 마이너스가 됩니다.

 

그누보드 짧은주소를 사용시 구글검색엔진은 3가지의 URL을 가져 갑니다. 짧은주소를 사용한다 하여 짧은주소만 가져가는 것이 아닌 기본적인 주소도 가져가므로 하나의 웹문서를 3개지 이상의 주소를 색인생성하여 구글봇이 검색시 혼란을 주어 검색 노출이 덜 될수 있습니다.

 

그누보드짧은주소

그누보드 짧은주소 robots.txt 작성법

 

그누보드 robots.txt 작성방법

 

1. 모든 검색엔진이 사이트의 모든 자료를 크롤링 할 수 있는 robots.txt 작성방법

 

User-agent: *

Allow:/

 

위 방식은 모든 검색엔진 네이버,다음,구글,빙 등 모든 검색엔진에서 모든 자료를 크롤링 할 수 있습니다.

 

2. 모든 검색이 사이트의 모든 자료를 크롤링 할 수 없는 robots.txt 작성방법

 

User-agent: *

Disallow:/

 

위 방식은 모든 검색엔진 네이버,다음,구글,빙 등 모든 검색엔진에서 모든 자료를 크롤링 할 수 없습니다.

 

그누보드 짧은주소 robots.txt 작성방법

 

그누보드 짧은주소 사용시 robots.txt 작성하여 서버에 올리면 구글에서 무분별한 크롤링을 할 수 없습니다. robots.txt 작성 예를 보여 드리겠습니다.

 

User-agent: *

Disallow: /bbs/ (bbs폴더 하위 파일 색인 등록(크롤링)을 막는 방법)

Disallow: */? (폴더/? 물음표가 포함된 하위 파일 색인 등록(크롤링)을 막는 방법)

Disallow: *? (? 물음표가 포함된 하위 파일 색인 등록(크롤링)을 막는 방법)

 

robots.txt를 위와 같이 작성 후 서버에 올리면 무분별한 등록을 막을 수 있습니다.

 

User-agent: *
Disallow: /bbs/
Disallow: /plugin/
Disallow: */?
Disallow: *?

 

이상 그누보드로 사이트를 만들었으면 robots.txt를 작성하여 서버에 올려 주시면 무분별한 등록을 막을 수 있는 방법을 알아 보았습니다.

NAVER 블로그 검색
색인 생성 허용 여부 error 아니요: 'X-Robots-Tag' http 헤더에서 'noindex'가 감지됨 구글 서치 콘솔에 등록하려면 고유주소 방식이 일반이 아닌 숫자, 글 이름, 사용자 정의 구조 로만 등록이...
다사도
맞춤 robots.txt를 등록하여 포스팅하여 게시한 글을 색인하고 최적화 하여 검색엔진에 노출 될 수 있도록 적용할 수 있습니다. 구글 서치 콘솔은 '적절한 표준 태그가 포함된 대체 페이지'와...
듀륏체리의 하드웨어 섹터
많은 사용자에게 내 웹사이트를 노출시키기 위해서는 색인 작업이 반드시 되어야 합니다. 오늘은 네이버 서치어드바이저 사이트 등록과 검색엔진에 노출될 수 있는 색인 방법에 대해 설명드리려고...
킨다그로스
구글 검색 노출은 고난?" 뭐 보셨다시피 등록 절차 자체는 어찌 보면 허무할 정도로 쉽고 간단한데, 색인 생성과 검색 노출은 이와는 전혀 별개의 사안이다. 앞서도 잠깐 언급했지만, 자회사의 제휴...
모지랑이 연구소
③ 구글 블로그 관리창으로 이동하여, 소유권 인증 절차를 진행한다. '설정' → '크롤러 및 색인 생성' 항목에서 '맞춤 robots.txt 사용 설정'이 활성화되어있는지 확인하고, 만약 안 되어 있다면 이를 먼저...
모지랑이 연구소
댓글 0
등록된 댓글이 없습니다.
전체 11 / 1 페이지