pc/블로그

robots.txt 생성 및 업로드 방법

moodyblues 2021. 9. 9. 14:11

네이버 웹마스터 도구 robots.txt 

 

robots.txt는 검색로봇에게 사이트 및 웹페이지의 내용을 수집할 수 있도록 허용 혹은 제한하는 국제 권고안이다. robots.txt 파일은 사이트의 루트 디렉터리에 위치해야 하며, 일반 텍스트 파일로 작성해야 한다.

 

1) 웹마스터 도구 사이트 목록 관리 화면

 

아래 관리 화면으로 진입

 

사이트 목록 관리화면
사이트 목록 관리화면

2) robots.txt 클릭

 

robots.txt 클릭
robots.txt 클릭

 

 

3) 생성 및 다운로드

 

robots.txt 생성 및 다운로드한다.

모든 검색로봇에게 수집을 허용합니다 - 로 생성 및 다운로드

 

robots.txt 생성
robots.txt 생성

 

4) 업로드

 

다운로드한 파일을 robots.txt를 티스토리에 업로드한다.

 

 

robots.txt를 티스토리에 업로드
robots.txt를 티스토리에 업로드

 

위, 표 안의 파일은 건드리지 말고, 다운로드한 파일 robots.txt 파일을 업로드한다.

 

 

5) 수집 요청

 

네이버 searchadvisor에 수집 요청

 

 

네이버 searchadvisor에 수집 요청
네이버 searchadvisor에 수집 요청

 

6) 확인

 

아래 확인 버튼을 클릭하면 수집이 가능하다는 메시지가 나온다.

 

 

수집 가능 여부 확인
수집 가능 여부 확인

2021.10.06 - [pc/티스토리] - 네이버 사이트 등록

2021.10.06 - [pc/티스토리] - RSS 제출( 네이버 사이트 등록 후)

2021.10.06 - [pc/티스토리] - 사이트맵 제출(네이버 사이트 등록)