404 오류, 페이지 색 인 생성, 찾을 수 없음(404), 4xx 문제로 인해 차단됨

1. 404 오류, 페이지 색인 생성, 찾을 수 없음 등

구글 서치콘솔에서 아래 그림과 같은 오류(혹은 아래 그림과 같은 이상한 주소들)를 흔히 접할 수 있습니다

악의적  스팸봇 이 이 사이트를 대상으로  무작위 URL을 생성  요청

(1) 404 오류의 원인

스팸봇의 무작위 URL 요청, 

• 악의적 스팸봇이 이 사이트를 대상으로 무작위 URL을 생성 요청.
• 이러한 요청은 실제로 존재하지 않는 페이지를 대상으로 하기 때문에 404 오류로 기록.

외부 잘못된 링크

• 외부 사이트나 자동화된 도구에서 잘못된 링크가 생성되어 구글 크롤러가 이를 탐지했을 수 있음.
• 이런 경우, 구글은 요청한 URL이 실제로 존재하지 않는다는 것을 알게 되고 404 상태로 기록.

사이트맵 문제

• 만약 잘못된 사이트맵이 제출되었다면, 구글이 존재하지 않는 URL을 색인하려 시도할 수 있습니다.
  1. 이런 경우에는 다시 사이트 맵을 제출 해 주면 됩니다: 도메인 주소/sitemap.xml
  2. 올바른 사이트맵을 다시 제출해 주면 구글은 이전의 것을 덮어쓰기 때문에 이전의 사이트맵을 수정할 필요는 없습니다.

검색 쿼리로 생성된 URL

• /search 경로와 관련된 스팸 쿼리가 자동으로 생성되면서 구글이 이를 색인하려 했을 가능성이 많습니다.

2. 이런 URL(404 오류, 이상한  페이지 등)을 삭제해야 할까?

404 URL 삭제 여부

검색 색인에는 큰 영향이 없음

• 404 상태는 구글이 페이지가 없음을 인지했기 때문에, 검색 색인 및 순위에 직접적으로 영향을 주지 않습니다.
• 구글은 일정 기간이 지나면 이런 URL을 자동으로 검색 색인에서 제거합니다.

불필요한 URL 정리가 필요할 때

• 하지만, 스팸 URL이 계속 추가되거나 과도하게 쌓인다면, 관리 목적으로 삭제 작업을 수행하는 것이 좋습니다.
• 삭제 작업을 통해 서치 콘솔에서 이러한 URL이 계속 표시되지 않도록 할 수 있습니다.

3. 삭제 방법

1) 구글 서치 콘솔에서 삭제 요청

(1) 구글 서치 콘솔 로그인

(2) "삭제 도구" 이용

• 아래 그림을 참고하여 왼쪽 메뉴에서 "삭제"를 선택
• 또는 "URL 검사"에서 해당 URL을 입력하여 상태를 확인한 후 '제거 요청'을 진행

구글 서치 콘솔에서 삭제 요청

(3) 삭제 요청 생성

• "새 요청" 버튼을 클릭
• 스팸 URL을 개별적으로 입력하거나, 특정 경로 패턴(예: /search/* )을 입력하여 삭제 요청

스팸 봇 URL - 구글 서치 콘솔에서 삭제 요청

2) 사이트맵에서 문제 해결

사이트맵 점검

• 제출된 사이트맵에 이상한 URL이 포함되어 있는지 확인합니다.
• 텍스트 편집기에서 Ctrl + F를 사용해 잘못된 URL 패턴(랜덤 문자열 등)을 검색합니다.

수정 및 다시 제출

• 잘못된 URL이 포함된 경우, 이를 제거하거나 혹은 올바른 사이트맵을 다시 서치 콘솔에 제출하면 됩니다.

3) 404 상태 URL 자연 제거 기다리기

• 구글은 404 상태의 URL을 일정 시간이 지나면 자동으로 검색 색인에서 제거하므로, 급한 문제가 아니라면 기다려도 문제가 해결됩니다.

4. 스팸 URL 생성을 막는 방법

1) 클라우드플레어 방화벽 설정

• 클라우드플레어를 사용하는 경우, 특정 패턴의 요청(랜덤 문자열 또는 /search 경로 등)을 차단할 수 있습니다.
  • 설정 예시: URL 경로: /search/* , 또는 랜덤 문자열에 대한 규칙 추가.
  • 동작: 차단(Block).

2) 구글봇 크롤링 제한

• robots.txt를 수정하여 구글 크롤러가 특정 경로를 크롤링하지 못하도록 설정

구글봇 크롤링 제한

404 오류, 페이지 색 인 생성, 찾을 수 없음(404), 4xx 문제로 인해 차단됨

"이 글은 쿠팡 파트너스 활동의 일환으로, 일정액의 수수료를 제공받을 수 있습니다"