developer tip

특정 매개 변수가있는 robot.txt의 URL을 무시 하시겠습니까?

optionbox 2020. 11. 20. 08:53
반응형

특정 매개 변수가있는 robot.txt의 URL을 무시 하시겠습니까?


Google이 다음과 같은 URL을 무시하기를 바랍니다.

http://www.mydomain.com/new-printers?dir=asc&order=price&p=3

dir, order 및 price 매개 변수가있는 모든 URL은 무시해야하지만 Robots.txt에 대한 경험이 없습니다.

어떤 생각?


쿼리 문자열을 허용하지 않으려는 경우 해결 방법은 다음과 같습니다.

Disallow: /*?*

또는 쿼리 문자열에 대해 더 정확하고 싶은 경우 :

Disallow: /*?dir=*&order=*&p=*

허용 할 URL을 robots.txt에 추가 할 수도 있습니다.

Allow: /new-printer$

$확인 만이 만들 것입니다 /new-printer허용됩니다.

더 많은 정보:

http://code.google.com/web/controlcrawlindex/docs/robots_txt.html

http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/


다음 줄을 사용하여 특정 쿼리 문자열 매개 변수를 차단할 수 있습니다.

Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=

어떤 URL이 포함 그렇다면 dir=, order=또는 p= 어디 쿼리 문자열에서, 그것은 차단됩니다.


Google WebMaster 도구에 웹 사이트를 등록하세요. 여기에서 매개 변수를 처리하는 방법을 Google에 알릴 수 있습니다.

사이트 구성-> URL 매개 변수

이러한 매개 변수가 포함 된 페이지는 로봇 메타 태그를 통해 색인 생성에서 제외되어야 함을 나타내야합니다. 예 :

참고 URL : https://stackoverflow.com/questions/9149782/ignore-urls-in-robot-txt-with-specific-parameters

반응형