Blogger - Robots.txt 설정하기.

Robots.txt 파일은 우리 웹사이트에 구글, 네이버 등 검색엔진 로봇이 접근해서 페이지를 읽을 수 있도록 허용할지, 차단할지 도와준다. 모든 내용을 공개하고 싶지 않다면 차단해야한다. 작성법 간단하다.

# 모든 로봇 차단

User-agent: *
Disallow: /

# 모든 로봇 허용
User-agent: *
Allow: /

# 모든 로봇 + 특정 디렉토리 차단
User-agent: *
Disallow: /life/food/
Disallow: /life/hobby/

# 모든 로봇 + 특정 디렉토리 허용
User-agent: *
Allow: /life/food/
Allow: /life/hobby/

# 구글, 네이버 로봇만 차단 + 나머지 모두 허용
User-agent: Googlebot
User-agent: Naverbot
Disallow: /

User-agent: *
Allow: /

# 구글, 네이버 로봇만 허용 + 나머지 모두 차단
User-agent: Googlebot
User-agent: Naverbot
Allow: /

User-agent: *
Disallow: /