SEO 기초 - Robots.txt 등록

웹페이지를 만들었을 때

Robots.txt를 등록하여 얻을 수 있는 이점은 특정 주소만 검색되도록 하는 기능과 사이트맵을 더 빨리 찾을 수 있게 하는 기능이 있다는 점이다.

 

1 단계

 

텍스트 파일을 연다. 

텍스트 파일의 제목은 robots로 두고 txt파일 형식으로 둔다.

 

robots.txt 파일을 만든다.

 

2단계

 

User-agent: *
Disallow:

 

이렇게 설정해준다. 

User-agent 를 *로 두면 특정 도메인의 크롤링봇을 막을 수 있다.

Disallow의 경우 검색이 안걸리게 하려는 페이지가 있을 경우 따로 설정한다.

 

Disallow:/test

이런식으로 하면 test 페이지는 검색에 따로 잡히지 않는다.

 

3단계 

 

이 포스팅에서 사이트맵 등록하는 법을 기록해두었다.

https://it-timehacker.tistory.com/7

SEO 최적화 실행 실전 7가지 방법과 사이트 링크

등록한 사이트 맵을 

Sitemap : 홈페이지주소/sitemap.xml 형식으로 넣은 후

저장한다.

 

robots.txt

User-agent: * Disallow: Sitemap: 사이트맵 경로

 

4단계

 

사이트의 루트 경로에 robots.txt파일을 저장시킨다.

 

모두 다 적용해보고 괜찮은 사항들만 모아서

나중에 유튜브에서 강의로 다룰 예정이다.

 

 타임 해커 유튜브
https://www.youtube.com/channel/UCHsRy47P2KlE749oAAjb0Yg?view_as=subscriber

타임해커