체인의정석

웹페이지를 만들었을 때 Robots.txt를 등록하여 얻을 수 있는 이점은 특정 주소만 검색되도록 하는 기능과 사이트맵을 더 빨리 찾을 수 있게 하는 기능이 있다는 점이다. 1 단계 텍스트 파일을 연다. 텍스트 파일의 제목은 robots로 두고 txt파일 형식으로 둔다. robots.txt 파일을 만든다. 2단계 User-agent: * Disallow: 이렇게 설정해준다. User-agent 를 *로 두면 특정 도메인의 크롤링봇을 막을 수 있다. Disallow의 경우 검색이 안걸리게 하려는 페이지가 있을 경우 따로 설정한다. Disallow:/test 이런식으로 하면 test 페이지는 검색에 따로 잡히지 않는다. 3단계 이 포스팅에서 사이트맵 등록하는 법을 기록해두었다. https://it-timeh..