반응형 robots.txt 작성하는 방법1 개발자가 할 수 있는 간단한 SEO 설정 - robots.txt, sitemap robots.txt 파일은 웹사이트의 루트 디렉터리에 위치한 텍스트 파일로, 검색 엔진 크롤러(로봇)에게 어떤 페이지나 파일을 크롤링할 수 있는지 또는 크롤링해서는 안 되는지에 대한 지침을 제공합니다. 이 파일은 "로봇 배제 표준" (Robots Exclusion Protocol)의 일부로, 웹사이트의 크롤링 정책을 정의합니다. robots.txt 파일의 주요 개념위치: robots.txt 파일은 웹사이트의 루트 디렉터리에 위치해야 합니다. 예를 들어, http://www.example.com/robots.txt 와 같이 접근할 수 있어야 합니다. (app 폴더가 아닌 public 폴더 등) ex. public/robots.txt구조: robots.txt 파일은 여러 개의 규칙 블록으로 구성될 수 있으며.. 2024. 6. 12. 이전 1 다음 반응형
