모든 크롤러 접근 허용
robots.txt에서는 검색 크롤러, AI 검색 크롤러, 사용자 요청형 접근과 학습 크롤러를 구분하지 않고 모든 User-Agent에 전체 경로 접근을 허용합니다. OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, Claude-User, ClaudeBot, PerplexityBot과 Google-Extended를 별도로 차단하지 않습니다.
robots.txt의 허용은 수집 가능성을 안내할 뿐 특정 검색 서비스의 노출, 인용이나 추천을 보장하지 않습니다.
접근 허용과 색인의 구분
크롤러 접근 허용과 검색 결과 색인은 서로 다른 정책입니다. 로컬·Preview와 비공개 자료는 HTML noindex와 공개 사이트맵·기계 판독용 인덱스 제외 방식으로 검색 색인을 제한하며, 운영 도메인의 공개 승인 콘텐츠만 공개 인덱스에 포함합니다.
기계 판독용 자료
사이트맵, JSON-LD, llms.txt, llms-full.txt와 content-index.json에는 공개 승인된 콘텐츠만 포함합니다. 변호사·사무소 엔티티는 개인·조직·위치 유형, 공식 출처, 확인일과 정보성 소개라는 페이지 성격을 함께 제공합니다.