인터넷아카이브봇/시스템관리자를 위한 FAQ
이 페이지에는 인터넷아카이브봇(InternetArchiveBot)에 대해 서버 관리자가 묻는 일반적인 질문 목록이 포함되어 있습니다.
Q: 봇이 제 사이트에 요청하는 이유는 무엇입니까?
- A: 인터넷아카이브봇은 위키백과의 도구에 크게 의존합니다. 봇은 정기적으로 위키백과의 문서를 확인하고 깨진 링크를 수리, 교체 또는 제거합니다. 이렇게 하려면 URL이 제대로 작동하는지 확인하기 위해 URL을 핑(ping)해야 합니다. 일반적으로 서버의 스트레스를 줄이기 위해 HEAD 요청을 전송하여 이를 수행합니다. 어떤 경우에는 HEAD 요청이 실패하면 전체 GET 요청을 시도할 수 있습니다.
Q: 제 사이트에 robots.txt가 있지만 InternetArchiveBot이 이를 무시합니다. robots.txt를 준수하지 않는 이유는 무엇입니까?
- A: InternetArchiveBot이 실제로 콘텐츠에 대해 사이트를 크롤링하지 않기 때문입니다. 사이트의 콘텐츠는 어디에도 저장되지 않습니다. 봇이 단순히 하는 일은 URL이 실제로 콘텐츠를 전달하는 작동하는 URL인지 평가하는 것입니다. 위키백과에서 소스로 사용되고 있기 때문에 해당 URL에만 접근합니다. 대부분의 경우 IABot이 HEAD 요청을 하고 있음을 알 수 있습니다. 소스가 위키백과에서 제거되거나 손상된 것으로 확인되면 IABot은 해당 소스에 대한 요청을 중지합니다.
Q: 봇이 한 번에 많은 요청을 하는 이유는 무엇입니까?
- A: InternetArchiveBot은 문서별로 링크를 테스트합니다. 즉, 문서를 한 번에 하나씩 살펴보고 문서에서 찾은 모든 링크를 테스트합니다. 사이트가 특정 문서에서 많이 사용되는 경우 InternetArchiveBot은 해당 URL 모두에 요청을 보냅니다. 그러나 IABot은 동일한 사이트로 가는 요청 사이에 1초를 기다립니다.
Q: 이 테스트 사이에 대기 시간이 있습니까?
- A: 예, URL이 살아있는 것으로 간주되면 특정 URL을 다시 테스트하기 전에 최소 1주일의 대기 시간을 유지합니다. URL이 죽은 것으로 판명되면 각 테스트 사이에 최소 3일을 기다리면서 2번 더 테스트한 후 깨진 것으로 선언합니다. 봇이 남은 2개의 테스트 중 하나에서 URL이 살아 있음을 발견하면 1주일의 대기 기간이 복원됩니다. 봇이 링크가 끊어졌다고 선언하면 URL에 대한 추가 테스트가 중단됩니다.
Q: 봇을 차단할 수 있나요?
- A: 할 수 있지만 바람직하지 않습니다. 봇을 차단하면 봇이 전체 사이트가 손상된 것으로 판단할 수 있으며 위키백과에서 그렇게 취급됩니다. User talk:InternetArchiveBot에 연락하여 도메인을 화이트리스트에 추가하도록 요청하는 것이 좋습니다. 허용 목록에 추가되면 봇은 도메인에 대한 요청을 중지합니다.
Q: 봇을 차단하면 어떻게 됩니까?
- A: InternetArchiveBot은 사이트가 다운되었거나 액세스가 차단되었는지 확인하는 것이 가장 좋습니다. 차단된 것으로 판단되면 도메인을 화이트리스트에 추가하고 자동으로 요청을 중단합니다. 차단되었음을 감지할 수 없는 경우 IABot은 결국 도메인의 모든 URL을 손상된 것으로 취급하기 시작하고 위키백과에서 이를 대체하거나 제거할 수 있습니다.
Q: URL 또는 사이트가 작동하지 않는 것으로 간주되면 어떻게 됩니까?
- A: InternetArchiveBot은 손상된 것으로 간주되는 URL에 대한 요청을 중단하고 위키백과에서 URL을 교체하거나 제거하기 시작합니다. 교체되는 경우 일반적으로 웨이백 머신에서 캡처한 아카이브 사본으로 교체됩니다.
Q: 최근에 사이트를 재구성했지만 InternetArchiveBot은 여전히 이전 URL을 요청하고 있습니다. 우리는 무엇을해야합니까?
- A: 두 가지 옵션이 있습니다. 가장 쉬운 옵션은 302 코드를 사용하여 모든 이전 URL을 올바른 새 URL로 넘겨주기하는 것입니다. IABot은 넘겨주기를 따르고 새 URL을 자동으로 테스트합니다. 두 번째 방법은 User talk:InternetArchiveBot에 연락하여 새로운 URL 구조와 올바르게 변환하는 방법을 알려주는 것입니다.
Q: 질문이 더 있으면 어떻게 해야 하나요?
- A: User talk: InternetArchiveBot에 연락하여 토론 페이지에 메시지를 남겨 두는 것이 좋습니다. 그렇게 하려면 페이지 오른쪽 상단에 있는 새 섹션 탭을 클릭하세요.