Basandosi sul comportamento: se i crawler seguono quanto indicato da robots.txt, non cercando di accedere in parti del sito non consentite, non finiscono nella trappola infinita, altrimenti sì.
EDIT: mi sbagliavo un warning avvisa proprio che non c'è modo di distiguere buoni da cattivi
@letterina questo libro ha lasciato dentro di me un desiderio di visitare Pietroburgo, durante le notti bianche.
Consigliatissima la lettura. Vista la brevità del libro, è anche poco impegnativa.
@libri