brumka

посмотрел логи у своего провайдера. помимо ботов вроде Yahoo и прочих, культурно ограничивающихся robots.txt (ЖЖ обещал не разрешать индексацию), нашлось немало crawlers вроде:

70.249.82.150 - "http://www.iamthecheese.com/ljimages.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.8) Gecko/20050511 Firefox/1.0.4"
64.81.243.97 - "http://fuzzysquid.com/LJ.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.8) Gecko/20050511 Firefox/1.0.4"
12.217.130.3 - "http://www.portalofevil.com/lj.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"
172.175.84.202 - "http://www.thedamnblog.com/inss.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
24.71.127.207 - "http://www.toothpastefordinner.com/livejournal-pictures.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
24.202.74.116 - "http://object.qpalzm.com/fun/livejournal-images/livejournal-images.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.8) Gecko/20050511 Firefox/1.0.4"
71.112.110.129 - "http://www.nonexiste.net/lj.php?count=100&refresh=120" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 3.1)"
24.24.66.171 - "http://www.erikveland.com/ljimages/" "Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; en-US; rv:1.7.6) Gecko/20050317 Firefox/1.0.2"
66.117.231.235 - "http://www.elfqrin.com/hacklab/ljimages.php" "Mozilla/5.0 (compatible; Konqueror/3.2; Linux 2.4.27; X11) (KHTML, like Gecko)"
65.96.62.138 - "http://www.es4life.org/random/ljimages.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.8) Gecko/20050511 Firefox/1.0.4"

понятно, что вся эта братия ковыряется уже не первый день (месяц/год), однако, я пожалуй буду класть под замок всё мало-мальски личное