Search: None (content) en bots weren van een site

Wat ik regelmatig zie in mijn logs is een regel alsvolgt:
search 7 Mar 2007 - 08:20 Search: None (content). Anonymous

Op 3 seconden tijd kunnen het er een 20-tal zijn.
Zijn dat bots die mijn site komen bezoeken en mag ik ervan uitgaan dat die minder goede intenties hebben met mijn site of hoe moet ik die regel interpreteren?

Een 2de niet minder belangrijke vraag: als het bots zijn... hoe weer je die van je site?
Ik gebruik momenteel wel al het captcha script voor mijn commentaren enzo maar ik merk dat ik nog veel bezoek krijg wat mijn statistieken serieus de war in stuurt op unieke gebruikers...

Auteur:

Passero

Datum van inzending:

woensdag 7 maart 2007 - 8:54

Door Sutharsan op 7 maart, 2007 - 12:29

Ik stel de volgende stappen en acties voor:

Wie het zijn en wat ze doen. Op basis van het IP adres (in de watchdog lijst) kan je uitzoeken wie/wat die bot is. Gebruik http://www.arin.net/whois/ om te achterhalen van wie het IP is. Maar daar vindt je alleen info als het een officiele partij is (bijv. Google). Een hacker heeft beter afgeschermd. Googlen op het IP wil ook nog wel eens wat opleveren. Zoek uit wat de bots doen door te kijken welke pagina's worden bezocht en wat ze daar doen (watchdog lijst).
robot.txt Zoekbots houden zich aan de afspraak dat directories die in dit bestand zijn uitgesloten niet worden bezocht. Maar partijen met minder goede intenties zullen zich hier niets van aan trekken. Als een IP 20 maal in 3 seconden je site bezoekt geeft te denken. Google beperkt zich bijvoorbeeld tot max. 1 maal per seconde.
IP adres weren. In het 'Access Rules' menu (pad: admin/user/rules) kan je bezoekers/gebruikers weren op basis van het IP adres. Rule type: 'Host'.
Weren met .htaccess. Nog grondiger dan de bovenstaande is het weren van een IP adres in het .htaccess bestand. Google op ".htaccess block IP" en je vindt voorbeelden van hoe dit te doen.

-- Sutha

-- Erik

Door Passero op 7 maart, 2007 - 13:11

Dat met de IP's heb ik ook al eens geprobeerd. Blijkbaar werd er in mijn search nogal veel gezocht op viagra... Die IP's zijn nu geblokkeerd, of de meeste toch...

als ik kijk hoeveel unieke IP's het zijn dan zijn het er heeeel veel en is het bijna niet te doen om die allemaal een voor een te controleren en te weren. Ik he dit een tijdje gedaan, maar je stopt gewoon omdat het teveel is en ze blijven komen.

Uiteindelijk heb ik er geen last van en de bezoekers ook niet direct. Ze zorgen niet voor een DoS. Het enige wat ik vervelend vind is dat ik nu niet weet wat ik moet geloven in mijn statistieken qua unieke bezoekers...

Het rare is ook dat het meestal vlagen zijn van 2 a 3 seconden waarbinnen er 20 ofzo keer gezocht wordt op het woordje "None" en die 20 keer komen van verschillende IP's... Vind ik zeer vreemd
---------------------
http://blog.yonaweb.be

http://blog.yonaweb.be