Archief - Q: *.inktomisearch.com bots aanval?

Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
D

Disa

Legacy Member
Hey,
Zoals je kan zien in de topic title wordt men site overspoeld door requests van de inktomisearch.com bots. Nu ik heb er niets op tegen dat men site bezocht word door search engines, maar deze is net iets te erg. Ongeveer 75 hits op 1 uur. :wtf: Ik heb al wat gegoogled en blijkbaar is het een bot van Yahoo of google die je site blijft herbezoeken en een robots.txt bestand opvraagt. Nu is dit allemaal goed en wel maar het kost me allemaal upload (wat ik niet zo veel heb atm :(), dus moest iemand een oplossing hebben dit zou ten zeerste geaprecieerd worden.

Thx

Disa
C

Col.Kurtz

Legacy Member
Hoe kan je dat dan zien, via referers in je webstats-log ?
Indien ja, block die dan ;)
m

maT'

Legacy Member
Of maak een robots.txt file'tje die ervoor zorgt dat je site niet meer geïndexed wordt door die bot :)
D

Disa

Legacy Member
Col.Kurtz zei:
Hoe kan je dat dan zien, via referers in je webstats-log ?
Indien ja, block die dan ;)
Klik om te vergroten...

Mjah ik heb zo een script gemaakt dat het address, ip, country, hits, tijd enzo bijhoudt van al de bezoekers. En inktomi komt er nogal vij veel in voor.

mat' zei:
Of maak een robots.txt file'tje die ervoor zorgt dat je site niet meer geïndexed wordt door die bot
Klik om te vergroten...

Heb ik al wat over gelezen op het internet maar ik weet niet echt wat er daar in moet staan :s
m

maT'

Legacy Member
Die inktomi bot:
Indexing documents for the HotBot search engine (www.hotbot.com), collecting Web statistics

Als je alle zoek-engines toegang wil weigeren, maak je een bestand genaamd "robots.txt" en je plaats dit in de root van je webfolder:
Code: 
User-agent: *
Disallow: /
Als je enkel die inktomi-bot wil weigeren:
Code: 
User-agent: Inktomi Slurp
Disallow: /

Meer info over die bot kan je trouwens vinden op de robotstxt.org pagina's
P

PerfectPC

Legacy Member
ik heb er zelfs op mn thuis servertje last van. domme yahoo...
D

Disa

Legacy Member
Hmmz ik heb die robots.txt geupload en ze zijn precies een tijdje wegebleven maar nu zijn er weer die tevoorschijn komen in de statistieken.

Dis
x

xml

Legacy Member
Wees blij dat de zoekengines uw site indexeren. ;) Als ge dat niet wilt doe dan gewoon een 'deny all' eh.
D

Disa

Legacy Member
Mjah begrijp me niet verkeerd. Ik heb er niets op tegen dat men mijn pagina's indexeert. Maar 40 keer op 1 uur is toch van het goeie teveel imo.

Disa
Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
Terug
Bovenaan