Spiderman is having me for dinner tonight…

Heute Mittag ist die Last auf meinem Server ins unermessliche (>10) gestiegen. Apache-Prozesse ohne Ende! Wer kommt schon auf die Idee, dass sämtliche Bots dieser Welt gleichzeitig alles von meiner Kiste absaugen wollen. Jetzt ist die Last wieder normal (<1). Was habe ich dazu getan? Als erstes habe ich mir die Apache Konfiguration angesehen. Hab mit der Anzahl der Worker und der MaxClients gespielt. Gebracht hat's aber fast nichts. Ich suche immer noch nach einer schlauen Empfehlung für diese Werte. Nachdem 90% meiner Seiten auf dem Server PHP-Seiten sind hab ich den APC-Accelerator installiert:

apt-get install php-apc
/etc/init.d/apache2 restart

Danach gings dem Server schon besser. Aber immer noch nicht gut.

Also habe ich mir die Logfiles angesehen. Speziell das Logfile von rothsee-triathlon.de hat mir die Augen geöffnet. Die Bots haben sich alles mögliche unnötige geholt. Daher habe mich endlich um die robots.txt gekümmert. Bei privaten Seiten sieht sie nun so aus:

User-agent: * 
Crawl-delay: 10
Disallow: /

Beim Rothsee-Triathlon verbiete ich erstmal alles und erlaube nur noch das wesentliche:

User-agent: * 
Crawl-delay: 10
Disallow: /la/page.php?id=_func_fotourkunde
Disallow: /la/page.php?id=_func_Bild_anzeigen 
Allow: /index.php
Allow: /la/index.php
Allow: /la/page.php
Disallow: /

Und schon schwitz mein Server nicht mehr. Muss ich mir aufschreiben. Nächstes mal verpenne ich das bestimmt wieder