Per .htaccess "tot stellen"?

[Kampfwurst]

Tag,
ich möchte Bots auf bestimmten Domains von mir so wenig Antwort wie möglich geben. Wie stell ich das an?
Am besten per .htaccess nach Stichworten wie "bot" oder "search" (case sensitive?) ausschau halten und die irgendwie "blockieren". Oder? Wie blockiere ich denn? So, dass sie am besten in Zukunft garnicht mehr nach der Domain schauen wollen ;-)

Liebe Grüße
Kampfwurst

 

[No5251]

!google "htaccess bots conditions"

HOWTO stop automated spam-bots using .htaccess

 

[transversalis]

der verlinkte Artikel ist *hmmm*

wenn ich lese, dass dort die ganzen REWRITE CONDs und RULEs in der robots.txt stehen ...

 

[No5251]

der verlinkte Artikel ist *hmmm*

wenn ich lese, dass dort die ganzen RERWRITE CONDs und RULEs in der robots.txt stehen ...

Dass das ein kleiner Fehler ist, sollte jedem Auffallen der überhaupt die
Möglichkeit hat eine Apache-Konfiguration per htacces zu verändern.

 

[transversalis]

Dass das ein kleiner Fehler ist, sollte jedem Auffallen

Dem Betreiber der Seite ist es offensichtlich bisher nicht aufgefallen

der überhaupt die
Möglichkeit hat eine Apache-Konfiguration per htacces zu verändern.

Wer keinen Zugriff auf die .htaccess hat ( incl. Möglichkeit, die Rewrite-engine zu nutzen ), sollte sowieso seinen Hoster wechseln

 

[Kampfwurst]

Huh, plötzlich 4 Antworten, das ging ja schnell
Danke erstmal!
Also die Möglichkeit per .htaccess habe ich schon... wie beschrieben. Die robots.txt ist wie gesagt ja nicht die zuverlässigste Variante.

Ist der verlinkte Artikel soweit okay, wenn man "robots.txt" mit ".htaccess" ersetzt?

Bisher siehts bei mir noch so aus:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*ask.com$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*crawl.yahoo.net*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*bot*$ [NC] [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*search*$ [NC]
RewriteRule ^.* - [F]

 

[transversalis]

robots.txt kannst Du knicken, da hält sich kein bad bot dran ...
( Es gibt sogar welche, die nur die robots.txt auslesen und dann gezielt die verbotenen Dateien abklappern )

Eine Auflistung vieler User-Agents findest Du hier:

https://www.botsvsbrowsers.com/category/1/index.html


und eine Einschätzung diverser agents hier:

https://www.strollingguides.co.uk/workshop/office/pages/agents.php


ich selbst nutze eine Technik, wie sie der ganz oben verlinkte Artikel als letztes beschreibt. ( SETENVIF mit DENY ) nur dass ich unterschiedliche Regeln für *.JPG/*.GIF und *.HTML/*.PHP habe

ausserdem blocke ich teilweise ganze IP-Bereiche, aus denen immer wieder Bots kommen