htaccess + webcrawler

bietet eine htaccess-access-datei einen wirksamen schutz von indexierung durch suchmaschinen?


grüße -
somnambulist

Erstell einfach ne robots.txt - die "legalen" Suchmaschinen halten sich dran. Mit .htaccess kannst Du das wahrscheinlich auch machen ist aber bestimmt 3x so kompliziert.

ja, die robots.txt ist mir bekannt. ich wollte nur wissen, ob ich meinen bereits bestehenden htaccess-schutz für normale user noch irgendwie besonders für webcrawler anpassen müsste oder nicht.
ich dachte mir halt: crawler benutzen auch http(?), htaccess ist
eine http-authentifikation => crawler können meinen ordner trotz verlinkung nicht indexieren lieg ich da richtig?

( es handelt sich um ein nicht-öffentliches user-forum, dessen html-verzeichnis mit den postings ich per
htaccess gesperrt habe)

somnambulist schrieb:

( es handelt sich um ein nicht-öffentliches user-forum, dessen html-verzeichnis mit den postings ich per
htaccess gesperrt habe)

Zum Vergrößern anklicken....

Öhm ... wenn das Forum nicht-öffentlich ist (man also nur mit Login & PW reinkommt) dann hat der Robot ja nicht viel zu indizieren (ausser er kennt ein Login), oder?