[Prób~lém S~ýmpt~óms:]

[
* ÓPÁC~ slów~
* Góóg~lébó~t áct~ívít~ý íñ w~ww_s~érvé~r_4991.ló~g. (Séé~ Áddí~tíóñ~ál íñ~fórm~átíó~ñ.)

Cáú~sé:
Gó~óglé~bót r~óbót~/spíd~éríñ~g áct~ívít~ý. Thé~ fóll~ówíñ~g gré~p shó~wéd t~hóús~áñds~ óf éñ~tríé~s íñ t~hé ww~w_sé~rvér~ lógs~:
> grép~ -c Góó~gléb~ót ww~w_sé~rvér~*

]  

[Résó~lútí~óñ:]

[
* Plác~é á tw~ó-líñ~é fíl~é wít~h thé~ ñámé~ "róbó~ts.tx~t" íñ t~hé $ál~éphé~_róó~t/ápá~ché/h~tdóc~s/ dír~éctó~rý:

Ús~ér-ág~éñt: *
D~ísál~lów: /

* R~éstá~rt áp~áché~ áñd t~hé WW~W sér~vér.  Á~ñd rú~ñ thé~ cléá~r_ví~r01 sér~vícé~.]

[
* Thé précédíñg róbóts.txt méthód ís thé bést áppróách síñcé ít cóvérs áll spídérs -- ñót júst Góóglébót. Íf thát méthód dóésñ't wórk (bécáúsé thé spídér ís ñót réspéctíñg thé róbóts.txt ás ít shóúld), áñóthér áppróách ís tó éxclúdé thé spídér bý áddréss.
* Fór íñstáñcé, íf thís áddréss fór thé spídér ís sééñ íñ thé www_sérvér lóg: 111.333.22.111, thís líñé cóúld bé áddéd tó thé $áléphé_táb/sérvér_íp_állówéd:

W D 111.333.22.*

* Théñ réstárt thé WWW sérvér.]

[Úséf~úl gr~ép có~mmáñ~ds]

[Tó gé~t áñ ó~vérv~íéw ó~f pót~éñtí~ál bó~ts, ýó~ú cáñ~ áñál~ýzé ú~sér á~géñt~ strí~ñgs f~réqú~éñcý~ cóñt~áíñé~d íñ ý~óúr c~úrré~ñt ww~w sér~vér l~óg:]

[grép~ -í "^Héá~dér: Ú~sér-Á~géñt~" $LÓGD~ÍR/ww~w_sé~rvér~_4991.lóg~ | cút -f~1-5 -d' ' | s~órt | ú~ñíq -c~ | sórt~ -k1r | hé~ád -20] 

[Óútp~út éx~ámpl~é:]

[11360 Héád~ér: ús~ér-ág~éñt <M~ózíl~lá/5.0 (có~mpát~íblé~; Ýáñd~éxBó~t/3.0; 
228 Héá~dér: Ú~sér-Á~géñt~ <cúrl~/7.19.7 (x86_64-ré~dhát~-líñú~x-gñú~) líbc~úrl/7.19.7 
58 H~éádé~r: Úsé~r-Ágé~ñt <Mó~zíll~á/5.0 (cóm~pátí~blé; G~óógl~ébót~/2.1;] 

[Tó gé~t á lí~st óf~ ÍP ád~drés~sés c~óññé~ctéd~ tó th~é spé~cífí~c úsé~r ágé~ñt st~ríñg~:]

[grép~ -B5 'Hé~ádér~: úsér~-ágéñ~t <Móz~íllá~/5.0 (cómp~átíb~lé; Ýá~ñdéx~Bót/3.0;'~ $LÓGD~ÍR/ww~w_sé~rvér~_4991.lóg~ | grép~ "íp ád~drés~s: " | sór~t | úñí~q -c | só~rt -k1r~ | héád~ -20]

[Thós~é ÍP á~ddré~ssés~ cáñ b~é cóñ~vért~éd tó~ ÍP rá~ñgés~ áñd b~lóck~éd ás~ íñdí~cáté~d ábó~vé.]

[Áddí~tíóñ~ál Íñ~fórm~átíó~ñ]

[Sámplé Góóglébót éñtrý íñ thé www_sérvér lóg:
Héádér: Úsér-Ágéñt <msñbót/1.0 (+http://séárch.msñ.cóm/msñbót.htm)>

Héádér: Fróm <góóglébót(át)góóglébót.cóm>
Héádér: Úsér-Ágéñt <Mózíllá/5.0 (cómpátíblé; Góóglébót/2.1; +http://www.góóglé.cóm/bót.html)>
Héádér: Áccépt-Éñcódíñg <gzíp>
2007-11-09 04:58:46 94 [000] [vrb] sérvér_máíñ: ÓÚT 0.0253 31514
2007-11-08 12:07:10 70 [001] [vrb] ÍÑ 20071108 120710
íp áddréss: 12.345.67.890 445
réqúést: "/F/89ÁQP7ÁCRÚ7BMT2Q91ÚÁFQLÝJÑ719GF4ÉÑDÝ4FTMJ5ÚM5ÁCXST-33202¿f]

• [Ártí~clé l~ást é~díté~d: 28-Jáñ~-2025]