• Willkommen im Linux Club - dem deutschsprachigen Supportforum für GNU/Linux. Registriere dich kostenlos, um alle Inhalte zu sehen und Fragen zu stellen.

[gelöst] Squid Log Analyzer gesucht

Status
Für weitere Antworten geschlossen.

Hajo2006

Member
Hallo,

ich habe mal eine Frage, da ich nicht so gut bin im Programieren. Suche ich
ein PHP-Script oder etwas ähnliches womit ich eine Log-Datei eines Squid
Proxys Analysieren kann.

Weiß jemand wo ich sowas bekommen könnte. Es sollte schon so sein das
ich nicht nur das ganze Log durchsuchen muß sondern das ich das LOG
einlese und mir dann das Script der Besuchten Seiten ausgibt mit einem
Count wie oft die jeweiligen Seiten besucht wurden.

Gruß
Hajo
 

GMastaP

Member
schau einfach mal auf http://sourceforge.net

es gibt da SARG und andere

oder einfach ein Shell Script:

Code:
cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -n

dann bekommste ne Ausgabein der Form:

Code:
.
.
.
   2326 img.web.de:443
   2451 img.web.de
   3640 images.google.de
   3982 dict.leo.org
   6081 www.gmx.net
  11704 www.spiegel.de
.
.
.

ansonsten hab ich auch noch nen script, das die ausgabe nach ANSI portiert und mit z.b. access eingelesen werden kann
 
OP
H

Hajo2006

Member
GMastaP schrieb:
schau einfach mal auf http://sourceforge.net

es gibt da SARG und andere

oder einfach ein Shell Script:

Code:
cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -n

dann bekommste ne Ausgabein der Form:

Code:
.
.
.
   2326 img.web.de:443
   2451 img.web.de
   3640 images.google.de
   3982 dict.leo.org
   6081 www.gmx.net
  11704 www.spiegel.de
.
.
.

ansonsten hab ich auch noch nen script, das die ausgabe nach ANSI portiert und mit z.b. access eingelesen werden kann

Hi...

ich werde da mal nachschaun, mir gehts darum das ich nicht 30000
Eintrage bekomme die ich dann durchscrollen muß, sondern einfach
nur eine Liste der Internetsites und der User bzw IP die diese Seite
aufgerufen hat.

Gruß
Hajo
 

GMastaP

Member
dann würde ich sarg nehmen, das script erstellt eine Art "Top 100" der angesurften Seiten.

Vollkommen Personen unabhänig
 

GMastaP

Member
wenn man wirklich nur die 100 einträge mag über den umweg einer Datei für die Protokollierung.

Code:
# cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -r -n > /root/top100 && cat /root/top100 |head -n 100
 
Hi,
versuchs mal mit awstats. Ist für mich eines der umfangreichsten Analysetools. Ein Nachteil ist jedoch es muss ein Apacheserver installiert sein.

Gruß

Pirates333
 
OP
H

Hajo2006

Member
pirates333 schrieb:
Hi,
versuchs mal mit awstats. Ist für mich eines der umfangreichsten Analysetools. Ein Nachteil ist jedoch es muss ein Apacheserver installiert sein.

Gruß

Pirates333

Hi...

das ist dann schon ein Problem, denn ich möchte auf der FW wo der Proxy
mit drauf ist, nicht noch einen Apache instalieren.

Deswegen suche ich ja nach einem externen Tool mit dem ich das access.log
analysieren und auswerten kann.

Gruß
Hajo
 
Naja, als Alternative dann vielleicht vorher die Logs von der FW auf ein Logserver runterkopieren und dort Apache & Co. laufen lassen?
 
OP
H

Hajo2006

Member
jengelh schrieb:
Naja, als Alternative dann vielleicht vorher die Logs von der FW auf ein Logserver runterkopieren und dort Apache & Co. laufen lassen?

Das wäre aquch eine Lösung. Habe nun aber eine andere gefunden...

Ein Script was auf der Firewall läuft und mir genau das ausgibt was ich
gesucht habe.

Danke an alle die mir hier tatkräftig geholfen haben, ein super Forum
wo man vernünftige Hilfe bekommt.

Gruß
Hajo
 
OP
H

Hajo2006

Member
Stefan Staeglich schrieb:
Hajo2006 schrieb:
Ein Script was auf der Firewall läuft und mir genau das ausgibt was ich gesucht habe.

Und willst du nicht anderen, die ebenfalls nach so etwas suchen, helfen, in dem du das Script hier postest bzw. sagst wie man daran kommt?

Bei meiner Firewall handelt es sich um den IP-Cop 1.4.11 dort läuft ein
BOT und ein Advanced Proxy mit URL-Filter.

Das Script was mir nun das zeigt was ich sehen möchte heißt Calamaris
Es arbeitet in Verbindung mit dem Advanced Proxy zusammen.

Zu finden ist das unter: http://www.urlfilter.net/

Gruß
Hajo
 

klansoft

Newbie
GMastaP schrieb:
wenn man wirklich nur die 100 einträge mag über den umweg einer Datei für die Protokollierung.

Code:
# cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -r -n > /root/top100 && cat /root/top100 |head -n 100

Hi Leute!

Ich habe das o.a. Script ausprobiert, weil ich das gleiche Prob habe, wie in dem Thread hier angesprochen. Leider passiert bei mir nicht viel. Genauer gesagt, bekomme ich als einzige Ausgabe:

81434 HTTP

Wobei sich lediglich die Zahl vorne verändert.
Hat jemand eine Idee?

Gruß

Klansoft
 

Stefan Staeglich

Advanced Hacker
Hallo, der Thread hier ist als gelöst markiert, d.h. hier werden wohl nicht unbedingt viele reingucken. Mach bitte einen neuen auf und bezieh dich auf diesen. Diesen mach ich derweil zu.
 
Status
Für weitere Antworten geschlossen.
Oben