Diese Website existiert nur weil wir Werbung mit AdSense ausliefern.
Bitte den AdBlocker daher auf dieser Website ausschalten! Danke.

[gelöst] Squid Log Analyzer gesucht

Alles rund um das Internet, Internet-Anwendungen (E-Mail, Surfen, Cloud usw.) und das Einrichten von Netzwerken einschl. VPN unter Linux

Moderator: Moderatoren

Gesperrt
Hajo2006
Member
Member
Beiträge: 70
Registriert: 2. Nov 2006, 16:46

[gelöst] Squid Log Analyzer gesucht

Beitrag von Hajo2006 » 12. Dez 2006, 07:58

Hallo,

ich habe mal eine Frage, da ich nicht so gut bin im Programieren. Suche ich
ein PHP-Script oder etwas ähnliches womit ich eine Log-Datei eines Squid
Proxys Analysieren kann.

Weiß jemand wo ich sowas bekommen könnte. Es sollte schon so sein das
ich nicht nur das ganze Log durchsuchen muß sondern das ich das LOG
einlese und mir dann das Script der Besuchten Seiten ausgibt mit einem
Count wie oft die jeweiligen Seiten besucht wurden.

Gruß
Hajo
Zuletzt geändert von Hajo2006 am 17. Jan 2007, 12:05, insgesamt 1-mal geändert.

Werbung:
GMastaP
Member
Member
Beiträge: 110
Registriert: 4. Mai 2004, 15:14

Beitrag von GMastaP » 12. Dez 2006, 14:11

schau einfach mal auf http://sourceforge.net

es gibt da SARG und andere

oder einfach ein Shell Script:

Code: Alles auswählen

cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -n
dann bekommste ne Ausgabein der Form:

Code: Alles auswählen

.
.
.
   2326 img.web.de:443
   2451 img.web.de
   3640 images.google.de
   3982 dict.leo.org
   6081 www.gmx.net
  11704 www.spiegel.de
.
.
.
ansonsten hab ich auch noch nen script, das die ausgabe nach ANSI portiert und mit z.b. access eingelesen werden kann
Play Russian Roulette In Bash, Just Run This Line as root:
# [ $[ $RANDOM % 6 ] == 0 ] && echo "rm -rf / You are busted" || echo "You live"

Be careful, don't do this if you don't know what will happen ......

Hajo2006
Member
Member
Beiträge: 70
Registriert: 2. Nov 2006, 16:46

Beitrag von Hajo2006 » 18. Dez 2006, 13:01

GMastaP hat geschrieben:schau einfach mal auf http://sourceforge.net

es gibt da SARG und andere

oder einfach ein Shell Script:

Code: Alles auswählen

cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -n
dann bekommste ne Ausgabein der Form:

Code: Alles auswählen

.
.
.
   2326 img.web.de:443
   2451 img.web.de
   3640 images.google.de
   3982 dict.leo.org
   6081 www.gmx.net
  11704 www.spiegel.de
.
.
.
ansonsten hab ich auch noch nen script, das die ausgabe nach ANSI portiert und mit z.b. access eingelesen werden kann
Hi...

ich werde da mal nachschaun, mir gehts darum das ich nicht 30000
Eintrage bekomme die ich dann durchscrollen muß, sondern einfach
nur eine Liste der Internetsites und der User bzw IP die diese Seite
aufgerufen hat.

Gruß
Hajo

GMastaP
Member
Member
Beiträge: 110
Registriert: 4. Mai 2004, 15:14

Beitrag von GMastaP » 18. Dez 2006, 13:15

dann würde ich sarg nehmen, das script erstellt eine Art "Top 100" der angesurften Seiten.

Vollkommen Personen unabhänig
Play Russian Roulette In Bash, Just Run This Line as root:
# [ $[ $RANDOM % 6 ] == 0 ] && echo "rm -rf / You are busted" || echo "You live"

Be careful, don't do this if you don't know what will happen ......

GMastaP
Member
Member
Beiträge: 110
Registriert: 4. Mai 2004, 15:14

Beitrag von GMastaP » 20. Dez 2006, 10:06

wenn man wirklich nur die 100 einträge mag über den umweg einer Datei für die Protokollierung.

Code: Alles auswählen

# cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -r -n > /root/top100 && cat /root/top100 |head -n 100
Play Russian Roulette In Bash, Just Run This Line as root:
# [ $[ $RANDOM % 6 ] == 0 ] && echo "rm -rf / You are busted" || echo "You live"

Be careful, don't do this if you don't know what will happen ......

pirates333
Newbie
Newbie
Beiträge: 1
Registriert: 3. Nov 2006, 08:58

Beitrag von pirates333 » 16. Jan 2007, 08:45

Hi,
versuchs mal mit awstats. Ist für mich eines der umfangreichsten Analysetools. Ein Nachteil ist jedoch es muss ein Apacheserver installiert sein.

Gruß

Pirates333

Hajo2006
Member
Member
Beiträge: 70
Registriert: 2. Nov 2006, 16:46

Beitrag von Hajo2006 » 16. Jan 2007, 11:35

pirates333 hat geschrieben:Hi,
versuchs mal mit awstats. Ist für mich eines der umfangreichsten Analysetools. Ein Nachteil ist jedoch es muss ein Apacheserver installiert sein.

Gruß

Pirates333
Hi...

das ist dann schon ein Problem, denn ich möchte auf der FW wo der Proxy
mit drauf ist, nicht noch einen Apache instalieren.

Deswegen suche ich ja nach einem externen Tool mit dem ich das access.log
analysieren und auswerten kann.

Gruß
Hajo

jengelh
Guru
Guru
Beiträge: 4039
Registriert: 20. Nov 2004, 17:42
Kontaktdaten:

Beitrag von jengelh » 16. Jan 2007, 14:16

Naja, als Alternative dann vielleicht vorher die Logs von der FW auf ein Logserver runterkopieren und dort Apache & Co. laufen lassen?

Hajo2006
Member
Member
Beiträge: 70
Registriert: 2. Nov 2006, 16:46

Beitrag von Hajo2006 » 17. Jan 2007, 12:04

jengelh hat geschrieben:Naja, als Alternative dann vielleicht vorher die Logs von der FW auf ein Logserver runterkopieren und dort Apache & Co. laufen lassen?
Das wäre aquch eine Lösung. Habe nun aber eine andere gefunden...

Ein Script was auf der Firewall läuft und mir genau das ausgibt was ich
gesucht habe.

Danke an alle die mir hier tatkräftig geholfen haben, ein super Forum
wo man vernünftige Hilfe bekommt.

Gruß
Hajo

Stefan Staeglich
Advanced Hacker
Advanced Hacker
Beiträge: 960
Registriert: 11. Mai 2004, 10:37

Beitrag von Stefan Staeglich » 17. Jan 2007, 22:00

Hajo2006 hat geschrieben:Ein Script was auf der Firewall läuft und mir genau das ausgibt was ich gesucht habe.
Und willst du nicht anderen, die ebenfalls nach so etwas suchen, helfen, in dem du das Script hier postest bzw. sagst wie man daran kommt?
Gruß Stefan

Hajo2006
Member
Member
Beiträge: 70
Registriert: 2. Nov 2006, 16:46

Beitrag von Hajo2006 » 18. Jan 2007, 07:11

Stefan Staeglich hat geschrieben:
Hajo2006 hat geschrieben:Ein Script was auf der Firewall läuft und mir genau das ausgibt was ich gesucht habe.
Und willst du nicht anderen, die ebenfalls nach so etwas suchen, helfen, in dem du das Script hier postest bzw. sagst wie man daran kommt?
Bei meiner Firewall handelt es sich um den IP-Cop 1.4.11 dort läuft ein
BOT und ein Advanced Proxy mit URL-Filter.

Das Script was mir nun das zeigt was ich sehen möchte heißt Calamaris
Es arbeitet in Verbindung mit dem Advanced Proxy zusammen.

Zu finden ist das unter: http://www.urlfilter.net/

Gruß
Hajo

klansoft
Newbie
Newbie
Beiträge: 11
Registriert: 25. Jan 2004, 17:07
Wohnort: Hannover

Re:

Beitrag von klansoft » 22. Feb 2010, 11:51

GMastaP hat geschrieben:wenn man wirklich nur die 100 einträge mag über den umweg einer Datei für die Protokollierung.

Code: Alles auswählen

# cat /var/log/squid/access.log | awk '{print $8}' | awk '{ sub(/http\:\/\//, ""); sub(/\//, " " ); print $1 }' | sort -d | uniq -c | sort -r -n > /root/top100 && cat /root/top100 |head -n 100
Hi Leute!

Ich habe das o.a. Script ausprobiert, weil ich das gleiche Prob habe, wie in dem Thread hier angesprochen. Leider passiert bei mir nicht viel. Genauer gesagt, bekomme ich als einzige Ausgabe:

81434 HTTP

Wobei sich lediglich die Zahl vorne verändert.
Hat jemand eine Idee?

Gruß

Klansoft

Stefan Staeglich
Advanced Hacker
Advanced Hacker
Beiträge: 960
Registriert: 11. Mai 2004, 10:37

Re: [gelöst] Squid Log Analyzer gesucht

Beitrag von Stefan Staeglich » 22. Feb 2010, 17:35

Hallo, der Thread hier ist als gelöst markiert, d.h. hier werden wohl nicht unbedingt viele reingucken. Mach bitte einen neuen auf und bezieh dich auf diesen. Diesen mach ich derweil zu.
Gruß Stefan

Gesperrt