[gelöst] extrem lange Ladezeit bei manchen Webseiten

mfuhrmann · 30 März 2012

Hallo zusammen,

ich habe bei manchen Seiten echt üble Ladezeiten. Im Browser erscheint sofort in der Titelleiste der Name der Webseite. Und dann dauert es gefühlte Stunden.
Dazu sei gesagt, dass ich mit Squidguard eine Blacklist einsetze und über eine ADS authentifiziere. Hier mal die Konfigs dazu.
squid.conf: http://nopaste.info/54ddb453ac.html
squidGuard.conf: http://nopaste.info/5e9c97ff85.html

Hier habe ich auch mal ein

Code:

tail -f /var/log/squid3/* | grep pixelio

vom Aufruf bis zum Zeitpunkt an dem die Webseite geladen ist. Aufgerufen wurde http://www.pixelio.de. Pixelio steht nicht auf der Blacklist. Wenn die Seite geladen ist und man auf der Seite surfen will, dauert es wieder so lange.

Code:

1333117047.056   2276 10.2.1.50 TCP_MISS/200 89193 GET http://www.pixelio.de/ mfuhrmann DIRECT/82.135.34.205 text/html
1333117047.056 RELEASE -1 FFFFFFFF DD09CF406E85D6A67537636237428EB8  200 1333117049        -1 1333117046 text/html -1/88372 GET http://www.pixelio.de/
1333117107.209      1 10.2.1.50 TCP_HIT/200 36817 GET http://image.pixelio.de/000/576/790//thumbnails/1.jpg mfuhrmann NONE/- image/jpeg
1333117107.211      0 10.2.1.50 TCP_DENIED/407 2836 GET http://image.pixelio.de/000/576/623//thumbnails/1.jpg - NONE/- text/html
1333117107.211      0 10.2.1.50 TCP_DENIED/407 2836 GET http://image.pixelio.de/000/576/670//thumbnails/1.jpg - NONE/- text/html
1333117107.216      0 10.2.1.50 TCP_DENIED/407 2836 GET http://image.pixelio.de/000/576/632//thumbnails/1.jpg - NONE/- text/html
1333117107.216      0 10.2.1.50 TCP_DENIED/407 2836 GET http://image.pixelio.de/000/576/592//thumbnails/1.jpg - NONE/- text/html
1333117107.217      0 10.2.1.50 TCP_DENIED/407 3125 GET http://image.pixelio.de/000/576/670//thumbnails/1.jpg - NONE/- text/html
1333117107.217      0 10.2.1.50 TCP_DENIED/407 3125 GET http://image.pixelio.de/000/576/623//thumbnails/1.jpg - NONE/- text/html
1333117107.218      0 10.2.1.50 TCP_DENIED/407 2836 GET http://image.pixelio.de/000/576/735//thumbnails/1.jpg - NONE/- text/html
1333117107.219      0 10.2.1.50 TCP_DENIED/407 3125 GET http://image.pixelio.de/000/576/632//thumbnails/1.jpg - NONE/- text/html
1333117107.221      0 10.2.1.50 TCP_DENIED/407 3125 GET http://image.pixelio.de/000/576/592//thumbnails/1.jpg - NONE/- text/html
1333117107.222      0 10.2.1.50 TCP_DENIED/407 3125 GET http://image.pixelio.de/000/576/735//thumbnails/1.jpg - NONE/- text/html
1333117107.226      4 10.2.1.50 TCP_HIT/200 44082 GET http://image.pixelio.de/000/576/592//thumbnails/1.jpg mfuhrmann NONE/- image/jpeg
1333117107.227      3 10.2.1.50 TCP_HIT/200 44064 GET http://image.pixelio.de/000/576/735//thumbnails/1.jpg mfuhrmann NONE/- image/jpeg
1333117107.409      0 10.2.1.50 TCP_DENIED/407 2816 GET http://www.pixelio.de/resources_ltk/ltk/htc/border-radius.htc - NONE/- text/html
1333117107.411      0 10.2.1.50 TCP_DENIED/407 3105 GET http://www.pixelio.de/resources_ltk/ltk/htc/border-radius.htc - NONE/- text/html
1333117107.426    205 10.2.1.50 TCP_MISS/200 45265 GET http://image.pixelio.de/000/576/632//thumbnails/1.jpg mfuhrmann DIRECT/82.135.34.206 image/jpeg
1333117107.428    209 10.2.1.50 TCP_MISS/200 33027 GET http://image.pixelio.de/000/576/670//thumbnails/1.jpg mfuhrmann DIRECT/82.135.34.206 image/jpeg
1333117107.440    221 10.2.1.50 TCP_MISS/200 31360 GET http://image.pixelio.de/000/576/623//thumbnails/1.jpg mfuhrmann DIRECT/82.135.34.206 image/jpeg
1333117107.446     33 10.2.1.50 TCP_MISS/404 617 GET http://www.pixelio.de/resources_ltk/ltk/htc/border-radius.htc mfuhrmann DIRECT/82.135.34.205 text/html
1333117107.211 RELEASE -1 FFFFFFFF 04DB7345EBCAF2A85350745C45387A9B  407 1333117107         0        -1 text/html 2398/2398 GET http://image.pixelio.de/000/576/623//thumbnails/1.jpg
1333117107.211 RELEASE -1 FFFFFFFF 1EB6CD25A4742543F4FF61AB29F2CD5F  407 1333117107         0        -1 text/html 2398/2398 GET http://image.pixelio.de/000/576/670//thumbnails/1.jpg
1333117107.216 RELEASE -1 FFFFFFFF 5C66832706F502E8166BFFC3537A6D34  407 1333117107         0        -1 text/html 2398/2398 GET http://image.pixelio.de/000/576/632//thumbnails/1.jpg
1333117107.216 RELEASE -1 FFFFFFFF 293E4ADC94B88EDA1E331378867BF270  407 1333117107         0        -1 text/html 2398/2398 GET http://image.pixelio.de/000/576/592//thumbnails/1.jpg
1333117107.217 RELEASE -1 FFFFFFFF FFBD016A34E5A88B86E07C9FD0DC1638  407 1333117107         0        -1 text/html 2496/2496 GET http://image.pixelio.de/000/576/670//thumbnails/1.jpg
1333117107.217 RELEASE -1 FFFFFFFF 66542651FE7AFBD44679ADBD30D97953  407 1333117107         0        -1 text/html 2496/2496 GET http://image.pixelio.de/000/576/623//thumbnails/1.jpg
1333117107.218 RELEASE -1 FFFFFFFF 9D39B786201EF85C19369DC684E638D2  407 1333117107         0        -1 text/html 2398/2398 GET http://image.pixelio.de/0

Kann damit jemand etwas anfangen? Woran kann das liegen?

Danke für die Hilfe.

edit: Mit der Squid Standardkonfig dauert es auch so lange. Das habe ich soeben auch noch mal getestet.

Gruß
MF

spoensche · 30 März 2012

Hast du das Problem auch bei anderen Seiten? Dauert die Verbindung ohne Proxy genau so lange?

mfuhrmann · 31 März 2012

Ohne Proxy geht es bedeutend schneller. Ja, habe bisher 2 Seiten, die Probleme machen. Habe noch einen Squid 2.7 laufen. Dort ist es das gleiche.

spoensche · 31 März 2012

Klingt nach einem DNS-Problem. Wie sieht deine /etc/resolv.conf aus?

mfuhrmann · 1 Apr. 2012

Dieser DNS wird im ganzen Netz genutzt.

Code:

nameserver 10.4.1.20
domain tclsg.local

spoensche · 1 Apr. 2012

Dir ist klar, dass die Domain .local für Multicast reserviert ist und nicht für ein AD verwendet werden sollte, weil es zu Problemen bei der Namensauflösung führt?

Füge mal in der /etc/resolv.conf folgendes ein:

Code:

search tclsg.local

mfuhrmann · 2 Apr. 2012

Leider nein. Diesen Eintrag hatte ich Tage lang vorher drin. Hatte ihn vor kurzem raus gemacht, weil ich testen wollte ob es einen Unterschied macht.
Habe es nun wieder reingeschrieben.

spoensche · 3 Apr. 2012

Und was sagen die Logs mit dem Eintrag? Poste mal deine squid.conf.

mfuhrmann · 3 Apr. 2012

Das Log ist doch oben schon drin. Ist ein Auszug aus der access.log währenddessen ich die Webseite aufrufe. Zu diesem Zeitpunkt war der search Eintrag vorhanden. Die Konfigs sind auch schon oben dabei.

spoensche · 4 Apr. 2012

Stimmt. Wie sieht deine smb.conf und krb5.conf aus? Der Squid ist Mitglied der Domäne oder?

mfuhrmann · 4 Apr. 2012

Der squid wurde in die ADS Domäne integriert. Mit net ads join.

Code:

#smb.conf
[global]
  security = ads
  realm = TCLSG.LOCAL
  password server = 10.4.1.21
  workgroup = TCLSG
  idmap uid = 10000-20000
  idmap gid = 10000-20000
  winbind enum users = yes
  winbind enum groups = yes
  winbind cache time = 10
  winbind use default domain = yes
  template homedir = /home/%U
  template shell = /bin/bash
  client use spnego = yes
  client ntlmv2 auth = yes
  encrypt passwords = yes
  restrict anonymous = 2
  domain master = no
  local master = no
  preferred master = no
  os level = 0
  winbind separator = +

Code:

#krb5.conf
[logging]
    default = FILE:/var/log/krb5.log

[libdefaults]
    ticket_lifetime = 24000
    clock_skew = 300
    default_realm = TCLSG.LOCAL

[realms]
    TCLSG.LOCAL = {
        kdc = srv-dc02:88
        admin_server = srv-dc02:464
        default_domain = TCLSG.LOCAL
    }

[domain_realm]
    .tclsg.local = TCLSG.LOCAL
    tclsg.local = TCLSG.LOCAL

spoensche · 5 Apr. 2012

Der Abschnit [realms], in der krb5.conf ist so nicht ganz korrekt.

Code:

TCLSG.LOCA = {
      kdc = srv-dc02.TCLSG.LOCAL:88
      admin_server = srv-dc02.TCLSG.LOCAL
      default_domain = TCLSG.LOCAL
}

Überprüfe mal mit

Code:

wbinfo -g
getent passwd
getent group

ob dein Squid auch wirklich Mitglied der Domäne ist. (Ausgaben bitte posten) Ein weitere Tipp zum testen der Mitgliedschaft und der Anmeldung: Melde dich mal mit einem Domänen-Benutzer per SSH am Server an.

Test auch mal deine DNS-Auflösung mit z.B.

Code:

dig srv-dc02.tclsg.local

mfuhrmann · 5 Apr. 2012

wbinfo -g bringt alle Gruppen aus der ADS.
getent passwd bringt alle lokalen User vom Proxy und danach alle User aus der ADS.
getent group bringt alle lokalen Gruppen vom Proxy und deren Mitglieder und dann das gleiche mit den ADS Gruppen incl. Mitglieder.
Das sind echt viele Zeilen. Glaube nicht, dass die etwas bringen. Hatte gelesen, dass das so in Ordnung ist, wenn man diese Ausgaben bekommt.
Deine Änderung habe ich mal in der krb5-user.conf übernommen. die drei Befehle funktionieren allerdings genauso.
Die Webseite lässt sich nun um einiges schneller laden. Meinst du, dass das an dem krb5 Kram liegt? Kann ich mir gar nicht vorstellen. Momentan nutzt halt auch niemand den Proxy. Vielleicht ist es deswegen schneller? Vielleicht ist es ja ein allgemeines Konfigurationsproblem. Cachingverhalten etc.
Ich werde es mal in der nächsten Woche testen, wenn wieder alle online sind.

Achja. Mediastreams sind auch immer abgehackt und ruckeln. Kann das vielleicht einen Zusammenhang haben?

dig srv-dc02.tclsg.local

Code:

; <<>> DiG 9.7.0-P1 <<>> srv-dc02.tclsg.local
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 35537
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;srv-dc02.tclsg.local.          IN      A

;; ANSWER SECTION:
srv-dc02.tclsg.local.   3600    IN      A       10.4.1.21

;; Query time: 0 msec
;; SERVER: 10.4.1.20#53(10.4.1.20)
;; WHEN: Thu Apr  5 22:44:31 2012
;; MSG SIZE  rcvd: 54

Mit meinem Domänenadministrator kann ich mich am Proxy erfolgreich anmelden.

Schönes Osterwochenende!

spoensche · 6 Apr. 2012

mfuhrmann schrieb:
Die Webseite lässt sich nun um einiges schneller laden. Meinst du, dass das an dem krb5 Kram liegt? Kann ich mir gar nicht vorstellen.

Kerberos ist sehr pingelig und ein kleiner Schreibfehler, z.B. groß-klein Schreibung, kann dazu führen, dass Kerberos den Dienst verweigert. Durch den fehlenden Domainnamen bei den Variablen kdc und admin_server, sorgt für eine fehlerhafte DNS- Auflösung und das Resultat ist eine ewig dauernde Benutzeranmeldung bzw. Authentifizierung. Das hat wiederum Auswirkungen auf den Squid und sorgt für dein Schneckentempo im I-Net.

mfuhrmann schrieb:
Achja. Mediastreams sind auch immer abgehackt und ruckeln. Kann das vielleicht einen Zusammenhang haben?

Was für Videostreams sind das bzw. welcher Codec wird verwendet? Es sind keine Multicast- Streams oder?

mfuhrmann · 9 Apr. 2012

Ich werde es diese Woche einfach mal beobachten. Komischerweise hat die Squid Standardkonfig das gleiche Phänomen gebracht (lange Ladezeit bei best. Webseiten). Und da wird ja die ADS gar nicht genutzt.

Es sind Multicast Videos. Sowas wie auf bildschirmarbeiter.com. Welche Codecs da genau genutzt weiß ich nicht.

spoensche · 10 Apr. 2012

Die Videos werden nicht per Multicast gestreamt. Das sind Flash Videos die per HTTP gestreamt werden.

Wie schnell ist deine Internetverbindung? Wie viele User nutzen diese Verbindung?

Code:

dig google.de

sagt was? Hast du es mal mit einem anderen DNS-Server versucht?

mfuhrmann · 10 Apr. 2012

34Mbit up/down. So im Schnitt 60 User.

edit: Das Interface welches die Internetleitung bereitstellt hat eingehend durchschnittlich 700k und maximal 1,2 MB und ausgehend durchschnittlich 1,2MB und maximal 2,2MB Traffic.

Code:

; <<>> DiG 9.7.0-P1 <<>> google.de
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 38295
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;google.de.                     IN      A

;; ANSWER SECTION:
google.de.              241     IN      A       173.194.35.184
google.de.              241     IN      A       173.194.35.191
google.de.              241     IN      A       173.194.35.183

;; Query time: 10 msec
;; SERVER: 10.4.1.20#53(10.4.1.20)
;; WHEN: Tue Apr 10 20:58:41 2012
;; MSG SIZE  rcvd: 75

Andere DNS Server habe ich noch nicht genutzt. Wenn ich ohne den Proxy surfe funktioniert ja alles soweit.

spoensche · 11 Apr. 2012

Was sagt den der Inhalt der cache.log? Wie viel RAM hat der Squid?

mfuhrmann · 12 Apr. 2012

2GB Ram. Vielleicht ist das auch nur der Knackpunkt. War immer so darauf "fixiert", dass es ja ein ressourcenschonendes System ist, dass ich darüber gar nicht mehr weiter nachgedacht habe. Ich gebe dem Server mal mehr RAM.

Mal ab von den SquidGuard Sachen (welche Blacklists integriert sind) steht nur so etwas drin.

Code:

[2012/04/12 11:01:51,  1] libsmb/ntlmssp.c:335(ntlmssp_update)
  got NTLMSSP command 3, expected 1
[2012/04/12 11:01:51,  1] libsmb/ntlmssp.c:335(ntlmssp_update)
  got NTLMSSP command 3, expected 1
[2012/04/12 11:01:51,  1] libsmb/ntlmssp.c:335(ntlmssp_update)
  got NTLMSSP command 3, expected 1
[2012/04/12 11:01:51,  1] libsmb/ntlmssp.c:335(ntlmssp_update)
  got NTLMSSP command 3, expected 1
[2012/04/12 11:01:51,  1] libsmb/ntlmssp.c:335(ntlmssp_update)
  got NTLMSSP command 3, expected 1

spoensche · 12 Apr. 2012

2GB RAM sollten reichen. Der Logauszug ist von Samba und nicht von der Squid cache.log.

http://wiki.squid-cache.org/ConfigExamples/Authenticate/Ntlm
http://wiki.squid-cache.org/ConfigExamples/Authenticate/Kerberos

[gelöst] extrem lange Ladezeit bei manchen Webseiten

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator

Newbie

Moderator