APT zieht nicht, weil gwdg down

Alles rund um die Installation Eures Linuxsystems, sowie die Updatefunktionen des Systems und das Paketmanagement

Moderator: Moderatoren

Benutzeravatar
oc2pus
Ultimate Guru
Ultimate Guru
Beiträge: 6506
Registriert: 21. Jun 2004, 13:01

Beitrag von oc2pus » 14. Okt 2005, 18:18

panamajo hat geschrieben:
oc2pus hat geschrieben:Das Problem resultiert daraus, das der Server überlastet ist und nicht "in time" die Indexdaten für das apt-repository generieren kann.
Gibt es Pläne die dazu führen dass sich das in absehbarer Zeit ändert?
Ein vernünftiger Einsatz von apt (z.B. zur Wartung) ist damit ja nicht wirklich gewährleistet...
:shock:
Ein erster Ansatz war am 2.7.2005 die einrichtung von ftp4.
You can try ftp4.gwdg.de instead of ftp.gwdg.de.
Same paths, same services.

The situation at ftp.gwdg.de is as worse as never before and as worse as I
never had thought to happen: this time, a new important release does not
push the total output sum to a new height, but it is even lower than
during the "quiet days" before...
This is due to the size of the 9.3 tree: it is 29 GB, including the new
iso/split/ directory I like to add, and this is far beyond the available
buffer cache (ftp.gwdg.de has "only" 12 GB RAM).
So almost every download is really moving the 15 available disk heads, and
with 1000 to 2500 users at every moment, disk heads are more moving than
reading.

From now on, ftp.gwdg.de will not generate "own" repositories any longer,
but offer those generated at ftp4.gwdg.de.
You are free to fetch them from ftp or ftp4, but if you start to use the
examples files, you will automatically move over to ftp4.gwdg.de with all
your transfers.

This may bring a new hazard to me: I am not allowed to use the whole
1 GBit upstream for my servers, and if it happens, I havw to "organize"
that it does not happen again.
But let's see. I will watch it and - if necessary - restrict access
to ftp4.
Ein zweiter Ansatz war die Verteilung der ISO-Images für SuSE-10 via bittorrent zur Entlastung der Server.

Es tut sich also sehr wohl etwas, leider scheint das Interesse an den Downloads der ISOs aber immer grösser zu werden ...

Du kannst das in der apt4rpm Mailingliste:
https://lists.sourceforge.net/lists/lis ... t4rpm-suse
gerne mitlesen und weiterverfolgen
tell people what you want to do, and they'll probably help you to do it.
PackMan
LinWiki : Das Wiki für Linux User

Werbung:
Benutzeravatar
Pfalzwolf
Member
Member
Beiträge: 195
Registriert: 21. Jul 2005, 12:28
Wohnort: Pfalz, nahe SP
Kontaktdaten:

Den ganzen Tag über??

Beitrag von Pfalzwolf » 14. Okt 2005, 21:49

Hi, ich nutze apt erst seit ein paar Tagen. Daher weiß ich nicht, wie die Situation normalerweise ist. Jedenfalls konnte ich heute den ganzen Tag über nicht mal die Paketinformationen von ftp://ftp4.gwdg.de laden. Bei ftp://mirrors.mathematik.uni-bielefeld.de war der Zugang möglich.
Ist das auch Eure Erfahrung?
Falls ja, bewegen wir uns da nicht auf dünnem Eis und wie mag das zukünftig aussehen?
Hat jemand mehr Detailinfos?

flo41
Hacker
Hacker
Beiträge: 290
Registriert: 9. Feb 2005, 11:47

Beitrag von flo41 » 14. Okt 2005, 21:59

wie der Beitrag von oc2pus schon zeigt hat ftp4.gwdg.de "nur" 1GBit upstream, deswegen kommen da nur sehr wenig dran ran, aber ich hoffe mal das sich das ganze einfach mit der zeit legt weil dann auch der letzte der einfach immer das neue haben muss weils das neue ist SuSE10.0 hat...

Ach ja .... ich benutze SuSE9.1 Pro - Kaufversion

Müslifatzke
Newbie
Newbie
Beiträge: 23
Registriert: 28. Aug 2005, 18:21

Beitrag von Müslifatzke » 14. Okt 2005, 22:00

gbolk hat geschrieben:Das "neuste vom neusten" beinhaltet BUGFIXES...oder sollen alle mit Fehlern auf ihren Systemen weiterarbeiten, damit der Herr ein Paket nachinsten kann...???
du glaubst doch nicht wirklich dass die mehrheit von denen das update runterlädt damit sie ein fehlerfreies system haben oder? außerdem kann kde doch nicht so voll von fehlern sein dass man es so dringend updaten muss. es LÄUFT zumindest mal, während bei mir manche programme eben überhaupt nicht laufen weil pakete fehlen. und da hilft auch kein direkt-download weils bei dem paket nämlich massig abhängigkeiten gibt.
gbolk hat geschrieben:Wenn es nur EIN Paket ist würde ich eine Alternative wie den DIREKTEN DL vorschlagen...wenn es sich um eine ganze Armee von Paketen handelt die jedoch geupdatet werden sollten, ist apt wohl DAS Medium...meiner bescheidenen Meinung nach...
du hast's erfasst! deshalb benutz ich auch apt.

flo41
Hacker
Hacker
Beiträge: 290
Registriert: 9. Feb 2005, 11:47

Beitrag von flo41 » 14. Okt 2005, 22:04

ich verwend (wie gesagt) SuSE 9.1 und ---- ich hab noch nie Probleme wegen Bugs gehabt ...

Benutzeravatar
gbolk
Newbie
Newbie
Beiträge: 34
Registriert: 20. Apr 2005, 16:46
Wohnort: Heustreu

Beitrag von gbolk » 14. Okt 2005, 22:10

Ich glaub kaum, das hier IRGENDWER sich auch nur annähernd für den DL der entsprechenden Updates, Pakete oder ganzer ISOs erklären, entschuldigen oder um Verzeihung betteln muß...echt...kann wohl kaum sein.

Wenn es jemanden zu dumm wird kann er ja ein wenig Geld für ne fettere Anbindung lostreten und überweisen...oder soll sich selbst nen Server mit allem basteln... :wtf:

Müslifatzke
Newbie
Newbie
Beiträge: 23
Registriert: 28. Aug 2005, 18:21

Beitrag von Müslifatzke » 14. Okt 2005, 23:06

gbolk hat geschrieben:Ich glaub kaum, das hier IRGENDWER sich auch nur annähernd für den DL der entsprechenden Updates, Pakete oder ganzer ISOs erklären, entschuldigen oder um Verzeihung betteln muß...echt...kann wohl kaum sein.
hab ich auch gar nicht verlangt. ich hab den leuten nur die schuld zugeschoben, aber ich hab nix gefordert. und dass diese leute schuld daran sind dass der server überlastet is steht ja wohl außer frage.
aber das mit der fetteren anbindung raff ich nicht ganz, was bringt mir die wenn der server nicht nachkommt?

emoenke
Member
Member
Beiträge: 121
Registriert: 14. Jul 2005, 23:58

Zur Lage an der Server-Front

Beitrag von emoenke » 15. Okt 2005, 13:26

gbolk hat geschrieben:Kann es sein, das ftp://ftp4.gwdg.de/pub/linux/suse/apt/SuSE/ wieder down ist...???
Ich habe ftp4 "aus dem Verkehr gezogen" (ftp und rsync), damit erstmal die "Tier-1"-Mirrors zum Zuge kommen koennen und wenigstens meine interne APT-Repository-Erzeugung wieder zeitnah klappt.

Folgende Mirrors duerften opensuse jetzt komplett haben (sicherlich noch mehrere, aber von diesen sehe ich es in den Logs von ftp4):

coast.cise.ufl.edu
Drebkau.SBone.tu-cottbus.de
ftcrel3.hp.com
ftp.cs.pu.edu.tw
ftp.jaist.ac.jp
ftp.kddlabs.co.jp
ftp.rrze.uni-erlangen.de
gd.tuwien.ac.at
hslxrsrv5.hs.uni-hamburg.de
klid.dkmandril.creatis.insa-lyon.fr
mirror2.mirrors.tds.net
mirror.ETF.BG.AC.YU
moon.switch.ch
patroklos.noc.ntua.gr
rhlx01.fht-esslingen.de
robtop.informatik.uni-mannheim.de
roxen.integrity.hu
spike.fa.gau.hu
stallman.upc.es
venus.informatik.RWTH-Aachen.DE

In ftp.gwdg.de habe ich die Anzahl der http-Clients auf 1000 begrenzt und die Anzahl der FTP-Clients Mo-Fr tagsueber auf 1000 und nachts+Sa+So auf 2000. rsync ist auf 333 Sessions limitiert.
Je mehr ich reinlasse, desto weniger Bandbreite kriegt jeder einzelne, und auch so noch kriegt wohl derzeit keiner seine DSL-Leitung voll.

Wer an die FTP-Begrenzung stoesst, kriegt einen Error auf die Nase.
Wer an die HTTP-Grenze stoesst, wird etwas sanfter behandelt: er wartet eine Weile und kommt dann dran, wenn nicht vorher ein Timeout zuschlaegt.

Normalerweise geht die Nachfrage samstags zurueck, aber heute ist das wieder nicht so.
Auch nachts ist nicht weniger als tagsueber.
Hoffentlich bleibt am Montag wenigstens der normale Anstieg aus.

Gruss -e

Müslifatzke
Newbie
Newbie
Beiträge: 23
Registriert: 28. Aug 2005, 18:21

Beitrag von Müslifatzke » 15. Okt 2005, 13:31

dazu hätt ich mal ne frage: wie kann ich denn statt auf ftp4.gwdg.de auf einen der genannten mirrors zugreifen? muss ich da in meiner sources.list jedes einzelne ftp4.gwdg.de durch den mirror ersetzen? oder gibts da ne elegantere lösung (z.b. suchen und ersetzen)?

Grothesk
Ultimate Guru
Ultimate Guru
Beiträge: 14662
Registriert: 26. Okt 2003, 11:52
Wohnort: Köln

Beitrag von Grothesk » 15. Okt 2005, 13:36

Danke für die Liste, Eberhard.
Hab mein momentanes Update von kde mal von gwdg nach Wien verschoben. Der Server dort geht gut ab.
Wird Zeit, dass der gwdg-Server mal etwas entlastet wird.

@Muslifatzke: Mit 'kate' kann man doch ganz locke 'Suchen und Ersetzen'
"Die Rechtschreibung ist Freeware, du darfst sie kostenlos nutzen. Allerdings ist sie nicht OpenSource, d.h. du sollst sie nicht verändern oder in veränderter Form veröffentlichen."

emoenke
Member
Member
Beiträge: 121
Registriert: 14. Jul 2005, 23:58

Beitrag von emoenke » 15. Okt 2005, 13:41

Müslifatzke hat geschrieben:dazu hätt ich mal ne frage: wie kann ich denn statt auf ftp4.gwdg.de auf einen der genannten mirrors zugreifen? muss ich da in meiner sources.list jedes einzelne ftp4.gwdg.de durch den mirror ersetzen? oder gibts da ne elegantere lösung (z.b. suchen und ersetzen)?
Das ist noch ein weiteres Dilemma: die meisten Mirrors haben zwar OpenSUSE, aber nicht die APT-Repositories.

Gruss -e

Benutzeravatar
Tux-Manni
Member
Member
Beiträge: 172
Registriert: 12. Jun 2004, 18:46
Wohnort: Ludwigsburg

Beitrag von Tux-Manni » 15. Okt 2005, 16:40

..die meisten Mirrors haben zwar OpenSUSE, aber nicht die APT-Repositories.
Hab ich auch schon gesucht und festgestellt. Weiss jemand, bzw kann man das irgendwo nachlesen, welche Server für apt tauglich sind?
In meinem Fall brauch ich einen für SuSE 9.3.

Danke und Gruß
Manni
Suse 10 / KDE 3.5.1 Level "a"
Kernel 2.6.13-15.8-default
xorg 6.9.0-3.1
Mozilla/5.0 (X11; U; Linux i686; de-DE; rv:1.7.12) Gecko/20050920 Firefox/1.0.7 SUSE/1.0.7-0.1

Müslifatzke
Newbie
Newbie
Beiträge: 23
Registriert: 28. Aug 2005, 18:21

Beitrag von Müslifatzke » 15. Okt 2005, 19:25

jup, ich auch, und zwar dringend. hab meine 9.3 dvd verliehen und ich brauch dringend den xfree86-devel damit ich scribus kompilieren kann weil ich bis montag ne ziemlich umfangreiche hausaufgabe machen muss (sorry for spam :wink: )

sorry wenn mein ton etwas autoritär rüberkommt, so mein ichs nicht. will nur der dringlichkeit ausdruck verleihen, aber ich will auch kein stress schieben :)

Benutzeravatar
panamajo
Guru
Guru
Beiträge: 2582
Registriert: 12. Feb 2005, 22:45

Beitrag von panamajo » 15. Okt 2005, 19:36

oc2pus hat geschrieben:Ein erster Ansatz war am 2.7.2005 die einrichtung von ftp4.
...der z.Zt. leider per ftp nicht wirklich erreichbar ist :shock:
oc2pus hat geschrieben:Ein zweiter Ansatz war die Verteilung der ISO-Images für SuSE-10 via bittorrent zur Entlastung der Server.

Es tut sich also sehr wohl etwas, leider scheint das Interesse an den Downloads der ISOs aber immer grösser zu werden ...
Das ist das Problem auf das ich ansprechen wollte.
apt ist IMHO nur dann sinnvoll, wenn es auch funktioniert. Wenn apt durch den Release einer neuen Dist lahmgelegt wird, weil den Servern die Puste ausgeht, dann ist es nicht wirklich zuverlässig und damit eigentlich als Tool für Maintainance nicht verwendbar.

Ich habe mir die SUSE10.0 via Bittorrent runtergeladen und als Update installiert. Jetzt habe ich 81 Pakete die noch aus SUSE 9.3 stammen (z.B. packman Pakete) und kann die per apt nicht upgraden :evil:

Und das nur weil viele Leute nicht kapieren wie bittorrent geht oder was ein mirror ist. SUSE10.0 ISOs gibts inzwischen massenhaft, apt Repositorys eben nicht :twisted:

Benutzeravatar
TheTuxKeeper
Member
Member
Beiträge: 127
Registriert: 31. Jan 2005, 17:18
Kontaktdaten:

Re: Zur Lage an der Server-Front

Beitrag von TheTuxKeeper » 15. Okt 2005, 19:54

@panamajo:
emoenke hat geschrieben:Ich habe ftp4 "aus dem Verkehr gezogen" (ftp und rsync)
panamajo hat geschrieben:Und das nur weil viele Leute nicht kapieren wie bittorrent geht oder was ein mirror ist. SUSE10.0 ISOs gibts inzwischen massenhaft, apt Repositorys eben nicht
Ich hab auch versucht die Iso's über bittorent zu holen, habe aber wegen den Downloadraten von max. 30 KB/s (meist aber unter 10 KB/s) aufgegeben und mit apt alles geholt.
Ich hatte bittorrent aber trotzdem 8 Stunden nebenbei laufen lassen. Die 8 KB/s Upload waren zwar nicht viel, aber ein paar werden sich schon an den 2-3 KB/s gefreut haben.
IBM X30 -- PIII M 1200MHz -- 512MB Ram
OpenSUSE 10.2 -- KDE
Gentoo 2006.1 ~x86

Benutzeravatar
panamajo
Guru
Guru
Beiträge: 2582
Registriert: 12. Feb 2005, 22:45

Re: Zur Lage an der Server-Front

Beitrag von panamajo » 15. Okt 2005, 20:03

daniel2000 hat geschrieben:Ich hatte bittorrent aber trotzdem 8 Stunden nebenbei laufen lassen. Die 8 KB/s Upload waren zwar nicht viel, aber ein paar werden sich schon an den 2-3 KB/s gefreut haben.
Nicht ktorrent verwenden sondern BitTorrent (rpms sind mit der opensuse.org Seite verlinkt). Ich hatte einen DL von ~100KB/s und über Nacht war alles da.

}-Tux-{
Moderator
Moderator
Beiträge: 696
Registriert: 12. Dez 2004, 19:54
Kontaktdaten:

Beitrag von }-Tux-{ » 15. Okt 2005, 20:07

panamajo hat geschrieben:Ich habe mir die SUSE10.0 via Bittorrent runtergeladen und als Update installiert. Jetzt habe ich 81 Pakete die noch aus SUSE 9.3 stammen (z.B. packman Pakete) und kann die per apt nicht upgraden :evil:
naja hast du schonmal http://ftp4.gwdg.de probiert?
Ansonsten kannst du doch auch für packman einen extra packman mirror benutzten und dann alles per y2pmsh installieren


Cheers }-Tux-{

ps. ich habe die iso's auch über bt gezogen (azureus) und hab fast die ganze zeit mit 120kb/s geladen...

flo41
Hacker
Hacker
Beiträge: 290
Registriert: 9. Feb 2005, 11:47

Beitrag von flo41 » 15. Okt 2005, 20:11

ftp4.gwdg.de lässt werktags nur maximal 1000 Clients zu => ist fast unmöglich da nen Platz zu bekommen

Benutzeravatar
Tux-Manni
Member
Member
Beiträge: 172
Registriert: 12. Jun 2004, 18:46
Wohnort: Ludwigsburg

Beitrag von Tux-Manni » 15. Okt 2005, 20:12

wegen SuSE 10.0:

Nur zur Info, in der nächsten Ausgabe von Easy Linux soll eine DVD beiliegen. Dann kann man sich diesen Downloadstress auch sparen.

Wegen meiner letzten Anfrage: gibt es keine anderen Server (zB im Ausland), welche auch über apt-repositories für 9.3 verfügen??

Gruß Manni
Suse 10 / KDE 3.5.1 Level "a"
Kernel 2.6.13-15.8-default
xorg 6.9.0-3.1
Mozilla/5.0 (X11; U; Linux i686; de-DE; rv:1.7.12) Gecko/20050920 Firefox/1.0.7 SUSE/1.0.7-0.1

Benutzeravatar
oc2pus
Ultimate Guru
Ultimate Guru
Beiträge: 6506
Registriert: 21. Jun 2004, 13:01

Beitrag von oc2pus » 15. Okt 2005, 20:12

@panamajo:
nicht ist schnelllebiger als linux ...

Ich habe Eberhard (emoenke), den admin von gwdg.de, gebeten mal Infos aus erster Hand zu posten. Diesem Wunsch hat er entsprochen und die Fakten in seinem Posting erläutert.

D.h. mein Posting von weiter oben war Kenntnisstand bis heute 12:00 Uhr, das Posting von Eberhard bringt dann neue Fakten ab heute 12:00 Uhr...

Sorry für evtl entstandene Missverständnisse.

Nichtsdestotrotz, die Lage ist momentan echt nicht befriedigend. Aber wir können leider nichts dran ändern. Die Einführung von bittorrent bringt wohl schon etwas, aber es wird noch nicht von allen genutzt oder "verkehrt" eingesetzt wie so oft bei P2P Programmen (d.h. saugen, fertig, dann close ...)
tell people what you want to do, and they'll probably help you to do it.
PackMan
LinWiki : Das Wiki für Linux User

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast