Extreme Pingschwankungen mit 1Gbs von Init7

espresso

New member
19. Nov. 2022
6
0
1
Grüezi

Wollte demletzt mal auf den Grund gehen warum der durchschnitts Ping bei mir so hoch ist. Nach langer Testerei stellt sich raus

das schon im Internen Netz von Init7 alles den Bach runter geht.

Selbst bei einem Idle Trace auf deren Speedserver habe ich spikes von über 100ms

Wenn ich den gleiche Trace mit einem Speedtest auf deren Speedserver mache ist dann Ende Gelände. VolllastINIT7.jpg

IdleINIT7speed.jpg

Der Support hat zwar meine Anfrage angenommen, scheint aber nicht wirklich bemüht zu sein das Problem zeitnah zu beheben.

Mich würde mal Interessieren wie eure Traces aussehen bei euren Providern da ich mir jetzt überlege zu wechseln. Oder wenn Ihr auch bei Init7 seid ob es bei euch auch so aussieht?

Screenshots in HighRes: https://imgur.com/a/KjoCFr4

 
Zuletzt bearbeitet von einem Moderator:
Hey

Was genau ist das Problem und wie manifestiert es sich? :)

Beim Ziel hast du ja minimalen Jitter und keine Ausreisser. Dass die Router unterwegs Besseres zu tun haben als auf deine Pings zu Antworten, ist kein Problem und normal.

Mich persönlich stören die 6ms beim First Hop bei Fiber auch, ist aber kein Problem. (Habe ich bei meinem Provider z.T. auch)

Welches Produkt hast du bei Init7? Irgend was übers Swisscom Netz? Dort kenn ich es so, dass es entweder via Westschweiz oder Zürich zu den Resellern geroutet wird. (Redundanz) Wenn du jetzt Pech hast, machst du einen Umweg über die Westschweiz. Oder vllt. wohnst du halt einfach weit weg von RZ/LNS von init7.

Und dass du höhere Antwortzeiten hast, wenn die Leitung ausgelastet ist, ist auch vollkommen normal.

Für mich sieht alles normal aus.

 
6ms beim first hop? Bei Fiber7 (dem richtigen, nicht Hybrid7, oder gar DSL), hab ich 1ms. Hier mal mein Ping (über LAN natürlich.. - machst du sowas über WLAN kriegst du von Fredi persönlich eins um die Ohren) idealerweise würde man noch den PC direkt am Router einstecken, bei mir gehts noch über 2 ubnt Switches)

Ping statistics for 77.109.175.63:
Packets: Sent = 40, Received = 40, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
Minimum = 0ms, Maximum = 14ms, Average = 0ms

Möchte mich meinem Vorredner aber anschliessen - was genau ist das Problem? Ping wird nicht mit hoher Priorität behandelt, d.h. mit pings alleine kannst du keine Performance Probleme aufzeigen. da brauchst du ein Tool dass traffic generiert, und wo du beide Seiten kontrollieren kannst und wo du Traffic generieren kannst, der ähnlich ist, wie der Traffic womit du Probleme hast (geht es um download speed? online gaming? streaming?) . Das ist ausschlagkräftig. Ein paar verlorene oder langsam bearbeitete Pings sagen noch gar nix.

P.S. Tracert zu ns3152652.ip-51-89-41.eu zeigt hier 1ms bis der Traffic das init7 Netz verlässt.

P.S.2 wenn du das Problem sauber beschreiben kannst (z.b. Download Speed von Host so und so langsam, Video Streams von Anbieter xy in schlechter qualität, etc.) kannst du init7 auch antweeten (zumindest solange Twitter noch läuft ;)  ). Die machen aus ihren Auslastungen nicht so eine Geheimiskrämerei wie andere Anbieter und geben auch schon mal zu wenn ein Peering volläuft (das wäre z.B. ein Grund wieso Downloads von Host XYZ langsam wären, hiccups beim Online gaming können auch durch dasselbe Problem verursacht werden).

 
6ms beim first hop? Bei Fiber7 (dem richtigen, nicht Hybrid7, oder gar DSL), hab ich 1ms. Hier mal mein Ping (über LAN natürlich.. - machst du sowas über WLAN kriegst du von Fredi persönlich eins um die Ohren)
Ne das ist sogar ohne Router direkt vom Converter in den Intel I211 vom Aorus Elite (neuste Treiber)(mit Router gleiches Problem.)

Möchte mich meinem Vorredner aber anschliessen - was genau ist das Problem?
Das Problem ist wenn ich einen  Simplen Trace zu Gameservern nach Frankfurt mache habe ich 12ms, aber nach 1 minute ingame geht es dann hoch auf 24-30ms

Es wird gebuffert was das Zeug hält. Mit den Schwankungen kannst Onlinegames vergessen.

IdelTraceCSGOserver.jpg

Welches Produkt hast du bei Init7? Irgend was übers Swisscom Netz? Dort kenn ich es so, dass es entweder via Westschweiz oder Zürich zu den Resellern geroutet wird. (Redundanz) Wenn du jetzt Pech hast, machst du einen Umweg über die Westschweiz. Oder vllt. wohnst du halt einfach weit weg von RZ/LNS von init7.
Standard 1Gbit/FTTH Wohne in Rheinfelden AG

Ping statistics for 77.109.175.63:
Packets: Sent = 40, Received = 40, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
Minimum = 0ms, Maximum = 14ms, Average = 0ms
Welchen Anbieter hast Du? Ich weiss es wäre extremer Aufwand aber es würde mir viel Klarheit bringen wenn Du mal WinMtr auf 77.109.175.63 (Speedserver) und 173.94.90.157 (gameserver FRA) für 1000 pings laufen lassen könntest.

Dann könnte ich schon mal mehrere Fehlerquellen ausschliessen.

Merci vielmals

 
Hast du das Problem ingame nur bei diesem Server?

Welches game?

Was wird gebuffert?

Ein lokales bottleneck kannst du ausschliessen?

Meine esports zeit ist vorbei, buffern kenn ich von fps nicht :)

 
Hast du das Problem ingame nur bei diesem Server?

Welches game?

Was wird gebuffert?

Ein lokales bottleneck kannst du ausschliessen?

Meine esports zeit ist vorbei, buffern kenn ich von fps nicht :)


csgo

Da der eigentliche Ping ja nach FRA z.B. 12-14ms beträgt aber die Pakete dann teilweise irgendwo für 25-80ms  geparkt werden

Wie oben in den Screenshots zu sehen besteht das Problem leider auch im Idle betrieb, so wie im Init7 internen Netz.

Before die Pakete in FRA an Hetzner abgehen haben die dann schon 70ms auf dem Buckel.

Ich hatte Testweise im Router die Bandbreite halbiert und dann sogar auf 1000kbit reduziert und das Problem, wenn auch geringer, war immer noch da.

Daher schließe ich mal mein Ende aus. Zumal man am ersten hop ja noch sehen kann das alle I.O ist.

 
Standard 1Gbit/FTTH Wohne in Rheinfelden AG
In Rheinfelden hats kein Fiber7 POP gemäss Karte, d.h. ich vermute du hast Hybrid7, was über die Swisscom Infrastruktur geht (BBCS) und da sind die 7ms ping normal - soviel haut dir BBCS oben drauf. Was sagt der Maxfix Check wenn du deine Adresse eingibst?

Ich habe echtes Fiber7, Hier WinMTR zum Speedtest Server:

image.png

(habs weiterlaufen lassen während ich das geschrieben habe, hab jetzt fast 1200 iterationen, gleiches resultat, average ist 1ms)

Anhand des Traces zum Gameserver, vermute ich schon mal dass der nicht in Frankfurt steht. Normalerweise kann man aus den Hostnames ableiten wo die etwa stehen. Der letzte Hop in init7 Netz ist r1fra3, das tönt nach Frankfurt. Dann haben wir ffm-xxx, aus ffm lese ich Frankfurt am Main.. ich rate mal das tweve99.net irgend ein Transit Anbieter ist (habs nachgeschaut, ist die ehemalige Telia, also wirklich transit), bis der Traffic dann ins Netz von Charter geht. Charter ist meines Wissens nach ein ISP in den USA (yup.. nachgeschaut, ist so). Man sieht auch den grossen Sprung der PINg zwischen prs-bb1-lin.ip.twelve99.net und ash-bb2-link.ip.twelve99.net - der init7 Support weiss da sicher mehr, aber ash, und der massiv höhere ping - könnte es nicht sein dass der Traffic da über den Atlantik geht?

Und die letzten 2 Hops da haben wir carolina.rr.com. Ich vermute rr steht für Roadrunner, was ein Kabelanbieter in den USA ist / war, carolina steht möglicherweise für den Standort (also Ostküste, North oder South Carolina). Roadrunner war ein Brand von Time Warner Cable, Charter Communications hat die mal übernommen.

Hier WinMTR für den zweiten server, wie gewünscht
 

image.png

Hab die IP auch bei arin.net gesucht (die sind zuständig für US IPs), und voila, gehört zu Charter.

Wieso spielst du auf nem US Server? 

Und, mit dieser Info 'ich hab Lag beim Gamen auf Server xyz (wäre noch gut anzugeben welches Game)', da mal init7/küenzler antweeten. Scheint also ob init7 kein Peering mit Charter hat (andere können da kurz in der Peering DB nachschauen ob das stimmt - init7 wird das aus dem FF wissen), und der Traffic über Telia Transit muss. Hab kurz gegooglet nach pings für interkontinentale Verbindungen und bin da auf 90ms Minimum gestossen, also wäre das gar nicht mal so falsch.. wenn zwischen prs-bb1 und ash-bb2 der Atlantik liegt, dann ist der Sprung von 16ms auf 101ms gar nicht so verkehrt.

@edit: hab auch den Ping auf den Gameserver weiterlaufen lassen, nach 1600 Iterationen dasselbe Average ping zur Destination.

 
Zuletzt bearbeitet von einem Moderator:
157.90.94.173 ist die korrekte ip. Espresso hat versehentlich aus dem ptr kopiert...

Ich würds auch init7 so schreiben, wie doom geschrieben hat.

Du könntest es auch mal noch mit vpn probieren um das routing auszuschliessen. evt. Nimmt es dann auch im init7 core einen anderen pfad.

Wenns bbcs ist, findest du evt. Jemand der dir ein pppoe login eines anderen isps zum testen geben kann, dann wäre es eindeutig obs an init7 liegt oder nicht.

 
Anhand des Traces zum Gameserver, vermute ich schon mal dass der nicht in Frankfurt steht.
Es tut mir echt mega Leid irgendwie habe ich die Falsche IP aus dem Screenshot abgeschrieben. Wie Plesha schreibt wäre richtig 157.90.94.173

Aber Du hast mir echt super weitergeholfen weil man bei dir im MTR auch diese Pingspikes (bis 35ms) sieht. Und ich vermute mal das ist auch Idle bei dir.

Das bestätigt mir schonmal dass das nicht an meinem Ende und Routing liegt sondern wie ich  vermutet habe am Init7 Netz.

Mich würde jetzt Interessieren wie das bei dir dann unter Last aussieht. Also MTR laufen lassen und gleichzeitig einen Speedtest machen.

Da drehen dann die Pings bei mir völlig durch, hier als Beispiel sogar mit halbierter Bandbreite:

bloat.jpg

speedtestvoll.jpg

Ich hab auch mal Wireshark parallel zu einem Speedtest laufen lassen. Bin kein ITler aber das ganze Rot sieht nicht gut aus.

bloat23.jpg

bloat34.jpg

Hier in besserer Qualität https://imgur.com/a/UWls5eJ

In Rheinfelden hats kein Fiber7 POP gemäss Karte, d.h. ich vermute du hast Hybrid7, was über die Swisscom Infrastruktur geht (BBCS) und da sind die 7ms ping normal - soviel haut dir BBCS oben drauf. Was sagt der Maxfix Check wenn du deine Adresse eingibst?
Ja sagt Hybrid7. Wenn ich jetzt zur Swisscom Wechsel entfällt dann diese 6-7ms "Pingbestrafung"?

Ich würds auch init7 so schreiben, wie doom geschrieben hat.


Hab ich schon vor knapp einer Woche. Aber habe noch nichts gehört. Meine Vermutung ist ja dass das ein recht aggressives  Loadbalancing QoS ist.

 
Wenn ich jetzt zur Swisscom Wechsel entfällt dann diese 6-7ms "Pingbestrafung"?
Jein. BBCS hat etwas höheren Ping als Swisscom native, aber Swisscom ist immer noch merkling hinter Fiber7. die genauen Zahlen findest du hier im Forum, aus dem Kopf würd ich sagen 7ms BBCS, Cable ähnlich, Swisscom glaub ich 5ms. Dafür hast du mit Swisscom das Thema des Double Paid Peering, Swisscom will nämlich dass 'Datenlieferanten' dafür bezahlen, dass ihre Datenpakete möglichst rasch zu Swisscom Kunden kommen, während init7 seine Endkunden nicht so monetisiert, und besser dafür sorgt, dass die Verbindung zu allen Destinationen im Internet immer ohne Stau funktioniert (aber - auch init7 ist nicht perfekt, manchmal liegt der Fehler aber auch am Peering Partner - je grösser dieser, desto eher). Kann also sein (muss aber nicht) dass du mit Swisscom einen tieferen ping hättest wenn du 1 ping absetzt, aber dass die Gaming Experience dann doch schlechter ist, weil das Peering Überlastet ist, und der Anbieter Swisscom nix dafür bezahlen will das Peering auszubauen. Je nach Tages und Nachzeit kann die Verbindung prima flutschen, und eine Minute später stehst du im Datenstau.

Hier dein Game Host

image.png

11ms Average scheint mir jetzt nicht so wahsinnig schlecht. Leitung ist nicht ganz idle, da läuft noch ein low speed Download im Hintergrund und Music Streaming ist auch aktiv.

Wir sehen jetzt also dass dein Game Host bei Hetzner ist, und dass init7 ein direktes Peering mit denen hat, anscheinend in Frankfurt. Aber das ist das was man aus so nem Tool rauslesen darf. Was nicht zulässig ist, ist den 'Worst' Wert zu nehmen und daraus zu schliessen - 'ej, gw-hetzern.init7.net hat ein Worst von 45ms bei Average von 9ms, ihr habt da ein Problem'. ping ist ICMP, das ist nicht gedacht für Performance Analyse. Deine Games kommunizieren über TCP, das ist was ganz anderes, und von ICMP Verhalten auf TCP Verhalten zu schliessen ist nicht zulässig. Relevant für deine Gaming Experience ist was über TCP passiert. Darüber kannst du mit ICMP Tools nix aussagen. Und, dieses Bild zeigt dir noch was - schau mal den Worst Wert des Zieles, und dann gehe die Worst Kolonne von utnen nach oben durch... core24.fsn1.hetzner.com hat ein Average von 13ms. Das Ziel (das weiter weg ist), nur 11ms. Wie kann ein Server der näher steht, einen tieferen ping haben? Die Funktionsweise von tracert lässt es nicht zu, dass du siehst, wie lange ein Paket von einem Hop zum nächsten hat. Oder.. der r1win8 im init7 Netz. Worst: 78ms. Dein Ziel: worst: 30ms. Kann gar nicht sein dass das Ziel in maximal 30ms Antwort gibt, wenn der 2. Hop bereits 78ms dafür gebraucht hat.

Bottom line: Nur weil ein Router auf pings ab und zu mal später Antwort gibt, heisst das noch lange nicht, dass dein Provider ein Problem hat. Vielleicht ist es sogar gewollt so. Professionelle Performance Analyse, da gibts schon Tools dafür. Da müsstest du sowas wie ipperf haben. bzw in dem Fall ein Tool das das Traffic Pattern deines Game Clients abbildet, und mit einem Server auf deinem Game Server (oder Server wenigstens im selben RZ und beim selben Provider). Wireshark würd ich mir sparen, wenn du da die Netzwerkprotokolle nicht aus dem FF hast (hab ich selber nicht, hab das vor 20 Jahren gelernt, und der letzte Switching & Routing Kurs war vor ca 15 Jahren), wird das schwierig. So Dinge kannst du dir imho sparen.

Nochmals: Schreibe auf Twitter 'ich habe <genaue Beschreibung des Problemes hier (ich habs leider immer noch nicht verstanden, weiss noch nicht mal um welches Game es geht, und ich bin am rätseln ob du Game Streaming machst, d.h das Game bei Hetzner läuft und zu dir gestreamt wird (bei Game Streaming wurde 'buffering' am meisten Sinn machen)> auf dem Server 157.90.94.173 bei Hetzner. Ist etwas bekannt, hat das noch jemand anders. 

 
Wir sehen jetzt also dass dein Game Host bei Hetzner ist, und dass init7 ein direktes Peering mit denen hat, anscheinend in Frankfurt. Aber das ist das was man aus so nem Tool rauslesen darf. Was nicht zulässig ist, ist den 'Worst' Wert zu nehmen und daraus zu schliessen - 'ej, gw-hetzern.init7.net hat ein Worst von 45ms bei Average von 9ms, ihr habt da ein Problem'. ping ist ICMP, das ist nicht gedacht für Performance Analyse. Deine Games kommunizieren über TCP, das ist was ganz anderes, und von ICMP Verhalten auf TCP Verhalten zu schliessen ist nicht zulässig.


Ich bin dir wirklich dankbar für deine Mühe und Input.

Es geht um CSGO, dedicated Server stehen in FRA.  CSGO benutzt UDP. Ich weiss nicht ob das geht einen UDP trace zu machen, aber ich kann Ingame mit dem Net_Graph das gleiche Verhalten wie bei ICMP Pings sehen:

CSGOSERVERping.jpg

Wenn ich auf den Server verbinde zeigt er mir noch 12ms an, dann nach einer Weile(meist1-2min) geht das rolling Average hoch auf 23-30ms.
Das heist die Durchschnittslatenz verdoppelt sich.

Ich kann das Verhalten mit ICMP 100% reproduzieren:

Valve Server FRA Idle: Durchschnitt 12ms

ValveIdle.jpg

Valve Server FRA unter Last: Durschnitt 25ms

ValveLast.jpg

Ein Anstieg des Durchschnittsping von 12 auf  25ms für Surfen und downloading is Jacke, aber für gaming eine Katastrophe.

Nochmals: Schreibe auf Twitter 'ich habe <genaue Beschreibung des Problemes 


Ich habe seit einer Woche ein Supportticket offen und hoffe da wird dann die nächsten Tage mal was passieren.

Dein MTR hat mir auf jedenfalls die Klarheit gebracht die ich die ganze Zeit gesucht habe. Danke dir dafür und deine Zeit!

 
Was heisst 'Last' für dich? Leitung zu wieviel % voll? Wer generiert die Last? Deine Maschine, ne andere Maschine?

Hier 2 parallele Downloads mit 50MB/s während des Tests

image.png

Average 10ms zum Ziel. Lass ich das weiterlaufen auf Idle (fast idle.. läuft IPTV im Hintergrund und ein Download mit 100kb/s), geht das mit der Zeit runter auf 8ms, und der first Hop (mein Router) runter auf 2ms. Zeigt also.. der zusätzliche Delay entsteht zwischen meinem PC und meinem Router. Ist ja auch kein Wunder, ICMP hat nun mal keine Priorität.

Dein Game verwendet UDP - da erst Recht, UDP ist Hit und Miss.

Wenn du die Leituntg beim Gamen füllen willst, dann brauchst du zwingend QOS. Idealerweise durchgehen, das wird nicht machbar sein, dann wenigstens bis zum Provider, aber das machen sie wohl nicht, also bleibt dir noch QoS auf deinem Netz und PC. Dein PC muss schon wissen dass dein Game Traffic dir wichtiger ist, als deine Speedtests, dein Router muss das auch. Je näher du an die Kapazität deiner Leitung kommst, desto mehr brauchst du QoS. Wenn du z.B. in ner StundentenWG wohnst, wo jeder 4K Bluray Rips zieht, dann würd ich da schon dafür sorgen, dass dein Game Traffic höher priorisiert wird als TCP Downloads, sonst wirst du da nie glücklich. Auch wenn du ne Familie hat die das Internet Intensiv nutzt, same story. Bist du alleine, kannst du das am einfachsten steuern, einfach ne Bremse bei den Downloads reinmachen (geht am einfachsten mit download managern). 

Mein Netzt hat kein QoS by the way, darum überrascht es mich auch nicht, dass die Zahlen auseinandergehen wenn ich Last drauf gebe. Hatte früher mit langsamerem Internet und IP Telefonie QoS aktiviert, da konnte ich bei aktivem Gespräch einen Speedtest machen und die Gesprächsqualität blieb hoch. Ohne QOS konntest du während dem Speedtest nicht mehr telefonieren (also Signalisation ging schon, aber Gesprächsqualität nicht toll). IP Telefonie verwendet auch UDP für die Sprachübertragung...

 
Average 10ms zum Ziel. Lass ich das weiterlaufen auf Idle (fast idle.. läuft IPTV im Hintergrund und ein Download mit 100kb/s), geht das mit der Zeit runter auf 8ms, und der first Hop (mein Router) runter auf 2ms. Zeigt also.. der zusätzliche Delay entsteht zwischen meinem PC und meinem Router. Ist ja auch kein Wunder, ICMP hat nun mal keine Priorität.


Das Problem ist nicht der Durchschnitt sondern die Spikes. CSGO Gameserver laufen auf 128 Tickrate das heisst alle 7.8ms ein Tick(Gamestate Claculation und Clientupdate).

Wenn die Pakete jetzt, wie in deinem Beispiel, für 97ms auf dem init7 Server gepuffert werden dann verpasst der Server min. 1Paket für 12.5Ticks von meine Clientdaten.

Und das passiert nicht nur einmal alle 5min. sondern die Spikes sind kontinuierlich jede Sekunde:

IdelTraceCSGOserver3.jpg

ideal.jpg