Update: Improving Multiplayer

Grüße Bürger,
Am Donnerstag haben wir die Mehrspielermodi des Arena Commander für ein viel größeres Segment von Geldgebern geöffnet. Während des Feiertagswochenendes haben unsere Ingenieure die Serverstatistiken sorgfältig verfolgt: Anzahl der erfolgreichen Verbindungen, Anzahl der fehlgeschlagenen Versuche, Anzahl der konkurrierenden Spiele, durchschnittliche Latenzzeiten und dergleichen. Wir haben auch Zeit damit verbracht, Ihre Twitch-Feeds zu beobachten, die sich als unglaublich wertvolles Werkzeug erwiesen haben, um die praktische Erfahrung mit dem zu vergleichen, was wir intern testen.

Durch die Veröffentlichung einer neuen Version des Spiels mit vielen Änderungen und der Erhöhung der Anzahl der gleichzeitigen Spieler haben wir eine Vielzahl von Lastfällen und Bugs aufgedeckt, die wir noch nie zuvor gesehen hatten: Schiffsbewegungs- und Prognoseprobleme, Matchmaking-Bugs, die das Zuweisen übermäßiger Spielerzahlen zu Spielservern und anderen Tracking Edge-Fällen beinhalten, und bestehende ungenutzte Motorfunktionen, die Probleme verursachen.

Das Ergebnis ist, dass es mit Patch 12.4 eine inakzeptable Verzögerung und das Auftreten von Gummibändern gibt (der Effekt, wenn Schiffe im Weltraum zurückspringen). Während Sie alle wissen, dass Arena Commander ein Pre-Alpha-Modul ist und dass unser Ziel darin besteht, genau diese Probleme zu bestimmen und zu beheben, scheinen sie mit diesem Patch signifikant genug, dass wir uns einen Moment Zeit nehmen sollten, um darüber zu sprechen, wie wir sie in den kommenden Wochen reparieren wollen.

Ich möchte betonen, dass dies Teil unseres gemeinsamen Prozesses ist, und es ist eines der Dinge, die die Entwicklung von Star Citizen so einzigartig machen. Wir hören von Spielen, die jeden Tag mit düsteren Mehrspielerproblemen starten. Im Gegensatz zu einem traditionell veröffentlichten Spiel, das vollständig in die Wildnis startet, lässt uns Arena Commander mit Hilfe der Community echte Lastausgleichstests durchführen, um Mehrspieler- und Konnektivitätsprobleme in diesem frühen Stadium auszuschließen. Dies jetzt zu erreichen bedeutet, es in Zukunft richtig zu haben; Sie helfen sicherzustellen, dass zukünftige Updates und Module etwas verbessern, das funktioniert, anstatt es für ein völlig Unbekanntes zu veröffentlichen.

Das Team bereitete bereits Patch 12.5 für den Start vor, der beide Fixes und eine oder zwei neue Überraschungen enthalten wird. Mit dem Aufkommen der neuen Probleme mit Latenzzeiten und Gummibändern wussten wir jedoch, dass wir unseren Fokus erhöhen mussten. Wir hatten diese Probleme mit den 60.000 Spielern, die Zugriff auf den vorherigen Patch hatten, nicht gesehen, so dass wir sofort dachten, dass eine unserer serverseitigen Änderungen sie verursacht haben könnte. Am Montagmorgen setzte sich die Produktion hin und entwickelte eine Checkliste, um mögliche Ursachen (und Verbesserungen) für die Probleme zu untersuchen. Hier ist eine kurze Auswahl:

Am Montagmorgen ging das Team in Aktion, um die Ursache für das Problem zu ermitteln. Es gab Dutzende von Möglichkeiten, von denen alle (oder keine) Teil der Themen sein konnten, die wir beobachteten. Fehlerberichte, die von engagierten Geldgebern eingereicht wurden, waren unser erster Analysepunkt. Wie Ärzte, die versuchen, eine mysteriöse Krankheit zu identifizieren, haben wir nach gemeinsamen Umweltfaktoren gesucht. Gab es eine signifikante geografische Distanz zwischen den Spielern? Überraschenderweise nein: In vielen Fällen hatten Spieler mit fast keiner Latenzzeit zwischen ihnen immer noch Probleme.

Das Team ging zur Überprüfung unseres eigenen Codes über. Mehrere Möglichkeiten boten sich an: übrig gebliebener Code veranlasste das Spiel, mit jeder Sitzung eine Verbindung zum Crynetwork-Chat herzustellen, fehlender Bewegungsglättungscode, der entwickelt, aber in 12.4 nicht implementiert wurde, und es gab potenzielle Probleme mit den Servern, die nicht richtig erkannten, wann sie voll waren. Jede dieser Möglichkeiten wurde zu einer JIRA-Aufgabe, bei der die Ingenieure von Star Citizen beauftragt wurden, einen bestimmten Gegenstand für den nächsten Patch zu untersuchen und zu reparieren.

Wir haben bereits eine Reihe von Korrekturen implementiert, von denen wir glauben, dass sie die Multiplayer-Erfahrung in 12.5 verbessern werden, und wir untersuchen weiterhin mehrere andere Möglichkeiten, von denen wir hoffen, dass sie die Erfahrung verbessern werden. War einer dieser Gegenstände die "Wunderwaffe", die das Mehrspielererlebnis verbessert? Unsere Tests sind vielversprechend, aber wir werden es nicht sicher wissen, bis wir den Arena Commander gepatcht haben und gesehen haben, wie er sich auf Spieler auf der ganzen Welt auswirkt. Wir wissen, dass es frustrierend sein kann, keine "One-Button"-Fixierung zu sehen, aber eine Art erweiterter Prozess ist notwendig, um sich auf die zukünftige Einführung des Persistent Universe vorzubereiten. Erwarten Sie eine Verbesserung in 12.5 und größere Verbesserungen, während wir unsere Arbeit fortsetzen!

Wir lernen auch, wie wir den Ermittlungsprozess verbessern können. Am Dienstag haben zwei unserer Programmierer die Serversoftware aktualisiert, um detailliertere Parallelitätszahlen zu erhalten. Genauer gesagt, wie viele Spieler in einem bestimmten Intervall im Spiel sind, wird ein wertvolles Werkzeug sein, um zu untersuchen, wie sich der Server verhält, wenn in Zukunft Änderungen vorgenommen werden. Als nächstes wird die Qualitätssicherung mit diesem Tool 12.3 im Vergleich zu 12.4 testen, um herauszufinden, wo die Leistungsänderungen eingeführt wurden.

In der Zwischenzeit möchte ich Ihnen allen für Ihre Bemühungen danken, uns dabei zu helfen, diese Probleme zu entdecken, sowohl diejenigen, die darauf warten zu spielen, als auch diejenigen, die unter weniger als idealen Bedingungen im Dogfighting waren. Wir arbeiten daran, dies zum bestmöglichen Erlebnis zu machen, und das ist etwas, was wir ohne die Unterstützung und Hilfe aller unserer Geldgeber nicht tun könnten. Es wird Unebenheiten auf dem Weg geben, wenn wir die Technologie hinter Star Citizen und die Balance des Spiels selbst verbessern.... aber wir werden den Prozess teilen, mit dem wir all diese Probleme mit Ihnen angehen, wie es geschieht.

Ich habe auch Fragen von mehreren Geldgebern über internationale Server erhalten, die sich auf Orte wie Australien und Europa erstrecken. Aktuelle Hinweise deuten darauf hin, dass dies nicht die Ursache für die Probleme ist, die wir mit dem 12.4. sehen.... aber es ist etwas auf unserer Roadmap, mit Plänen, diese Server bis zum Start von Arena Commander 1.0 zu aktivieren!

- Chris Roberts

Greetings Citizens,
On Thursday, we opened Arena Commander’s multiplayer modes to a much larger segment of backers. Over the holiday weekend, our engineers kept careful track of server stats: number of successful connections, number of failed attempts, number of competed games, average latency and the like. We also spent time watching your Twitch feeds, which have proven to be an incredibly valuable tool for helping compare the real world experience to what we test in-house.

By releasing a new version of the game with many changes and also upping the number of simultaneous players, we exposed a variety of load cases and bugs we hadn’t seen before: ship movement and prediction issues, matchmaking bugs that include assigning excessive player counts to game servers and other tracking edge cases, and existing unused engine features causing problems.

The result is that with Patch 12.4, there is an unacceptable amount of lag and occurrence of rubber-banding (the effect when ships seem to ‘jump back’ in space.) While all of you know that Arena Commander is a pre-alpha module and that our aim is to determine and fix exactly these problems, they seem significant enough with this patch that we should take a moment to talk about how we’re aiming to repair them in the upcoming weeks.

I want to stress that this is part of our shared process, and it’s one of the things that makes Star Citizen’s development so unique. We hear about games that launch with dismal multiplayer issues every day. Unlike a traditionally published game, which launches fully formed into the wild, Arena Commander is letting us do real load balancing tests with the help of the community to flush out multiplayer and connectivity issues at this early stage. Getting this right now means having it right going forward; you’re helping ensure that future updates and modules improve on something that works instead of publish to a complete unknown.

The team was already preparing patch 12.5 for launch, which will add both fixes and a new surprise or two. With the rise of the new latency and rubber-banding issues, though, we knew we needed to up our focus. We had not seen these issues with the 60,000 players who had access to the previous patch, so our immediate thought was that one of our server-side changes may have caused them. On Monday morning, production sat down and developed a ‘to investigate’ checklist of possible causes of (and improvements for) for the issues we were seeing. Here’s a short sampling:

On Monday morning, the team went into action to determine the root cause for the issue. There were dozens of possibilities, all (or none) of which could be part of the issues we were observing. Bug reports submitted by dedicated backers were our first point for analysis. Like doctors trying to identify a mysterious illness, we looked for common environmental factors. Was there a significant geographic distance between players? Surprisingly, no: in many cases, players with almost no latency between them were still having issues.

The team moved on to examining our own code. Several possibilities presented themselves: leftover code was causing the game to attempt to connect to Crynetwork chat with each session, missing movement smoothing code that had been developed but not implemented in 12.4 and there were potential issues with the servers not correctly recognizing when they were full. Each of these possibilities became a JIRA task instructing Star Citizen’s engineers to investigate and repair a given item for the next patch.

We’ve already implemented a number of fixes which we believe will improve the multiplayer experience in 12.5, and we’re continuing investigating several other possibilities that we hope will improve the experience. Was one of these items the ‘magic bullet’ that fixes the multiplayer experience? Our tests are promising, but we won’t know for sure until we’ve patched Arena Commander and seen how it impacts players around the world. We know it can be frustrating not to see a ‘one button’ fix, but kind of extended process is necessary to preparing for the future launch of the Persistent Universe. Expect to see an improvement in 12.5, and greater improvements as we continue our work!

We’re learning how to make the investigative process better, too. On Tuesday, two of our programmers updated the server software to provide more detailed concurrency numbers. Knowing more specifically how many players are in the game in a given interval will be a valuable tool for investigating how the server behaves where changes are introduced in the future. Next, QA will use this tool to test 12.3 compared to 12.4 to try and discover where the performance changes were introduced.

In the meantime, I’d like to thank you all for your efforts in helping us discover these issues, both those waiting to play and those who have been dogfighting in less-than-ideal conditions. We’re working to make this the best possible experience, and that’s something we couldn’t do without the support and help of all of our backers. There will be bumps along the road as we improve the technology behind Star Citizen and the balance of the game itself… but we’re going to share the process by which we deal with all of these issues with you as it happens.

I’ve also had questions from several backers about international servers, expanding to places like Australia and Europe. Current indications is that this isn’t the cause of the problems we’re seeing with 12.4… but it is something on our roadmap, with plans to enable these servers by the time Arena Commander 1.0 launches!

— Chris Roberts