AI Design in Vanduul Swarm

KI-Design in Vanduul Schwarm
Vanduul Swarm ging am 4. Juni zum ersten Mal zu den Unterstützern, und viele von euch warteten gespannt darauf, es in die Hände zu bekommen, auf ihre allererste Chance, ihre Schiffe zu fliegen und an ihren ersten Star Citizen Hundekämpfen teilzunehmen. Für unser kleines Team hier in Edinburgh, Schottland, war es genauso bedeutsam - aber aus verschiedenen Gründen.

Wir sind das Team hinter Kythera, der Middleware für künstliche Intelligenz, die Star Citizen betreibt, und Arena Commander v0.8 war sein Gameplay-Debüt. Wir wussten, was Sie sehen und was Sie erleben würden, denn wir haben die KI seit Wochen verbessert, getestet, optimiert und optimiert. Aber während wir auf das erste Feedback der Geldgeber warteten, gab es einige Dinge, bei denen wir uns einfach nicht sicher sein konnten.

Hatten wir die Schwierigkeitskurve richtig gemacht? Gab es einen größeren Fehler oder eine Ausnutzung, den wir übersehen hatten? Würdet ihr Leute denken, dass es Spaß gemacht hat?

Wir haben eine Menge Erfahrung in der Spieleentwicklung hinter uns, aber diese Version war sehr persönlich - und sehr sofort. Stunden nachdem dieser magische Build genehmigt wurde, wurde er in die ganze Welt gestreamt. 33.000 von euch haben es in den ersten 12 Stunden gespielt.

Der beste Moment war, sich auf Twitch einzustellen, um einen unerschrockenen Geldgeber zu sehen, der lernte, das Spiel von Grund auf neu zu spielen, während Tausende von anderen Leuten zusahen.

Und er schien es zu genießen.

Ein Balanceakt
Denn Spaß ist das, worum es wirklich geht. Wir von Moon Collider sind der Meinung, dass Sie als Geldgeber dabei helfen, das ehrgeizigste Spiel zu entwickeln, das derzeit in der Entwicklung ist - aber all diese Visionen, Realismus und Immersionen würden nichts zählen, wenn Sie nicht denken würden, dass es unterhaltsam war zu spielen. Und als Entwickler Ihrer KI Dogfighting-Gegner für Vanduul Swarm waren wir direkt an der Front. Und letztendlich kam es auf das Gleichgewicht an.

Während andere Teams die Waffenfähigkeiten, Steuerungssysteme und Flugsteuerungssysteme so anpassten, dass sie die beste erste Weltraumkampferfahrung machten, arbeiteten wir mit den Designern Ben und Will in Manchester an den KI-Gegnern, die diese Erfahrung in den Mittelpunkt stellten, um Spaß zu machen. Und als sich die zugrunde liegenden Systeme unter unseren Füßen änderten, mussten sich die Sensen anpassen: Wenn die Raketen weniger stark wurden, konnten wir sie öfter einsetzen; wenn IFCS das Schiff reaktionsschneller machte, konnten unsere Sensen mehr Agilität zeigen.

Vanduul Swarm kam mit der zusätzlichen Design-Herausforderung, dass es nicht nur der erste Blick auf das Luftkampfmodul ist, sondern auch eine Trainingsmission: die erste Gelegenheit, ein Raumschiff im Star Citizen Universum zu fliegen. Es gibt viel zu lernen, und es macht einfach keinen Spaß, wenn man in Stücke gerissen wird, bevor man überhaupt die Steuerung herausgefunden hat.

Sie werden inzwischen wissen, dass die Vanduul in einer Reihe von Wellen kommen: fünfzehn von ihnen, jede bedrohlicher als die letzte. Wir haben dafür gesorgt, dass Wave 15 auch für die besten Spieler eine Herausforderung ist (niemand im Entwickler-Team hat es vor der Veröffentlichung geschafft - obwohl es, wie wir gehofft haben, einige von euch seitdem haben! Aber die KI schwer zu machen, ist einfach. Unsere ersten und härtesten Designprobleme kamen in Welle 1 zurück, als wir wussten, dass unsere Vanduul mit Anfängerpiloten konfrontiert sein könnte, die immer noch anhalten, um das Flughandbuch zu lesen.

Schwäche zeigen
Man könnte meinen, dass KI-Programmierer wollen, dass ihre KI so intelligent wie möglich ist, aber die Wahrheit ist subtiler als das. Die besten Taktiken für eine KI erscheinen einem Spieler nicht immer intelligent (geschweige denn lustig). Und obwohl die KI des Vanduul nicht "betrügt" - sie hat keinen Zugang zu Informationen, die ein menschlicher Spieler nicht haben würde, und sie befolgt alle gleichen physischen Regeln - ist sie in der Lage, diese Informationen viel schneller zu verarbeiten und genauer zu reagieren, als es das erfahrenste Kämpferass je könnte. Um seinen Gegnern also eine Kampfchance zu geben, mussten wir sowohl Schwächen als auch Stärken einbauen.

Wir haben es nicht immer beim ersten Mal richtig gemacht. In einer frühen Version von Vanduul Swarm haben wir einfach die Genauigkeit der Zielerfassung der Feinde abgelehnt. Es schien gut zu funktionieren, bis wir bemerkten, dass man sein Raumschiff bewegungslos im Raum sitzen konnte, und die Sensen würden dich immer noch vermissen! (Wir haben es geändert, um mit deiner Geschwindigkeit zu variieren, aber jetzt scheint es, dass es einigen Leuten im entkoppelten Modus sehr gut geht, als ob ein Turm in einer geraden Linie fliegt - vielleicht sollten wir das verstärken?

Wir wollten auch in unseren Luftkämpfen einen besonderen Kampfstil hervorheben. Im PvP kannst du sicher sein, dass Schiffe direkt aufeinander zu fliegen und alle Geschütze brennen, was wie ein mittelalterliches Turnier enden kann. Aber wir denken, dass das, was du wirklich willst, der Nervenkitzel der Jagd ist - die Chance, sich an den Schwanz eines Feindes zu hängen und deinen Steinbruch durch die lodernde Leere zu verfolgen. Deshalb haben wir die Vanduul so programmiert, dass sie sich manchmal in ein Rückzugs-, "Folge mir!"-Verhalten begibt, um sicherzustellen, dass du diese Gelegenheit bekommst.

Wird die KI dich also immer gewinnen lassen? Definitiv nicht. Wir haben vielleicht die Sensen in Vanduul Swarm zurückgefahren und versucht, sicherzustellen, dass jeder in seiner Freizeit seinen Level auf der Schwierigkeitskurve findet, und wir hoffen, dass Sie das Gefühl hatten, dass wir das richtig gemacht haben. Aber wenn du es bis zu den späteren Wellen geschafft hast, wirst du wissen, dass die Besten der Vanduul viel mehr zu bieten haben. Und seien Sie versichert, dass sich das KI-Design für Vanduul Swarm aus den von uns beschriebenen Gründen ganz anders darstellt als die Vision für das größere Star Citizen-Universum, wo Sie KI-Piloten finden, die genauso gerissen und rücksichtslos sind wie die besten menschlichen Spieler.

Ein außerirdischer Schwarm mit Persönlichkeit
Chris hat uns gegenüber immer die Bedeutung der Persönlichkeit bei den KI-Gegnern von Star Citizen betont. Als Reaktion darauf haben wir eine Vielzahl von abstimmbaren Parametern und ein "Profile"-Framework eingebaut, um sie zu verwalten, und Ben Sharples in Manchester konnte dies sinnvoll nutzen.

Die Raumschiffe, die auf dich zukommen, mögen alle Sensen sein, aber sie sind nicht alle gleich. Du wirst bemerkt haben, dass die Auslastung variiert - zum Beispiel haben die Levelbosse Raketen, auch wenn die Grunzen der Welle es nicht tun. Aber hast du bemerkt, dass jeder Chef sich auf eine etwas andere Weise mit dir beschäftigt?

Der erste Boss, den du treffen wirst, ist Little King, der programmiert ist, um in Reichweite von dir zu bleiben und Gegenmaßnahmen zu ergreifen, um Raketenschläge zu vermeiden und dich vom Zentrum der Schlacht wegzubringen. Im Gegensatz dazu ist der zweite Chef - The Priest - ein Nahkampfjäger, der so nah wie möglich kommt und in erschreckend kurzen scharfen Stößen Schaden anrichtet. (Übrigens, es gibt ein Gerücht in den Foren, dass die Scythes versuchen, dich zu rammen. Das sind sie nicht wirklich. Es ist nur die Art des Priesters, Hallo zu sagen!)

Du wirst dies sehen, das im Persistent Universe und in der Staffel 42 auf die nächste Stufe gebracht wurde, mit einzelnen Piloten, die daran arbeiten, ihre eigenen langfristigen und kurzfristigen Ziele zu erreichen, und ihrer Einstellung zu dir, die durch Erfahrung informiert und in ihren Kampfentscheidungen dargestellt wird.

Diese Charaktere zu erschaffen, wird immer eine schwierige Aufgabe sein, sowohl für Designer als auch für uns, wenn es darum geht, ihnen Werkzeuge zur Verfügung zu stellen, die dem Job gewachsen sind. Aber wir haben gesehen, dass eine einfache Sache einen großen Unterschied in Vanduul Swarm macht: Piloten Namen zu geben. "Boss1" und "Boss2" benahmen sich eindeutig, aber mit einem Namen wie "Der Priester", um auf ihr Verhalten hinzuweisen, erwachten sie zum Leben und wir konnten anfangen, unter ihre Haut zu gehen.

(Die Teamkollegen wurden übrigens ursprünglich "Ben" und "Willus" genannt (wir können uns nicht vorstellen, warum). Und während wir traurig waren, sie gehen zu sehen, wirkten "Warlord" und "Vixen" etwas aggressiver....)

Freundliche Hornissen
Abschließend lassen Sie uns noch einen kurzen Blick auf die beiden Verbündeten werfen, die Sie auf Ihrer Mission begleiten. "Warlord" und "Vixen" sind alles andere als erfahrene Piloten, aber wir denken, dass sie an ihrer eigentlichen Aufgabe ziemlich gut arbeiten: den Vanduul alternative Ziele zu geben und sie von dir wegzuziehen. Dies gibt dir die Möglichkeit, deine Begegnungen zu wählen und den Luftkampf um dich herum in seiner ganzen Pracht zu sehen - er sieht immer am besten aus, wenn er mit jemand anderem stattfindet!

Du denkst wahrscheinlich, dass wir es von Anfang an so geplant hatten, aber das hatten wir nicht. Die Teamkollegen waren eine späte Ergänzung - ein Geistesblitz von Will Greenough, einem Designer bei Foundry 42, der direkt neben uns in Manchester liegt. Das Hinzufügen einer freundlichen KI zu einem so späten Zeitpunkt wäre normalerweise eine ziemlich beängstigende Sache - und ich gebe zu, wir waren nervös wegen der Probleme, die sie aufwerfen könnten. Aber eigentlich kämpften Kytheras Hornissen gegeneinander, lange bevor menschliche Spieler mitmachen konnten.

So mussten wir keine Programmierung vornehmen. Und es gab praktisch keinen Levelaufbau, weil unser Verhalten immer ungeschrieben geblieben ist - bei Kythera geht es darum, dass die KI in der Lage ist, fundierte Entscheidungen zu treffen, und nicht sklavisch Designerhinweisen folgt.

Tatsächlich war das erste, was wir von der Idee hörten, dass Will sie bereits ausprobiert hatte und sie "die ganze Szene zum Leben erweckte". Wir fanden es ziemlich mutig, aber wir haben es versucht!

Der Nächste: Das Universum
Also, was kommt als nächstes für Kythera in Star Citizen? Jetzt ist das Dogfighting-Modul in der Wildnis, wir konzentrieren uns im Rest des Spiels auf die KI - und wir haben unsere Arbeit vor uns!

Am Tag des Starts des Arena Commander waren wir tatsächlich in Manchester für den Squadron 42 Summit. So erinnerten wir uns ausführlich daran, wie viel für die KI im Rest des Star Citizen-Universums getan werden muss - insbesondere das Gameplay von FPS und die enorme und vielfältige Bevölkerung des Persistent Universe zum Leben zu erwecken. Wir sprechen über einige dieser Herausforderungen auf unserer Website.

Es wird inkrementelle Verbesserungen an Vanduul Swarm geben.... aber wenn zusätzliche Funktionen nur langsam kommen, seien Sie versichert, dass es daran liegt, dass wir an ganz neuen Arten von Gameplay arbeiten, von denen wir wissen, dass Sie sie sehen möchten.

In der Zwischenzeit können wir nicht genug betonen, wie sehr wir Ihr Feedback schätzen. Es ist schwer für uns, alles zu finden und zu lesen und trotzdem das Spiel zu entwickeln! Aber wir hatten noch nie einen so direkten Kontakt zu Ihnen, den Spielern, und wir waren sehr dankbar für Ihre Unterstützung. Wir hoffen, dass Sie Ihre Gedanken (und Ihre Fehlerberichte!) bis zum Veröffentlichungstag weitergeben werden.

Wir hoffen, dass du Spaß mit Vanduul Swarm hattest, aber es ist nur der erste Schritt, und wir freuen uns darauf, den Rest des Universums zum Leben zu erwecken.

AI Design in Vanduul Swarm
Vanduul Swarm first went out to backers on June 4th, and many of you were waiting in eager anticipation to get your hands on it, for your very first chance to fly your ships and engage in your first Star Citizen dogfights. For our small team here in Edinburgh, Scotland, it was just as momentous – but for different reasons.

We’re the team behind Kythera, the artificial intelligence middleware which powers Star Citizen, and Arena Commander v0.8 was its gameplay debut. We knew what you’d see and what you’d experience, because we’d been improving, testing, tweaking and tuning the AI for weeks. But as we waited for the first feedback from backers, there were some things we just couldn’t be sure of.

Had we got the difficulty curve right? Was there a major bug or exploit that we’d missed? Would you guys think it was fun?

We’ve got a lot of games development experience behind us, but this release was very personal – and very immediate. Hours after that magic build was approved, it was being streamed around the world. 33,000 of you played it in the first 12 hours.

The best moment was tuning in to Twitch, to see an intrepid backer learning to play the game from scratch with thousands of other people looking on.

And he seemed to be enjoying it.

A Balancing Act
After all, fun is what it’s really all about. We at Moon Collider think that you as backers are helping to build the most ambitious game currently in development – but all that vision, realism and immersion would count for nothing if you didn’t think it was entertaining to play. And as developers of your AI dogfighting opponents for Vanduul Swarm, we were right on the fun front-line. And ultimately it all came down to balancing.

While other teams were adjusting weapon capabilities, control schemes and flight control systems in to make the best first space combat experience they could, we worked with designers Ben and Will in Manchester on the AI opponents who focussed that experience to make it fun. And as those underlying systems changed under our feet, the Scythes had to adapt: when missiles became less powerful, we could use them more often; when IFCS made the ship more responsive, our Scythes could display more agility.

Vanduul Swarm came with the extra design challenge that it’s not just your first glimpse of the dogfighting module, but also a training mission: the first opportunity to fly a spaceship in Star Citizen’s universe. There’s a lot to learn, and it’s just no fun if you’re blown to pieces before you’ve even figured out the controls.

You’ll know by now that the Vanduul come in a series of waves: fifteen of them, each more threatening than the last. We made sure that wave 15 is a challenge for even the very best players (nobody on the dev team got through it before release – though as we hoped, it seems a few of you have since!) But making AI hard is easy. Our first and toughest design problems came back in wave 1, when we knew our Vanduul might be facing rookie pilots, still stopping to check the flight manual.

Displaying Weakness
You might think that AI programmers want their AI to be as smart as possible, but the truth is more subtle than that. The best tactics for an AI don’t always appear smart to a player (let alone fun). And while the Vanduul’s AI doesn’t “cheat” – it doesn’t have access to any information a human player wouldn’t have and it does obey all the same physical rules – it is able to process that information much more quickly and respond more precisely than the most experienced fighter ace ever could. So to give its opponents a fighting chance, we had to build in weaknesses as well as strengths.

We didn’t always get it right first time. In an early version of Vanduul Swarm, we simply turned down the accuracy of the enemies’ targeting. It seemed to be working fine, until we noticed you could sit your spaceship motionless in space, and the Scythes would still miss you! (We changed it to vary with your speed, but now it seems some people are doing very well in decoupled mode, as a turret flying in a straight line – maybe we should tighten that up?)

We also wanted to emphasise a particular style of combat in our dogfights. In PvP you’re sure to see ships flying straight towards each other with all guns blazing, which can end up like a medieval joust. But we think what you really want is the thrill of the chase – the chance to hang on an enemy’s tail and pursue your quarry through the blazing void. So we’ve programmed the Vanduul to go into a retreating, “follow me!” behaviour some of the time, to make sure you get that opportunity.

So will the AI always let you win? Definitely not. We may have reined back the Scythes in Vanduul Swarm, trying to ensure everyone finds their level on the difficulty curve in their own time, and we hope you felt we got that about right. But if you’ve made it up to the later waves, you’ll know the best of the Vanduul have a lot more to throw at you. And rest assured that, for the reasons we’ve described, AI design for Vanduul Swarm is quite different from the vision for the larger Star Citizen universe, where you’ll find AI pilots every bit as cunning and ruthless as the best human players.

An Alien Swarm with Personality
Chris has always emphasised to us the importance of personality in Star Citizen’s AI opponents. In response, we built in loads of tunable parameters and a “profiles” framework to help manage them, and Ben Sharples in Manchester was able to put this to good use.

Those spacecraft flying towards you might all be Scythes, but they’re not all the same. You’ll have spotted that the load-out varies – for example the level bosses have missiles even while the grunts of the wave do not. But have you noticed that each boss engages with you in a slightly different way?

The first boss you’ll meet is Little King, who’s programmed to stay at range from you and deploy countermeasures to avoid missile strikes, drawing you away from the centre of the battle. In contrast, the second boss – The Priest – is a close-range fighter, who gets in as close as possible and inflicts damage in terrifying short sharp bursts. (By the way, there’s a rumour on the forums that the Scythes are trying to ram you. They aren’t really. It’s just The Priest’s way of saying hi!)

You’ll see this that taken to the next level in the Persistent Universe and Squadron 42, with individual pilots working to achieve their own long-term objectives as well as short-term goals, and their attitude to you informed by experience and displayed in their combat choices.

Creating those characters will always be a tough job, both for designers and for us in providing them tools up to the job. But we saw one simple thing make a big difference in Vanduul Swarm: giving pilots names. “Boss1” and “Boss2” did behave distinctly, but with a name like “The Priest” to hint at their behaviour, they sprang to life and we could start to get under their skin.

(The teammates, incidentally, were originally called “Ben” and “Willus” (we can’t imagine why). And while we were sad to see them go, “Warlord” and “Vixen” did seem rather more aggressive… )

Friendly Hornets
Finally then, let’s take a quick look at the two allies who accompany you on your mission. “Warlord” and “Vixen” are far from expert pilots, but we think they work pretty well at their real task: to give the Vanduul alternative targets and draw them away from you. This gives you a chance to choose your encounters and to see dogfighting going on around you in its full glory – it always looks best when it’s happening to someone else!

You probably think we’d planned it that way from the start, but we hadn’t. The teammates were a late addition – a flash of inspiration from Will Greenough, a designer at Foundry 42 just down the road from us in Manchester. Adding friendly AI to the design at such a late stage would usually be a pretty scary thing to attempt – and I’ll admit we were nervous of the issues it might raise. But actually, Kythera’s Hornets were dogfighting against each other long before human players could join in.

So we didn’t have to do any coding. And there was virtually no level setup, because our behaviors have always been unscripted – Kythera is all about AI being able to make informed decisions, not slavishly following designer cues.

In fact, the first we heard of the idea was that Will had already tried it and it “brought the whole scene to life.” We thought it was pretty bold but we went for it!

Next: The Universe
So what’s next for Kythera in Star Citizen? Now the dogfighting module is out in the wild, we’re turning our focus to AI in the rest of the game – and we have our work cut out for us!

On Arena Commander launch day, we were actually in Manchester for the Squadron 42 Summit. So we had ample reminders of how much needs to be done for AI in the rest of the Star Citizen universe – in particular FPS gameplay and bringing the enormous and diverse population of the Persistent Universe to life. We talk about a few of those challenges on our website

There will be incremental enhancements to Vanduul Swarm… but if extra features are slow to come, rest assured it’s because we’re working on whole new types of gameplay we know you want to see.

In the meantime, we can’t stress enough how much we value your feedback. It’s hard for us to find and read it all and still develop the game! But we’ve never had such direct contact with you, the players, and we’ve been very grateful for your support. We hope you’ll carry on sharing your thoughts (and your bug reports!) right up to release day.

We hope you’ve been having fun with Vanduul Swarm, but it’s just the first step, and we’re looking forward to bringing the rest of the universe to life.