Rincer et révéler ; l’équipe QA de Les Sims 4 👋

Ahoy et bienvenue ! Alex à l’appareil, votre QA résident des Sims… le gars. Vous m’avez peut-être déjà croisé lors des précédents échanges, comme les Q&R sur Discord ! La communauté des Sims a été formidable en posant des questions et en s’intéressant à ce que fait réellement la QA, alors j’ai pensé qu’il était temps de lever le rideau et de vous montrer plus en détail ce que la QA fait (et ne fait pas !).

Cet article abordera la plupart (mais pas la totalité) des missions de la QA, non seulement pour Les Sims, mais aussi pour la majorité des autres jeux, et même pour des logiciels plus traditionnels ou non interactifs.

Je suis plutôt passionné par mon domaine et j’adore partager des infos, alors j’espère qu’à la fin de cette lecture, vous aurez une meilleure compréhension des rouages de la QA et de son importance !

Qu’est-ce que la QA ?

QA signifie Quality Assurance, et le nom explique plutôt bien son rôle ! Notre mission est de garantir la qualité du jeu en veillant à vérifier ses différents aspects (y compris, mais sans s’y limiter, la recherche de bugs). Une grande partie de notre travail se fait en coulisses, dès les premières phases de développement, mais nous sommes également responsables de la qualité une fois le jeu entre vos mains !

Tout logiciel comporte des bugs, et les jeux n’y font pas exception. Notre travail consiste à repérer les plus gros problèmes tout en veillant à ce que les joueurs rencontrent le moins possible de petits soucis. Nous commençons par les problèmes évidents, puis nous traquons ceux plus subtils qui peuvent corrompre des sauvegardes, bloquer la progression ou déclencher des problèmes en cascade. (C’est la partie la plus fun du métier !)

Lorsqu’une correction est proposée, nous vérifions d’abord qu’elle est valide, puis nous cherchons à identifier d’éventuels effets secondaires. (Corriger une chose pour en casser d’autres, ce n’est pas vraiment une correction !) Pour Les Sims 4, nous partageons ce que nous apprenons auprès des développeurs avec l’équipe TheSimsDirect afin de garantir l’exactitude de nos communications via les blogs d’enquête sur les sauvegardes, les Laundry Lists et les notes de mise à jour. En QA, nous utilisons nos connaissances techniques pour faire le lien entre ceux qui créent le jeu (les développeurs) et ceux qui y jouent (vous !).

Alors… que fait réellement l’équipe QA ?

Excellente question, car c’est là que les choses deviennent vraiment intéressantes ! Comme la QA intervient à chaque étape du développement, nos journées varient selon la partie du jeu sur laquelle nous travaillons…

Lors des premières phases de développement (cela peut durer « quelques mois » ou « plusieurs années » selon le projet), la QA passe beaucoup de temps à collaborer avec les développeurs et à surveiller tout ce qui pourrait affecter la stabilité ou le gameplay. Lorsqu’un système ou une fonctionnalité prend forme, nous signalons les pièges potentiels, validons que les changements se comportent comme prévu et commençons à tester le jeu à travers des scénarios courants pour voir ce qui casse. À ce stade, nous pouvons — et sommes encouragés à — donner notre avis. (C’est là que nous essayons de représenter au mieux les joueurs.)

À mesure que les correctifs arrivent, nous les testons sous de nombreux angles afin de nous assurer qu’ils résolvent réellement le problème sans créer de nouvelles surprises. D’ailleurs… attendez un instant, j’ai une petite histoire à ce sujet…

Petites histoires du QA, l’heure du récit. Une petite pause.

Récemment, lors des tests de la nouvelle fonctionnalité Getaway À l'aventure, nous sommes tombés sur un bug plutôt absurde :

« Les petits chiens peuvent être ajoutés comme célibataires dans l’escapade de compétition romantique »

Oui, vous avez bien lu. Vous pouviez faire participer Toto à votre nouveau jeu de télé-réalité amoureuse !

Nous avons découvert ce bug lors de notre phase de développement appelée « tests ad-hoc/halo ». Cette phase intervient après que nous avons validé que les choses fonctionnent « globalement » comme le développeur l’a prévu. MAIS ! C’est précisément à cette étape que nous, en QA, pouvons nous amuser un peu avec notre travail.

Avant d’expliquer comment nous avons trouvé ce bug, définissons quelques termes :

Les tests « Halo » consistent simplement à « tester autour de quelque chose de spécifique » (dans ce cas, l’escapade de compétition romantique).

Les tests « Ad-hoc » sont une forme de tests « sans script » (pensez à une soirée d’improvisation dans un club de comédie).

Le testeur réfléchissait donc à sa stratégie pour effectuer des tests halo autour des nouveaux Getaway et s’est demandé : « Puis-je créer une compétition romantique avec des participants non humains ? »

Cela l’a conduit à essayer différentes options tout en vérifiant avec le développeur quel devait être le comportement attendu, jusqu’à ce qu’il tombe sur les chiens.

Plus précisément, les petits chiens. Et le bug a été signalé au développeur pour correction.

Pourquoi seulement les petits chiens ? Pourquoi pas autre chose ? Qui sait ! Mais ce que le QA savait, c’est que malgré son apparence très élégante, Dilbert Wing n’avait pas sa place comme participant dans la Compétition romantique. Ceci n’est qu’un petit aperçu de ce que nous faisons en coulisses pour garantir la qualité.

Pauvre Dilbert devra trouver l’amour à l’ancienne…

Revenons maintenant à notre article principal.

À mesure que les correctifs arrivent, nous les retestons sous de nombreux angles différents, ce que nous appelons des « tests halo », afin de nous assurer qu’ils résolvent réellement le problème sans introduire de nouvelles surprises. Nous utilisons également les sauvegardes que VOUS nous avez partagées par le passé via les forums EA, ainsi que celles que nous créons en interne, pour tester différents scénarios dans le jeu et tenter de reproduire des styles de jeu réels. Nous testons aussi sur différentes plateformes, avec diverses configurations matérielles, comme différents composants d’ordinateur, et avec plusieurs combinaisons de packs, afin de mieux comprendre comment le jeu se comporte dans des conditions réelles. Tout cela se fait en vérifiant que le nouveau contenu fonctionne harmonieusement avec le reste du jeu, y compris les packs plus anciens. Une grande partie de notre travail en dehors du jeu consiste à créer des listes de contrôle et des cadres de test qui aident l’ensemble du studio à détecter les problèmes plus tôt. (En langage professionnel, cela signifie que nous garantissons la qualité de la façon dont le jeu est conçu ET celle du jeu lui même.)

À l’approche de la sortie, généralement environ un mois avant selon le projet, l’intensité augmente. C’est à ce moment là que nous commençons à tout verrouiller, que nous confirmons que les développeurs ont bien identifié les risques restants et que nous revalidons chaque série de changements prévue pour la prochaine version. Nous effectuons encore des tests de scénarios, explorons davantage de cas limites, et procédons à une nouvelle vérification des correctifs afin de nous assurer qu’aucun problème majeur ne soit passé inaperçu avant le lancement.

Une fois la mise à jour en ligne, notre attention se porte sur les retours après la sortie. Nous suivons les discussions de la communauté, analysons les signalements publiés sur les forums EA et recherchons des tendances pour comprendre l’ampleur et la gravité des problèmes. Nous prenons vos retours très au sérieux et transformons vos signalements en bugs à corriger par les développeurs. Toutes ces informations retournent directement dans notre pipeline de développement et influencent la manière dont nous assurons le suivi des correctifs et planifions l’avenir.

Que ne peut pas faire le QA ?

Le QA a de nombreuses responsabilités, mais nous avons aussi nos limites. Le QA ne choisit pas quelles fonctionnalités ou quels contenus sont créés, ni ce qu’ils sont censés faire ; notre rôle est de rester aussi objectifs que possible. Nous nous accordons avec les développeurs afin de définir quelles données peuvent être utilisées pour mesurer si ce qui a été créé atteint le niveau de qualité attendu. Les problèmes liés aux mods sont également en dehors de notre contrôle, même si nous restons informés des mods populaires du moment et recherchons des tendances dans les retours des joueurs pouvant indiquer des problèmes de compatibilité plus profonds.

Même si le QA teste une immense variété de scénarios, tous les jeux vidéo ou logiciels offrent en pratique une infinité de possibilités. Pensez à chaque choix que VOUS pouvez faire dès le moment où vous lancez The Sims 4, et à la façon dont chacun d’eux crée une nouvelle branche qui rend votre partie unique. Pensez ensuite au nombre de personnes qui jouent à ce jeu (nous sommes nombreux !). Aucun Simmer ne vit exactement le même parcours, même s’il arrive à des destinations similaires, et c’est justement ce que nous aimons. En raison de ces variations, certains problèmes passeront malheureusement entre les mailles du filet. Lorsque cela arrive, nous écoutons vos retours, nous transformons ces informations en bugs à corriger, et nous faisons évoluer nos modèles de test afin de continuer à nous améliorer.

Quels changements le QA a t il apportés récemment ?

Nous nous concentrons beaucoup sur la sortie plus rapide, et en plus grand nombre, des correctifs les plus plébiscités par la communauté. Une partie de notre capacité à le faire repose sur la capacité du QA à transformer vos signalements en bugs exploitables. En janvier 2025, nous sommes passés aux nouveaux forums EA. (Le temps passe trop vite!) Ce changement nous a donné une meilleure télémétrie, c’est à dire des données, pour mieux comprendre les signalements qui comptent pour vous. Les données côté back end nous aident à obtenir de meilleures informations, plus vite. Du point de vue des joueurs, vous disposez aussi de statuts sur les signalements, ce qui vous permet de voir comment ils avancent dans le flux. Ces statuts nous aident également à repérer quand nous avons besoin de VOTRE aide pour reproduire un signalement en interne, avec le statut « Needs Info ». De meilleures informations, une meilleure communication de notre part, et davantage de sauvegardes nous ont permis de fournir aux développeurs des bugs plus complets.

Même si nous collectons des sauvegardes depuis longtemps, nous avons récemment mis un accent supplémentaire sur la façon dont nous pouvons élargir nos tests grâce à ces sauvegardes, au delà du bug pour lequel elles ont été envoyées au départ. Il ne suffit pas de corriger les bugs que vous signalez, nous utilisons aussi les données pour mieux comprendre votre manière de jouer !

(Respiration profonde, parce que cette phrase est un vrai morceau) Ces améliorations dans notre façon de mesurer et de surveiller les problèmes qui causent le plus de frustration dans notre communauté, avec un focus particulier sur les 20 principaux problèmes, combinées à l’utilisation toujours plus large de notre vaste collection de sauvegardes de joueurs et à des outils étendus qui analysent les données sur différentes périodes, au delà des seuls votes, nous ont permis de corriger 27 des 40 signalements communautaires les plus votés!

Nous reconnaissons que ce processus n’est pas parfait, et nous cherchons constamment à l’améliorer. (Vos retours ont été incroyablement utiles à ce sujet !) Pour moi, le QA est une forme d’art, et nous nous efforçons d’évoluer avec notre média. Pour l’équipe QA de The Sims 4, nous faisons évoluer nos processus en permanence pour atteindre les standards que nous nous fixons, afin de proposer un produit de qualité pour vous.

Comment le QA et les Simmers travaillent ensemble

Les signalements des joueurs sont essentiels pour comprendre ce qui se passe à grande échelle. En comparaison, nous ne sommes qu’une poignée, et vous êtes une armée ! Un vieux dicton en QA dit : « Le meilleur playtest, c’est le jour où vous lancez votre jeu ! » En clair, peu importe le nombre d’heures de test que vous y consacrez, les retours du jour de lancement seront toujours les plus précieux. Quelque part, l’un d’entre vous fera forcément quelque chose auquel nous n’avions jamais pensé. C’est pour ça que vos signalements sont si importants. (Et c’est aussi pour ça que j’ aime tant les Simmers, toujours si proactifs pour remonter les problèmes !)

Nous avons une équipe dédiée à l’analyse des signalements pour repérer des tendances, estimer la fréquence et identifier la gravité potentielle. Toutes les informations que vous partagez sur les forums EA sont lues et prises en compte pendant que nous essayons de reproduire le bug de notre côté. Quand vous partagez vos sauvegardes, vos vidéos et des instructions étape par étape, cela aide énormément notre équipe à suivre le problème et à le rendre reproductible. Au final, c’est au QA de consigner le bug et d’utiliser ses outils pour identifier la cause possible afin que les développeurs puissent intervenir et le corriger, mais je ne saurais trop insister sur notre reconnaissance envers une communauté aussi investie que la vôtre, c’est une aide énorme.

Parfois, les bugs sont plus complexes qu’ils n’en ont l’air. C’est pourquoi des « étapes de reproduction » claires et bien définies sont ce que nous utilisons, au QA, pour communiquer avec les développeurs et entre nous. Notre objectif est d’y arriver 100 % du temps, mais ce n’est pas toujours possible. Nous pouvons tester mille scénarios dans mille sauvegardes différentes que nous avons créées, en essayant de reproduire un problème signalé par la communauté, mais honnêtement, rien ne vaut les informations venant directement des personnes qui le vivent. Parce qu’au final, dire « le bug existe » ne suffit pas : nous devons prouver qu’il existe et nous le faisons en déterminant comment il se produit.

Un grand merci

Une fois encore, nous souhaitons partager toute la reconnaissance de notre équipe envers la communauté de The Sims 4. Nous avons énormément de chance de pouvoir compter sur des joueurs attachés à la qualité, prêts à partager leurs expériences et à nous donner l’occasion d’améliorer le jeu. Le QA est une discipline imparfaite, qui donne le meilleur d’elle même lorsque l’on travaille ensemble. Plus nous réunissons de points de vue issus d’horizons différents, plus nous devenons efficaces pour repérer les bugs. Alors si quelque chose vous semble étrange, cassé ou simplement pas normal, n’hésitez pas à envoyer un signalement. Vos informations font réellement la différence !