Testmanagement, Tooling

Voor een goede teststrategie is een product risico analyse (PRA) onontbeerlijk. Als professionele testers willen we niet alleen de volledige scope (requirements) van het project testen, maar ook rekening houden met de belangrijkste bedreigingen (risico’s). Binnen het testvak bestaat echter een soort onuitgesproken ontzag voor de PRA. Elke testmanager leert dat een PRA belangrijk is en dat je deze zo snel mogelijk moet organiseren, maar veel van ons zijn bang om het middel in te zetten. De PRA is namelijk vaak het eerste moment waarop je als testmanager op de zeepkist klimt en leiderschap moet tonen. Vaak ten overstaan van stakeholders die al jaren in het vak zitten, op een moment dat je zelf nog nauwelijks inhoudelijk weet wat je project en product inhouden.

Met de dichterlijke vrijheid van overdrijving schets ik hoe zo’n sessie dan verloopt:

Na weken sleuren en pleuren heb ik projectmanager Anja eindelijk overtuigd dat ik de benodigde stakeholders bij elkaar mag brengen voor mijn productrisicoanalyse. Ze was daar op tegen, omdat ze het gebruik van risico’s als projectdriver niet zo belangrijk vindt als ikzelf (“zo’n negatieve insteek!”). Ze vindt het bovendien moeilijk verkoopbaar om zoveel belangrijke en dure mensen een halve dag uit de operatie weg te trekken.

Om negen uur (de geplande begintijd) druppelen de eerste stakeholders de kamer in, debatterend over het laatste nieuws van de afdeling en de Champions League wedstrijd van gisteravond. Aangezien ik de meeste deelnemers nog nooit ontmoet heb, stel ik me bij de deur op en geef iedereen netjes een pootje. “Snert, had ik dat maar eerder gedaan”, denk ik. “Zoveel nieuwe koppen. Hoewel, eigenlijk ben ik natuurlijk de nieuwe kop!”. Ik besluit te wachten tot driekwart van de genodigden aanwezig is. De mensen die er al zijn, leunen achterover, de smartphone getrokken als verdediging tegen mij en de verveling. De jongen die zich voorstelde als Rik, wordt gebeld. “Nee, ik bel je vanmiddag even, ik zit in een of andere sessie over risico’s’”, hoor ik hem achter zijn hand zeggen.

Om tien over half tien schraap ik mijn keel en begin, met wiebelende knieën, aan de aftrap. Als ik het doel van de ochtend heb uitgelegd, valt Anja de deur binnen: “Toch eens even kijken waar ik die drieduizend euro aan uitgeef”, zegt ze terwijl ze vooraan gaat zitten. Ze verpakt het als een geintje.

Van voor af aan beginnen? Gewoon verdergaan? Ik aarzel even en kies het laatste. Ik vertel de groep dat de input vandaag van hen moet komen en dat ik een actieve bijdrage verwacht. De deelnemers (zijn ze nu expres aan de verste tafeltjes gaat zitten?) leunen nog wat verder achterover en nippen met een verwachtingsloze blik aan hun bakje leut. “Nog maar vier uur en ik kan weer wat nuttigs gaan doen!”, zie ik ze denken. Hun grootste interesse lijkt uit te gaan naar klok, koek en koffiepot. Als ik na een uur de eerste mensen losser heb gekregen en daarmee de eerste prima productrisico’s vastleg, worden ook de anderen actiever. Niet om aanvullingen te geven, maar om de eigen belangen te verdedigen. Jan, de functioneel applicatiebeheerder, noemt het risico dat de applicatie niet performt. “Tssk… wat een onzin”, zegt Mark, de marketingman. “Als we niet eerst het telefoonnummer van de boekingslijn voldoende zichtbaar maken, hoeven we ons over performance überhaupt niet druk te maken!”. Kees, de procesexpert van de betalingslijn, geeft aan dat hij niets wil zeggen over de impact van risico BL15. “Als ik het fout heb, krijg ik het op mijn dak”, bast hij. “Dat moet je maar aan mijn baas vragen!”. Anja ergert zich intussen aan het detailniveau van sommige discussies, en kapt steeds eerder af, ook de zinvolle discussies. Fijn, net op een moment dat ik dacht dat ik aardig op weg was, neemt de politiek een loopje met de sessie.

Na vier uur worstelen met de controle over de sessie maakt de lunch hardhandig een einde aan de meeting en terwijl de laatsten door het gat van de deur verdwijnen voordat ik mijn laptop heb dichtgeklapt realiseer ik me dat mijn doelen niet bereikt zijn. Een berg snelle aantekeningen toont een willekeurige en onvolledige lijst van risico’s, prioriteiten (en tegenargumenten) en een bijna net zo grote lijst van onbesproken punten. “Ik hoop dat je tevreden bent?”, vraagt Anja voordat ze de ruimte verlaat, “… want ik ben het in ieder geval niet”, klinkt haar echo nog na.

“Ik heb stiekem met je ge’pra’at (ik weet dat ik het goed vond)”

Wat gaat er mis?

PRA’s zijn best lastig en mislukken vaak juist omdat ze worden opgeblazen tot enorme proporties! In bovenstaande karikatuur, deels mijn en deels verzamelde ervaringen, gaan diverse factoren mis. Mocht je bovenstaande als een verwijt van inzet en motivatie bij stakeholders hebben geïnterpreteerd, dat is het geenszins! Voor al deze factoren kan de hand in eigen boezem worden gestoken:

  • de vorm van de sessie (een workshop van een dagdeel of meer) is te groot;
  • de inschatting van de sessieduur is arbitrair gekozen;
  • de hoeveelheid aanwezigen is te groot om goed te managen;
  • de hoeveelheid belanghebbenden is te groot om te managen, wat zorgt voor politiek en principiële standpunten in een sessie die gebaat is bij luchtigheid en vrijdenken;
  • de fase in de tijd is vaak te vroeg in het project: testmanager heeft vaak onvoldoende materiekennis om goed te kunnen sturen en kent de deelnemers onvoldoende om ze op effectieve wijze aan te sporen;
  • we hebben business- en productiegebruikers onvoldoende voorbereid op wat we van hen verwachten, waardoor ze de intrinsieke noodzaak van deze sessie niet voelen;
  • er is niet van tevoren bilateraal kennisgemaakt, het eerste contact is een onpersoonlijke sessie.

Bovendien, door de PRA zo groot en officieel te maken, creëren we een vehikel dat zo complex is dat we het zelf nauwelijks nog kunnen besturen. Hoe groter het podium, des te feller de spotlights. Een goed optreden is dan nog steeds niet onmogelijk, maar alleen testmanagers met een aangeboren podiumtalent zullen in een dergelijke setting excelleren. Maar ook voor de mindere artiesten zijn er vele wegen naar Rome. Ook eenvoudiger en toch uitstekend begaanbare wegen.

Voor mijn huidige project heb ik twee verschillende strategieën uit de kast getrokken: de bilaterale PRA en de brownpapersessie-techniek.

1410 – PRA Vele wegen leiden naar Rome – Peter van Tulder

Bilaterale PRA

De band Toontje Lager zong ooit “Ik heb stiekem met je gedanst (ik hoop dat je het leuk vond)”. Ik zou dat willen verbasteren naar: “Ik heb stiekem met je ge’pra’at (ik weet dat ik het goed vond)”. Zou je aan willekeurige stakeholders vragen of er in ons project een productrisicoanalyse is uitgevoerd, dan antwoorden ze de vraag waarschijnlijk met ‘nee’. Toch hebben ze allemaal input geleverd.

Zo heb ik alle stakeholders uitgenodigd voor bilaterale kennismakingsgesprekken, waarin ik mezelf op zo informeel mogelijke wijze heb geïntroduceerd, met veel koetjes en kalfjes. Hoe formeler je opstelling, des te formeler de antwoorden en nogmaals: een PRA is gebaat bij vrijdenken! In deze introductierondes heb ik de risicovraag ter discussie gesteld. En om te voorkomen dat politieke tijgers terugvallen in hun formele opstelling, heb ik mijn vragen bedekt en informeel gesteld. Begin met vragen naar de waarde (business value!) van het product voor de betreffende stakeholder en zijn afdeling. Interesseer je in zijn belang: waarom is hij gebaat bij de inproductiename van het systeem? Stakeholders worden nu eenmaal enthousiast over de kansen van een systeem, niet van de bedreigingen ervan (tenzij ze fervent tegenstander van het systeem zijn!). Als je hun belang kent, kun je voorzichtig doorvragen naar alles dat die waarde bedreigt. In plaats van te vragen “wat zijn voor jou afdeling de grootste risico’s voor het livegaan?”, kun je vragen stellen als: “Wat is voor jouw rol nou de grootste nachtmerrie als we straks live zijn?” (vrees). Of “Zijn er in het vorige systeem problemen voorgevallen die we nooit meer mogen laten gebeuren?” (vrees voor herhaling) En “welke aanpassing zou dit systeem beter maken dan het vorige?” (hoop). ‘Vrees’ en ‘hoop’ zijn krachtige triggers, omdat mensen bereid zijn te geloven in wat ze vrezen of graag zouden willen. Mijn eindresultaat was een lijst van meer dan veertig risico’s, met opvallend veel punten die meerdere stakeholders aandragen. Dat levert direct een voorzichtige prioriteitsstelling op.

Brownpapersessie

Mijn project beslaat twee verschillende project- en productgroepen in twee landen. Omdat Frankrijk niet om de hoek ligt, heb ik in het begin van mijn opdracht een kennismakingsmeeting gepland met het voltallige Franse project(management)team. Ik vond dat een uitgelezen gelegenheid om ook in dat gezelschap de productrisico’s te inventariseren. Omdat de belangen van de deelnemers (PM, teamleads van productiegroepen, functional application management) uiteenlopen, heb ik een brownpapersessie georganiseerd. Dat is een techniek die op gestructureerde wijze ervoor zorgt dat alle betrokkenen evenveel input leveren, dat niemand zich kan verstoppen of door anderen onder de voet gelopen wordt, en die alle politiek en belangendiscussies platslaat.

De essentie van een brownpapersessie is dat je dezelfde specifieke vragen stelt als in de bilaterale PRA, maar dat de antwoorden niet mondeling, maar schriftelijk gegeven worden. Op de vraag “Wat mag er in het nieuwe systeem nooit meer fout gaan?” vult iedereen drie post-it briefjes in, met zijn of haar antwoorden. Minimaal drie, maximaal drie. Daarmee voorkom je dat er ongelijkheid optreedt en dat de één maar twee antwoorden geeft, en de ander zeven. Dat betekent ook dat iedereen prioriteiten moet stellen. Als iemand zes antwoorden weet, kiest hij de drie belangrijkste uit. Neem daar per vraag tien minuten tot een kwartier de tijd voor. Als je groep eerder klaar is, stop je eerder. Als iedereen gereed is, roep je de mensen een voor een naar voren om de antwoorden te presenteren. Doel is dat het voor de groep duidelijk is wat de presentator bedoelt. Dat is wat anders dan dat ze het ermee eens zijn. Elke discussie over zin en onzin van het punt druk je direct de kop in.

 

Hoe formeler je opstelling, des te formeler de antwoorden. PRA is gebaat bij vrijdenken!

Zo doe je in verschillende ronden verschillende vragen. Elke vraag duurt inclusief presentatie al gauw een half uur tot drie kwartier, afhankelijk van de groepsgrootte. Kies de vragen daarom zorgvuldig en stel zelf ook prioriteiten. De belangrijkste vragen als eerste! Als alle post-its hangen, ga je als regisseur samen met de groep op zoek naar clusters. Welke briefjes gaan over bepaalde functies, de performance, over downtime van het systeem, corrupties in de database, of verkeerde informatie in de rapporten. In de laatste tien minuten van de sessie geef je iedereen vijf à tien mini-stickertjes, die men mag plakken op de post-its waaraan ze het meeste belang hechten. Dat mogen verschillende zijn, maar ze mogen ook meerdere mini-stickers op één post-it plakken.

Het eindresultaat is een leuke, onconventionele en levendige sessie, waarin je een goede verzameling van risico’s krijgt met een groepsgewijze prioritering. Je zult zelfs merken dat als je bepaalde onderwerpen niet hebt kunnen behandelen, er draagvlak is om deze in een additionele sessie alsnog te onderzoeken. Gewoon, omdat het nuttig én leuk was!

Breng focus aan

Voor beide technieken geldt: als je mensen wilt aansporen om input te leveren, dien je als regisseur vaak focus aan te brengen in hun denkpatroon. Tijdens een TestNet Agile Games avond, stelde Pascal Dufour me eens de vraag “noem mij eens vijf dingen die wit zijn?”. Dat koste me een kleine minuut, en ik noemde willekeurig vijf dingen die geen relatie tot elkaar hebben. Vervolgens vroeg hij me om vijf dingen te noemen die wit zijn en die je in een koelkast aantreft. Door de focus versmalt je horizon en krijgt deze structuur. Het koste me nu slechts vijftien seconden om te antwoorden. Dat werkt met de risicovraag ook zo. Vraag iemand wat de risico’s van het project zijn en je krijgt een onsamenhangende en onvolledige set antwoorden. Ga daarom gestructureerd te werk en kies een indeling. Benoem bijvoorbeeld risico’s per functionaliteit, deelgebied, requirement(sgroep), kwaliteitsattribuut (functionaliteit, performance, continuïteit, et cetera). Welke van deze indelingen je kiest, bepaal je zelf, zolang je maar een indeling volgt.

Samenvattend

De bilaterale PRA en de brownpapertechniek zijn twee ‘kleinere’ wegen om in Rome te komen. En natuurlijk, beide hebben hun beperkingen ten opzichte van een traditionele PRA. Zo heb je na de bilaterale PRA’s nog geen gezamenlijke prioriteitstelling en filteren beide technieken geen risico’s uit die onzinnig blijken te zijn. De traditionele PRA is daarom zeker niet failliet. In een project waarin je de projectdoelen, de materie en alle projectbetrokkenen inclusief hun belangen al langer kent en je weet hoe je ze enthousiasmeert, kun je deze eenvoudiger toepassen.

Maar soms levert een kleine aanpak een gro(o)t(s)er resultaat! En in alle gevallen levert een kleine aanpak meer resultaat dan geen aanpak!

Wil je ons nieuwste Paarsz magazine per post ontvangen? Laat dan je gegevens achter.

Ontwerp zonder titel (19)

Werken bij Bartosz?

Vincent Verhelst

Geïnteresseerd in Bartosz? Dan ga ik graag met jou in gesprek. We kunnen elkaar ontmoeten met een kop koffie bij ons op kantoor. Of tijdens ontbijt, lunch, borrel of diner op een plek die jou het beste uitkomt. Jij mag het zeggen.

Mijn Paarsz