Bartosz, Trendsz

Met meer dan 100 bezoekers was de Bijtanken bij Bartosz op dinsdag 23 januari één van de drukst bezochte ooit. Het onderwerp ‘Testen in Productie’ leeft onder onze klanten, binnen de testwereld en onder onze collega’s. Daarnaast is het natuurlijk niet bij ieder testevent zo dat een cabaretier komt vertellen over zijn vorm van testen in productie: de try-out. Leon van der Zanden vertelde – na het inhoudelijke deel over testevolutie, release strategieën, monitoring en een voorbeeld van testen in productie bij de Rabobank – hoe hij op basis van wat hij terugkrijgt uit de zaal zijn voorstelling beter maakt. Aansluitend trad hij een half uur op, waarbij hij kennismaakte met de kritische geest van de tester.

De Testevolutie – Jurgen van Amerongen, Bartosz

In zijn presentatie nam Jurgen ons mee van de waterval methode, waarbij de tester zich vaak nog een luis in de pels van de ontwikkelaar voelde, via de shift left waarbinnen testers, ontwikkelaars en ontwerpers samenwerken, naar Devops. Binnen Devops komt feedback over het gedrag van de applicatie in productie, snel en eenvoudig beschikbaar voor team en product owner. Bovendien komt ook het releaseproces onder één dak met het ontwikkelproces. Dit zorgt voor meer snelheid in dat proces. Maar de vraag ‘Wat vindt de markt?’ blijft open staan. De huidige shift right, oftewel Testen in Productie, zorgt voor het antwoord. De shift right is mogelijk omdat we de klant volgen. Value Profiling zorgt daarbij voor optimalisatie van het product door de kwaliteit van het gebruik te vergroten. De klant en de data en feedback die hij genereert, is hiermee in feite onderdeel van het ontwikkelteam geworden.

“Testen in Productie: we hebben het hier niet over een hype, maar over de realiteit.”

Release strategieën – Maarten Piepers & Rob den Broeder, Bartosz

Maarten en Rob vertelden in de tweede presentatie over de blijvende aard van Testen in Productie. We hebben het hier niet over een hype, maar over de realiteit. Binnen onze visie op Quality Infected Teams zien we al langere tijd dat er sprake is van deze shift right waarbinnen Fast Feedback key is. Dankzij Agile werken, Continuous Delivery & Continuous Integration en DevOps is testen in productie steeds beter in te zetten. Bijvoorbeeld door de keuze van een release strategie die dit mogelijk maakt: Bij de Staged roll-out test je je product eerst op een aantal gebruikers. Als dit goed gaat, vergroot je de testgroep. De wijze waarop je de eerste gebruikersgroep binnen je release strategie selecteert kan variëren. Voorbeelden hiervan zijn:

  • Canary release: hierbij gebruik je een green-blue deployment. Test je product eerst in de ene omgeving. Ben je tevreden? Dan kun je steeds meer overgaan naar de andere omgeving tot je al je gebruikers daar hebt. Gebruikers weten niet dat ze onderdeel zijn van je testteam.
  • Dogfooding: laat eigen medewerkers – bijvoorbeeld het ontwikkelteam – het product als eerste gebruiken. Dit straalt vertrouwen uit en zorgt voor goede input en inzicht in het eigen product.
  • Beta-testing: laat gebruikers in een live omgeving de software gebruiken en feedback geven. Klanten deel laten nemen aan een bèta-testgroep kan ook ingezet worden als marketingmiddel door hen op een ludieke manier uit te nodigen, te selecteren of te verleiden tot deelname.
  • A/B testing: creëer twee gebruikersgroepen waarbij elke een eigen variant van de software gebruikt. Stel hypotheses op en check of deze kloppen. Gebruikers weten niet dat ze meedoen. Breng zo klein mogelijke wijzigingen aan om te weten wat een verandering van gedrag veroorzaakt.

Meer lezen over Release strategieën? Katrina Clokie schrijft er in het boek A practical guide to testing in Devops over.

Aftermovie Bijtanken bij Bartosz Testen in Productie
In 1 minuut ervaren hoe de sfeer was tijdens Bijtanken bij Bartosz? Bekijk dan deze aftermovie.

Monitoring – Gerwin Laagland, Bartosz

Bij Testen in Productie is monitoring van groot belang. Hiermee achterhaal je hoe het product zich gedraagt in een onvoorspelbare omgeving en hoe een onvoorspelbare klant zich gedraagt ten opzichte van het product. Gerwin nam ons in zijn presentatie mee langs alle ins & outs van het monitoren. Zijn belangrijkste tips: monitoring wordt steeds veelzijdiger. Kijk altijd naar het product en de context waar het zich in bevindt. Denk ook tijdens de ontwikkeling al na over wat je wilt meten. Geef teams toegang tot monitoring tools. Alleen op deze manier haal je waardevolle input uit Testen in Productie.

Testen in productie bij de Rabobank – Oscar Mölder, Rabobank & Rein Hochstenbach, Bartosz

Hoe richt de Rabobank haar data architectuur in en hoe toetst zij deze inrichting in productie? Oscar en Rein vertelden er gezamenlijk over. Belangrijke aandachtspunten in deze architectuur zijn de schaalbaarheid en de mogelijkheid om de realisatie vanuit business initiatieven vorm te geven.  Door gebruik van meerdere instanties van de API’s, kunnen nieuwe versies naast bestaande versies in productie uitgetest worden en kan instantie na instantie vervangen worden door een nieuwe versie, zonder onbeschikbaarheid van de service. Verder wordt er gebruik gemaakt van een staged roll-out strategie waarbij de eerste gebruikersgroep Friends & Family is: een variant waarbij snel feedback over zowel applicatiegedrag als gebruikerservaring kan worden verzameld.

“Denk tijdens de ontwikkeling al na over wat je wilt meten.”

Leon van der Zanden en de kritische geest van de tester

Na een discussie over de volgende stellingen:

  1. Testen in Productie is een essentieel onderdeel van de testaanpak;
  2. Binnen mijn organisatie wordt getest in productie;
  3. Binnen mijn organisatie komt er steeds meer focus op Testen in Productie;
  4. De tester wordt een Feedback Engineer,

bleek dat de meningen uiteen liepen, maar dat Testen in Productie wel gemeengoed aan het worden is. Na een hapje en een drankje was het na de pauze tijd voor het optreden van Leon van der Zanden. Zijn manier van feedback verzamelen zorgde voor hilariteit en een inzicht in de kritische geest van de tester.

De psychologie van de tester

Tijdens de afsluitende borrel werd er gezellig nagepraat en gediscussieerd. Onder andere over het onderwerp van de volgende Bijtanken bij Bartosz: De psychologie van de tester. Is jouw oordeel als tester wel zuiver? Ben je echt zo onbevooroordeeld als je denkt? Wees erbij op donderdag 17 mei a.s. Deelname is gratis, aanmelden kan door een mail te sturen naar info@bartosz.nl

Schrijf je in voor
de nieuwsbrief

werkenbij overall

Werken bij Bartosz?

Vincent Verhelst

Geïnteresseerd in Bartosz? Dan ga ik graag met jou in gesprek. We kunnen elkaar ontmoeten met een kop koffie bij ons op kantoor. Of tijdens ontbijt, lunch, borrel of diner op een plek die jou het beste uitkomt. Jij mag het zeggen.

Mijn Paarsz