Voor succesvolle e-commerce is digital performance steeds belangrijker. MeasureWorks publiceert al meer dan 10 jaar de performance van de Twinkle100, de lijst van beste presterende e-commerce bedrijven. Wat is hun geheim om zo hoog op digital performance te scoren? In deze serie gaan performance engineers van MeasureWorks in gesprek met toonaangevende, snelle online retailers. Wat is de impact van performance op de business? En hoe integreert de organisatie performance in het dagelijks werk? Wij zijn trots om te starten met onze klant bol.com! De #1 van de Twinkle100 met al jaren een toonaangevende site performance.
We spreken met Berend Marttin (Engineering Manager), Lars de Bruijn (Product Tech Lead Shop) en Edwin van der Graaf (Software Engineer). “Op het gebied van digital performance is bol.com ooit geïnspireerd door Velocity conference, en door de vele web performance pioniers, zoals Steve Souders en Patrick Meenan. Inmiddels zit het in ons DNA om site performance continu te verbeteren,” zegt Marttin. “We kennen het klappen van de zweep!” grapt De Bruijn. Alledrie delen ze graag hun kennis en ervaringen, ook op de blog van het bol.com Techlab. Die kennis en ervaring reikt ver: bol.com leidt al jaren met een toonaangevende site performance.
De dagelijkse uitdaging: klanten zo snel mogelijk door de winkel leiden
Bol.com is dé winkel voor miljoenen Nederlanders en Belgen, met veel producten in de eigen winkel. Daarnaast is het ook een platform voor duizenden ondernemers om online producten te verkopen. Met zo’n omvang en meerdere dagelijkse releases moet je kunnen vertrouwen op een betrouwbaar IT-landschap. Het volledige landschap bestaat uit vele microsystemen; het complete landschap is zo sterk als de zwakste schakel. “Als één systeem traag is, dan ontstaat een rimpeleffect in het hele landschap. Dat gaat ten koste van de klantervaring”, zegt Van der Graaf.
“De klantervaring moet consistent en voorspelbaar zijn.”
Edwin van der Graaf, Software Engineer bij bol.com
“Uit onze eigen testen weten we dat het verbeteren van de performance daadwerkelijk impact heeft op conversie”, zegt Van der Graaf. “Onze klanten waarderen het echt als we aandacht besteden aan een goede site performance. Dat maakt immers het winkelen makkelijker. Op alle fronten, zowel front-end als back-end, moet een goede performance zijn. Daarmee is de klantervaring consistent en voorspelbaar. Net als in een supermarkt willen klanten zo snel mogelijk door de winkel.”
Performance in de praktijk: Site Reliability Engineering
Om grip op de site performance en stabiliteit van de site te houden, heeft bol.com de Site Reliability Engineering (SRE) methode omarmd. De principes van SRE gaan uit van Service Level Objectives, waarbij de klantervaring centraal staat. “Hoe goed en hoe snel willen we zijn? Dit is een keuze die business en IT samen maken, en waar ze dan ook samen verantwoordelijk voor zijn”, zegt De Bruijn. “Het geeft ook ruimte om aandacht te besteden aan site performance.”
Een objective van bol.com: bezoekers moeten kunnen browsen in een lijst producten met een performance van minder dan één seconde (90e percentiel). Daarnaast zijn er aanvullende objectives voor het filteren of pagineren van producten. “Op deze manier hebben we een concrete definitie van ‘wat is een goede klantervaring?’ en dus ook een goede definitie van de performance van de website”, zegt De Bruijn. “Daarmee kunnen we een expliciete afweging maken van wel of niet releasen van verbeteringen of functionaliteiten.”
“Met objectives kunnen we expliciete afwegingen maken voor releases en verbeteringen.”
Lars de Bruijn, Product Tech Lead Shop bij bol.com
Het verbeteren van een goede performance naar een perfecte performance is geen sinecure. “We zijn op zoek naar het verbeteren van elke milliseconden. En 10 kleine aanpassingen vormen bij elkaar wel een mooie winst”, zegt Van der Graaf. “Daarvoor werken we met Real User Monitoring, open-source tools als WebPageTest, DevTools en Lighthouse, aangevuld met eigen monitoring op de back-ends.”
Om de site performance snel en consistent te houden, test het team vooraf welke impact de (dagelijkse) release heeft. De Bruijn is stellig: “De performance mag niet trager worden.” Het team voert ook performance experimenten uit, omdat de business graag wil weten wat het effect is van wijzigingen. De Bruijn: “Daarbij testen we zowel A/A (zelfde pagina, andere implementatie) als A/B (aangepaste pagina). We toetsen deze experimenten op basis van twee databronnen: Real User Monitoring en de data van de betreffende webserver.”
Met de inzet van SRE maakt bol.com het verschil in online winkelen
Ambitie: #1 retailer met perfecte score op Web Vitals
Het werk rondom performance is nooit af; er komen telkens nieuwe technologieën met kansen en bedreigingen. “Daar zitten we bovenop. Wekelijks hebben we meetings om kennis, hypotheses en testresultaten op het gebied van performance met elkaar uit te wisselen. Daarnaast spiegelen we onze performance aan publieke benchmarks, zoals de Chrome User Experience data (CRUX). Die is gebaseerd op de Core Web Vitals. Deze vitals zijn de metrics voor een perfecte klantervaring”, zegt Van der Graaf.
“Uiteraard is het de ambitie om de #1 retailer te blijven, maar ook om de #1 ranking in de Twinkle100 performance lijst en andere benchmarks te veroveren. Onze ambitie voor 2021: een perfecte score op alle web vitals! Ons IT-management wordt daar blij van. Maar belangrijker: onze klanten worden daar blij van!”
“Onze klanten waarderen het echt als we aandacht besteden aan een goede site performance”
Edwin van der Graaf, Software Engineer bij bol.com
