De Smoke test wordt altijd uitgevoerd direct nadat de release is geïnstalleerd op de test -of acceptatie-omgeving van de retailer. Bij voorkeur wordt deze Smoke test uitgevoerd door de leverancier, in het bijzijn van de klant, bijvoorbeeld door middel van een demo.

Tijdens de Smoke test wordt gecontroleerd of alle basale functionaliteiten (zoals inloggen, verkopen en pinnen in 1 kassatransactie) het nog doen en of er niks is omgevallen (soort van mini regressie test). Vervolgens wordt aangetoond dat de nieuwe functionaliteit die deze release speciaal voor de retailer is toegevoegd (als dit het geval is) het überhaupt doet in de happy flow. Eigenlijk controleer je dus “of er geen rook uit komt”, vandaar de term “Smoke test”.

Als de Smoke test niet succesvol is kan dat twee oorzaken hebben. Of de nieuwe release is niet correct geïnstalleerd óf er zit een (nieuwe) bug in de release.

In het eerste geval zal de leverancier de installatie over moeten doen waarna nogmaals de Smoke test wordt uitgevoerd (bij voorkeur in dezelfde sessie).

In het tweede geval moet de bevinding direct worden gemeld aan de leverancier (als de Smoke test niet door de leverancier wordt uitgevoerd tijdens een demo) zodat deze dit zo snel mogelijk kan oplossen door middel van een patch of door middel van een volledige nieuwe release. Alle testwerkzaamheden zullen dan per direct worden gestaakt.

Als de Smoke test succesvol is start je pas met het testen van de nieuwe functionaliteiten.