Effectief Experimenteren in Research en Development

In Research en Development (R&D) draait alles om het ontwikkelen van innovatieve nieuwe ideeën, producten en processen. Vaak valt hieronder ook het verbeteren van bestaande producten (verbeterde eigenschappenprofielen) of processen (verbeterde efficiëntie). Eén ding is hierbij altijd relevant: Vanuit zo min mogelijk experimenten zoveel mogelijk leren, in korte tijd.
 
Het vakgebied dat zich hierop richt is Design of Experiments (DOE), met een statistisch bewezen maximale effectiviteit. Meer achtergrond over het toepassingsgebied van DOE vind u in dit interview met de eigenaar van Quality Target.

Waarom is DOE heel effectief? Lees over power, interacties en meer!

Om te bepalen of een idee inderdaad het gewenste effect heeft, wordt een experiment gedaan. Het resultaat van dat experiment wordt vergeleken met een uitgangssituatie. De effect/ruis verhouding zorgt echter voor onzekerheid in het gevonden verschil tussen die twee. Dat kan er zomaar toe leiden dat de getrokken conclusie later onjuist blijkt te zijn: het gevonden resultaat leek dan alleen maar goed te zijn, of het idee werkt wel terwijl het resultaat juist weinig hoopgevend leek te zijn. Een verkeerde conclusie brengt de onderzoeker op het verkeerde spoor, zonder dat die dat door kan hebben. DOE bepaalt op voorhand de “power” van een gepland experiment. Op basis van de verwachte effect/ruis verhouding wordt berekend hoeveel herhalingen van een experiment nodig gaan zijn om op een voldoend betrouwbare conclusie uit te komen. Daardoor loopt een spoor niet ten onrechte dood, wat heel belangrijk kan zijn binnen R&D.

Er is nog een tweede belangrijke reden waarom DOE vaak onverwacht goede resultaten laat zien: interacties. Dat zijn combinaties van instellingen die leiden tot verrassend andere resultaten. Helaas zijn de menselijke hersenen van nature nauwelijks geschikt om interacties te voorzien. Sterker nog, de manier waarop een mens van nature experimenten opzet, door steeds één variabele tegelijk te variëren, maakt het onmogelijk om interacties te doorgronden. Dat leidt tot onbegrepen (en dus suboptimale) resultaten. DOE maakt het mogelijk om interacties wel te onderzoeken, mede doordat software helpt om dit makkelijk inzichtelijk te maken. In feite worden er combinaties van instellingen gebruikt die normaal over het hoofd gezien zouden worden, waardoor “opeens” verrassend goede resultaten mogelijk blijken te zijn. En dat zeker voor situaties waar veel verschillende kwaliteitseigenschappen gelijktijdig goed moeten zijn.

En dan de derde belangrijke reden voor de effectiviteit van DOE: met één set experimenten kunnen meerdere variabelen gelijktijdig onderzocht worden (vaak 4 tot 10, in extreme gevallen wel tientallen). En dat niet voor één belangrijke kwaliteitseigenschap, maar voor alle (vaak 5 tot 20) eigenschappen die sámen de eindkwaliteit bepalen. Dat werkt onwaarschijnlijk krachtig, een beetje alsof je een doolhof moet doorkruisen terwijl er een drone boven je hoofd hangt die precies aangeeft wat het juiste pad is.

Waar te beginnen?

Innovatief onderzoek start natuurlijk niet met DOE, maar met begrip van de theorie die hoort bij het onderwerp. Bijvoorbeeld: Als we een nieuw type membraan willen ontwikkelen, begin dan met het bij elkaar zetten van alle beschikbare theorie, kennis en ervaring. Ga dan met eerste verkenningen proberen of het lukt om een membraan te maken dat enigszins (niet meer dan een beetje) in de richting komt van het doel. Vaak lukt dit stadium al met bestaande technologie. Nu volgt een belangrijk keuzemoment:

1. Gaan we binnen die bestaande technologie onderzoeken of een nog onbekende combinatie van instellingen wél kan leiden tot het gewenste doel? Dan is DOE de aangewezen aanpak. Zoals in het onderstaande plaatje zichtbaar is, tilt DOE (hier de polsstok) je uit boven het bestaande kennisniveau, door combinaties van instellingen te vinden die niet in het zicht lagen, maar die wel het doel blijken te realiseren. Het grote voordeel van deze optie is dat bestaande technologie geen onbekende verrassingen bevat (in tegenstelling tot nieuwe technologie), waardoor de verbetering snel praktisch implementeerbaar is.
2. Maken we de sprong naar een nieuw stukje technologie, zoals een nieuw type grondstof of apparatuur, dan verwachten we daar een specifiek voordeel van. Maar in de praktijk blijken er bijna altijd ook onverwachte nadelen aan te kleven, die dan weer opgelost moeten worden, ten koste van doorlooptijd. Zie daar het New Technology Dilemma: Eérst optie 1 proberen is vaak verstandig. Want eenmaal naar een nieuwe technologie overgesprongen, voelt terug gaan als achteruitgang, terwijl we vergeten we dat de oude technologie misschien nog onvoldoende (lees: zonder DOE) onderzocht was. Zijn we niettemin geland bij de nieuwe technologie, dan geldt ook hierbinnen dat DOE de weg is om werkende combinaties van instellingen te vinden.

Design of Experiments heeft natuurlijk ook een nadeel: het vergt opleiding, ervaring en bovenal begrip. Software maakt het werken met DOE tegenwoordig eenvoudig, maar de interpretatie van de output van die software blijft mensenwerk. Want hoe gaat u omgaan met berichten over confounding, onvoldoende power, lack-of-fit, marginale significantie, outliers of ontbrekende datapunten?

Quality Target maakt de oplossing eenvoudig. U kunt kiezen voor een DOE training die in korte tijd, desgewenst op basis van uw eigen voorbeelden, zorgt voor een comfortabel begrip van DOE en de software output. Of u kiest, als uw kennis wegzakt omdat u DOE maar zo nu en dan gebruikt, voor een directe online persoonlijke hulplijn. Zo kunt u altijd weer even snel checken of u met de stappen die u wilt zetten niets over het hoofd ziet.