Thinking Inside a Bigger Box

As my previous Norwegian language article turned out to be one of the all time top hit articles in my blog, I will continue to write a few articles in Norwegian. This one is on an idea on how to do reseach on the success of agile projects. Next week, I will return to another popular topic: Testing.

Under paneldebatten på Geilo-seminaret til Dataforeningen, satt Magne Jørgensen meg, Lars Arne Skår og Niklas Bjørnerstedt litt til veggs med et ganske enkelt spørsmål: Hvordan kan vi vite om smidige metoder virker? Perspektivet til Magne som forsker på utviklingsprosjekter fikk meg til å tenke på spørsmålet, men før jeg fikk kommet med et forslag til svar. Derfor skriver jeg det her i stedet.

Å forske på et spørsmål som “fungerer smidige metoder” er veldig vanskelig. Mitt håp er at noen i stedet vil ta et skritt tilbake og se om man kan få svart på det mer interessant spørsmålet: Er det en sammenheng mellom hyppig feedback og lønnsomme prosjekter?

Hvordan forske på smidige metoder?

Problemet når en forsker spør “fungerer smidige metoder” er at det tvinger oss til å definere “smidige metoder” og “fungerer” på en måte som kan måles. Og det er også fordelen med spørsmålet.

Mitt forslag er at vi omdefinerer spørsmålet til “er smidige prosjekter vellykkede?” Hva betyr dette, da? Hva er “et smidig prosjekt” og hva er “et vellykket prosjekt”?

Er et prosjekt som bruker test-driven development, men ikke leverer noe oftere enn hvert år et smidig prosjekt? Hva med et prosjekt som følger en tradisjonell Krav -> Analyse -> Design -> Utvikling -> Test innfallsvinkel, men som gjør dette hver måned?

For meg er den definerende karakteristikken på et smidig prosjekt hyppigheten på iterasjoner. Iterasjoner kan defineres på fire måter: (1) Et planleggingsvindu, (2) tiden mellom hver gang man setter noe i drift i et produksjonsnært miljø, (3) tiden mellom hver gang man viser fram fremdrift til produkteier eller (4) tiden mellom hver gang man setter i drift noe som sluttkundene vil benytte. Jeg vet ikke hvilken av disse syklusene som er viktigst, men jeg mistenker at de blir mer verdifulle fra 1 til 4. Et studie som bryter ned prosjekter i hvor mange ganger per år de hadde en iterasjon for hver av de fire betydningene vil være veldig interessant for IT-bransjen.

Og hva er et vellykket prosjekt? Er et prosjekt som holder budsjett, men som ikke er verdifullt vellykket (tenk et prosjekt startet etter år 2000 for å effektivisere produksjon av videokassetter)? Hva med et prosjekt som går over budsjett, men som kundene river av hyllene i begeistring (tenk facebook)? Det er åpenbart at å møte “tid, kost og kvalitet” (aaaargh!) ikke er målestokken på suksess. Målestokken må være om prosjektet er lønnsomt! Eller som vi gjerne sier: Return-on-Investment (ROI).

Å måle lønnsomhet kan være en vrien affære. Det er som regel overkommelig å finne ut av utgiftene, men det er vanskeligere å danne et realistisk bilde av fordelene. De fleste IT-prosjekter er begrunnet i en eller annen form for effektivisering, og ofte ikke målbar sådan. For å gjøre vondt verre, er det ofte politisk nødvendig å overdrive gevinsten av prosjekter.

Jeg har ingen perfekt løsning på dette spørsmålet, men én mulig innfallsvinkel ville være å måle utviklingen av selskapets markedsverdi relativt til andre selskaper. Noen andre har helt sikkert en bedre idé. Å måle markedsverdi er enkelt, men det er mange forstyrrende elementer, så man må involvere upraktisk mange selskaper for å få et optimalt resultat. Det utelukker også den store andelen IT-prosjekter som kjøres av det offentlige.

En utfordring og invitasjon til forskere

Spørsmålet “fungerer smidige metoder” er et som har mye interesse, og som forskningen burde ta tak i. En mulig metodikk for å svare på dette er å forske på spørsmålet “finnes det en sammenheng mellom hyppige iterasjoner (i en av fire forskjellige betydninger) og økonomisk vellykkethet?” Dette er et spørsmål jeg selv er veldig interessert i svar på, men jeg har ikke ressursene til en forsker. Men jeg bidrar gjerne til å komme nærmere et svar, dersom noen kan lede veien.