Avdelingen rådgivning og analyse i Holte Consulting, med Jan Petter Bekkevold i spissen, har kvalitetssikring (KS) av større offentlige prosjekter som et av sine forretningsområder. Kvalitetssikring er et viktig ledd i statens prosjektmodell og bidrar til at beslutningsgrunnlaget til politikerne er nøye utarbeidet før endelig investeringsbeslutning tas. Sommeren 2021 har sommerstudentene i Holte Consulting jobbet med et prosjekt for å analysere historiske kostnadstall. Kan analysene bidra til å styrke fremtidig kvalitetssikringsarbeid?

En av de store utfordringene med kvalitetssikring er å identifisere og estimere hvor mye ulike usikkerhetsmomenter kan påvirke kostnadene i prosjektet. Disse utfordringene er bakgrunnen for forskningsprosjektet Concept i regi av NTNU/Sintef for Finansdepartementet som bidrar til faglig utvikling av KS-ordningen.

I Holte Consulting står Monte Carlo-simulering sentralt i usikkerhetsestimering og kvalitetssikring. Inputen i Monte Carlo-simuleringen er basisestimatet og sannsynlighetsestimat på hvor mye ulike forhold kan påvirke kostnadene i prosjektet. Forhold som vurderes er eksempelvis markedsutvikling, grunnforhold og gjennomføringsmodell. Output fra simuleringen er en S-kurve som gir et kostnadsestimat for prosjektet med tilhørende sannsynlighet. Slik kommer rådgiverne frem til et forventet tillegg (P50) og usikkerhetsavsetning (P85).

Rådgiverne anbefaler som regel P50-verdien som styringsramme og P85-verdien som kostnadsramme. P50-verdien har 50% sannsynlighet for å unngå overskridelse, og P85-verdien har 85% sannsynlighet for å unngå overskridelse. Tallenes tale fra den virkelige verden sier imidlertid noe annet.

Analysene baserer seg på prosjektene i Concepts database som har P50- og P85-estimater fra KS2 i tillegg til sluttkostnader. Totalt er det 281 prosjekter i databasen, og av disse har Holte Consulting gjort kvalitetssikring på 43 prosjekter. Av prosjektene i databasen egnet 91 seg til analyse da flere av prosjektene mangler fullstendige kostnadstall.

Analysene på hele prosjektporteføljen gir et medianavvik på 18,14% mellom sluttkostnad og P50-estimatet. For P85-estimatet mot sluttkostnaden blir medianavviket på 12,06%. Median ble brukt i stedet for gjennomsnitt for å unngå for mye påvirkning av ekstremverdier. Som visualiseringen i figur 3 viser ligger sluttkostnaden ofte nærmere P85, enn forventet kostnad, P50.

Det er vanskelig å si nøyaktig hva forventet tillegg og usikkerhetsavsetning bør være på grunn av kompleksiteten i prosjektenes estimering og gjennomføring. Historiske tall på samtlige prosjekter i datasettet viser imidlertid en differanse på ca. 17% mellom hvor mye kostnadene faktisk økte fra basiskostnad og estimatet på forventet tillegg.

Tallene indikerer også at estimering av usikkerhetsavsetning har en tendens til å underestimeres. Samlet for alle prosjektene i datasettet ender differansen på ca. 10% over estimert usikkerhetsavsetning. Dette kan indikere at KS rådgiverne kan bli bedre på å identifisere og estimere risikofaktorer, spesielt i veiprosjekter. Det er verdt å merke seg at denne prosenten hadde gått noe ned dersom P50 hadde blitt estimert høyere.

Utviklingen over tid kan si noe om trender generelt i bransjen og gi en pekepinn på forbedringspotensialer. Fra figur 6 observeres det at i perioden før 2006 er en tendens til overestimering, mens perioden etter indikerer underestimering. Samlet kan utviklingen over tid indikere liten evne til å lære av erfaringer fra tidligere kostnadsestimater.

Det var ønskelig å se nærmere på hypotesen om at prosjekter er blitt mer usikre i senere tid. Som figur 7 viser er utviklingen i standardavviket fra usikkerhetsestimering relativt flat. Utviklingen støtter påstanden om at usikkerhetsestimering har blitt dårligere over tid på grunn av flere overskridelser i senere tid. Et annet interessant funn med tanke på standardavvikene er at større estimatavvik sjeldent speiles av et tilsvarende høyt standardavvik. Det indikerer at det ikke skilles godt nok mellom høy og lav usikkerhet i prosjektene.

Sluttkostnadene gir en fasit på hvor godt et estimat er og først når den er på plass kan man dra lærdom fra usikkerhetsestimeringsprosessen. Dessverre er det krevende å få tak i slik informasjon. Vår anbefaling er allikevel å tilstrebe å få tilgang på fullstendige kostnadstall. Større og bredere datasett kan legge til rette for prediksjon og mer avanserte dataanalyser. Dette tror vi kan bli et godt og effektivt verktøy for å øke presisjonen på våre usikkerhetsestimater og øke kvaliteten på våre tjenester.