Store kostnadsoverskridelser kan man lese om i media fra tid til annen. Selv om store kostnadssprekker er sjeldne, viser studier at sluttkostnaden til prosjekter ofte avviker fra de satte estimatene. Holte Consultings sommerstudenter har sett nærmere på kvaliteten av estimatene til statlige prosjekter, og hvordan de kan bli bedre.

Bakgrunn

Avdelingen rådgivning og analyse i Holte Consulting, med Jan Petter Bekkevold i spissen, har kvalitetssikring (KS) av større offentlige prosjekter som et av sine forretningsområder. Kvalitetssikring er et viktig ledd i statens prosjektmodell og bidrar til at beslutningsgrunnlaget til politikerne er nøye utarbeidet før endelig investeringsbeslutning tas. Sommeren 2021 har sommerstudentene i Holte Consulting jobbet med et prosjekt for å analysere historiske kostnadstall. Kan analysene bidra til å styrke fremtidig kvalitetssikringsarbeid?

Figur 1: Statens Kvalitetssikringsordning, hentet fra Concept
Figur 1: Statens Kvalitetssikringsordning, hentet fra Concept

Kvalitetssikring og kostnadsestimering

Kvalitetssikring og kostnadsestimering

En av de store utfordringene med kvalitetssikring er å identifisere og estimere hvor mye ulike usikkerhetsmomenter kan påvirke kostnadene i prosjektet. Disse utfordringene er bakgrunnen for forskningsprosjektet Concept i regi av NTNU/Sintef for Finansdepartementet som bidrar til faglig utvikling av KS-ordningen.

Les mer om forskningsprogrammet Concept her

I Holte Consulting står Monte Carlo-simulering sentralt i usikkerhetsestimering og kvalitetssikring. Inputen i Monte Carlo-simuleringen er basisestimatet og sannsynlighetsestimat på hvor mye ulike forhold kan påvirke kostnadene i prosjektet. Forhold som vurderes er eksempelvis markedsutvikling, grunnforhold og gjennomføringsmodell. Output fra simuleringen er en S-kurve som gir et kostnadsestimat for prosjektet med tilhørende sannsynlighet. Slik kommer rådgiverne frem til et forventet tillegg (P50) og usikkerhetsavsetning (P85).

Rådgiverne anbefaler som regel P50-verdien som styringsramme og P85-verdien som kostnadsramme. P50-verdien har 50% sannsynlighet for å unngå overskridelse, og P85-verdien har 85% sannsynlighet for å unngå overskridelse. Tallenes tale fra den virkelige verden sier imidlertid noe annet.

Les mer om statens prosjektmodell her!

Datagrunnlaget for analysene

Analysene baserer seg på prosjektene i Concepts database som har P50- og P85-estimater fra KS2 i tillegg til sluttkostnader. Totalt er det 281 prosjekter i databasen, og av disse har Holte Consulting gjort kvalitetssikring på 43 prosjekter. Av prosjektene i databasen egnet 91 seg til analyse da flere av prosjektene mangler fullstendige kostnadstall.

Figur 2: Datagrunnlaget for vår analyse

Funn – Overordnet analyse

Figur 3: Fordeling av avvik mellom sluttkostnad og gitte punktestimater. Tallene viser at kun 25,3% av sluttkostnadene er innenfor P50-estimatet, og kun 49,5% ligger innenfor P85-estimatet.
Figur 3: Fordeling av avvik mellom sluttkostnad og gitte punktestimater. Tallene viser at kun 25,3% av sluttkostnadene er innenfor P50-estimatet, og kun 49,5% ligger innenfor P85-estimatet.

Analysene på hele prosjektporteføljen gir et medianavvik på 18,14% mellom sluttkostnad og P50-estimatet. For P85-estimatet mot sluttkostnaden blir medianavviket på 12,06%. Median ble brukt i stedet for gjennomsnitt for å unngå for mye påvirkning av ekstremverdier. Som visualiseringen i figur 3 viser ligger sluttkostnaden ofte nærmere P85, enn forventet kostnad, P50.

Les mer om Concepts analyse av estimatavvik på det samme datasettet her

Hva bør forventet tillegg og usikkerhetsavsetning være basert på historisk data?

Det er vanskelig å si nøyaktig hva forventet tillegg og usikkerhetsavsetning bør være på grunn av kompleksiteten i prosjektenes estimering og gjennomføring. Historiske tall på samtlige prosjekter i datasettet viser imidlertid en differanse på ca. 17% mellom hvor mye kostnadene faktisk økte fra basiskostnad og estimatet på forventet tillegg.

Figur 4: Forskjell mellom estimert forventet tillegg og avvik mellom sluttkostnad og basisestimatet sortert på bygg-, vei- og baneprosjekter. En stolpe representerer et påslag fra basisestimatet. Liten differanse mellom rød og blå stolpe indikerer gode estimater.
Figur 4: Forskjell mellom estimert forventet tillegg og avvik mellom sluttkostnad og basisestimatet sortert på bygg-, vei- og baneprosjekter. En stolpe representerer et påslag fra basisestimatet. Liten differanse mellom rød og blå stolpe indikerer gode estimater.

Tallene indikerer også at estimering av usikkerhetsavsetning har en tendens til å underestimeres. Samlet for alle prosjektene i datasettet ender differansen på ca. 10% over estimert usikkerhetsavsetning. Dette kan indikere at KS rådgiverne kan bli bedre på å identifisere og estimere risikofaktorer, spesielt i veiprosjekter. Det er verdt å merke seg at denne prosenten hadde gått noe ned dersom P50 hadde blitt estimert høyere.

Figur 5: Forskjell mellom estimert usikkerhetsavsetning og avvik mellom sluttkostnad og forventet tillegg. I tillegg vises differansen mellom estimert P50 og hva den burde ligget på. Dette er et tall som er med på å skape sprik mellom estimert og faktisk usikkerhetsavsetning.
Figur 5: Forskjell mellom estimert usikkerhetsavsetning og avvik mellom sluttkostnad og forventet tillegg. I tillegg vises differansen mellom estimert P50 og hva den burde ligget på. Dette er et tall som er med på å skape sprik mellom estimert og faktisk usikkerhetsavsetning.

Utvikling over tid

Utviklingen over tid kan si noe om trender generelt i bransjen og gi en pekepinn på forbedringspotensialer. Fra figur 6 observeres det at i perioden før 2006 er en tendens til overestimering, mens perioden etter indikerer underestimering. Samlet kan utviklingen over tid indikere liten evne til å lære av erfaringer fra tidligere kostnadsestimater.

Figur 6: Plottet viser prosjektenes utvikling av avvik fra P50 - estimat over tid. Det er tegnet inn to linjer, førsteaksen og en lineær regresjonslinje med et stigningstall på 0,9%
Figur 6: Plottet viser prosjektenes utvikling av avvik fra P50 - estimat over tid. Det er tegnet inn to linjer, førsteaksen og en lineær regresjonslinje med et stigningstall på 0,9%

Concepts lignende analyse på utviklingen av estimater – les her

Det var ønskelig å se nærmere på hypotesen om at prosjekter er blitt mer usikre i senere tid. Som figur 7 viser er utviklingen i standardavviket fra usikkerhetsestimering relativt flat. Utviklingen støtter påstanden om at usikkerhetsestimering har blitt dårligere over tid på grunn av flere overskridelser i senere tid. Et annet interessant funn med tanke på standardavvikene er at større estimatavvik sjeldent speiles av et tilsvarende høyt standardavvik. Det indikerer at det ikke skilles godt nok mellom høy og lav usikkerhet i prosjektene.

Figur 7: Visualiseringen viser sluttkostnadens skjevhet fra P85- estimat og prosjektets estimerte standardavvik. Prosjektene er sortert i kronologisk rekkefølge for å vise utvikling over tid.

Hvordan kan estimeringsarbeid bli bedre?

Sluttkostnadene gir en fasit på hvor godt et estimat er og først når den er på plass kan man dra lærdom fra usikkerhetsestimeringsprosessen. Dessverre er det krevende å få tak i slik informasjon. Vår anbefaling er allikevel å tilstrebe å få tilgang på fullstendige kostnadstall. Større og bredere datasett kan legge til rette for prediksjon og mer avanserte dataanalyser. Dette tror vi kan bli et godt og effektivt verktøy for å øke presisjonen på våre usikkerhetsestimater og øke kvaliteten på våre tjenester.