Forskare kritiska till hur modeller använts för att beräkna effekt av åtgärder mot corona

Forskare från Imperial College tog fram en modell för att bedöma effekter av olika åtgärder för att minska spridningen av corona. Men modellen har stora brister och kunde inte användas för att dra de publicerade slutsatserna, skriver svenska forskare från bland annat Lund universitet i tidskriften Nature.

Jonas Andersson – Publicerad den 27 december 2020

Resultaten från Imperial College pekade på att det nästan uteslutande var en total stängning av samhället (lockdown) som gav resultat när det gällde att trycka ner vårens sjukdomsvåg i Europa. 

SE INTERVJU MED KRISTIAN SOLTESZ

Modellen, som presenterades i Nature, uppskattade effekterna av olika åtgärder som social distansering, självisolering, skolstängning, att förbjuda publika tillställningar och just lockdown. 
 
– Eftersom åtgärderna infördes ungefär samtidigt, under några veckor i mars, innehåller helt enkelt inte den dödsfallsdata som användes tillräckligt med information för att särskilja deras enskilda effekter. Vi har visat detta genom att göra en matematisk analys. Med den som utgångspunkt har vi sedan kört simuleringar med Imperial Colleges originalkod för att illustrera hur modellkänsligheten resulterar i opålitliga utfall, säger Kristian Soltesz, docent i reglerteknik vid LTH och försteförfattare till artikeln.

Åtgärder inte isolerade från varandra

Tack vare ett långvarigt samarbete med Ericsson Research kunde Albin Heimerson, medförfattare och doktorand vid samma institution, köra de tunga modellsimuleringarna i företagets datormoln.
Kristian Soltesz är noga med att påpeka det högst rimliga i att de enskilda åtgärderna haft effekt, men att modellen inte kunde användas för att avgöra hur mycket.

– Det är viktigt att beakta att de insatser som görs i syfte att minska smittspridning inte verkar isolerade från varandra, utan de är ofta beroende av varandra. Ett ändrat beteende till följd av en intervention påverkar effekten av andra interventioner. Hur mycket och på vilket sätt är svårare att veta och kräver olika kompetenser och samarbete, säger Anna Jöud, docent i epidemiologi vid medicinska fakulteten och medförfattare till studien.  

Avsaknad av systematisk granskning

Analyser av modeller från bland andra Imperial College belyser vikten av att epidemiologiska modeller granskas, menar artikelförfattarna.

– Det finns i debatten ett stort fokus på datakällor och deras tillförlitlighet, men en nära nog total avsaknad av systematisk granskning av olika modellers känslighet avseende parametrar och data. Detta är lika viktigt, speciellt nu när regeringar världen över använder dynamiska modeller som beslutsunderlag, säger Kristian Soltesz och Anna Jöud.
 
Gruppens intresse för Imperial College-modellen väcktes bland annat av att den förklarade nästan hela vårens minskande smittspridning med lockdown i tio av elva modellerade länder. Undantaget var Sverige som inte införde någon lockdown.

– I Sverige gav modellen en helt annan åtgärd som förklaring till nedgången – en åtgärd som framstod som närmast verkningslös i de övriga länderna. Det verkade vara lite för bra för att vara sant att man infört en verkningsfull lockdown i alla länder utom ett, och att en annan åtgärd skulle visa sig ovanligt effektiv i just detta land, säger Kristian Soltesz.

Utbrett problem

Han säger att problemet är utbrett. Ett svenskt exempel på modellkänslighet, som lätt hade kunnat upptäckas om en analys utförts, resulterade i en uppmärksammad rapport där forskare varnade för 96 000 inhemska dödsfall till sommaren 2020.

Det första steget är att utföra en korrekt anlays av modellens känsligheter. Utgör de ett alltför stort problem så behövs mer tillförlitliga data, ofta kombinerat med en mindre komplex modellstruktur.

– Med mycket på spel är det klokt att vara ödmjuk inför fundamentala begräsningar. Dynamiska modeller är användbara så länge de tar hänsyn till osäkerheten i de antaganden de bygger på och den data de drivs med. Görs inte det är resultaten att likställa med antaganden eller gissningar, säger Kristian Soltesz.

Artikeln i Nature

Fakta

Arbetet som lett fram till analysen i Nature har utförts i en konstellation av forskare från flera lärosäten som samarbetat inom forskningsmiljöerna ELLIIT och WASP och därför snabbt kunde komma igång under våren.

Kritiken rör den i juni 2020 publicerade artikeln "Estimating the effects of non-pharmaceutical interventions on COVID-19 in Europe"