Hoppa till huvudinnehåll

Datahantering

Inom Sveriges vattenmiljö har ett mycket stort dataunderlag sammanställts och tillgängliggjorts under ingången Vattentrender - Karta och grafer. Dataunderlagets omfattning och goda geografiska täckning är en given styrka vid bedömningar av miljötillståndet i vattenmiljöerna. Data som ligger till grund för analyser och grafer har hämtats från olika nationella datavärdar och kommer från nationell och regional miljöövervakning samt recipientkontroll där data kvalitetssäkrats av sina respektive utförare innan leverans till datavärden.

Rådata laddas ner och granskas

Bearbetningen av data inleds normalt med att rådata laddas ner från berörda datavärdar. När det gäller data från svensk akvatisk miljöövervakning är dessa SMHI, SLU (Sveriges lantbruksuniversitet) och SGU (Sveriges geologiska undersökning). I samband med importen sker även en granskning av att all data som förväntas vara med i nedladdningen faktiskt har lagts in i datavärdens databas. Vidare justeras vissa dataformat för att underlätta fortsatt dataanalys med statistisk programvara.

I några fall hämtas även bearbetade data från datavärd eller utförare av miljöövervakning. Detta gäller till exempel miljögifter i biota, där datavärdens databas håller på att omorganiseras, och uppskattningarna av de marina fiskbeståndens storlek, där hanteringen av rådata bedömdes kräva särskild expertkompetens. På sikt är målet att all data som visas på Sveriges vattenmiljö ska hämtas från de nationella datavärdarna.

En grundläggande kvalitetsgranskning av enskilda mätvärden förutsätts ha skett hos utförare och datavärd. Inom Sveriges vattenmiljö inriktas därför granskningen på att undersöka om variationen i tid och rum är rimlig. För detta ändamål genereras i statistikprogrammen SAS och R ett stort antal tidsseriegrafer som sedan granskas visuellt. Vidare utnyttjas ett geografiskt informationssystem (QGIS) för att kontrollera, komplettera och sammanställa kopplingar av mätvärden till vattenförekomster och bedömningsområden. Fördjupade analyser av datakvalitet utförs om det finns indikationer på allvarliga kvalitetsproblem.

Presenteras som tidsseriegrafer

Presentationen av data på webben bygger på tidsseriegrafer av årsvärden per vattenförekomst eller bedömningsområde. För de variabler som ingår i statusklassningen av ekologisk status eller miljöstatus har årsvärdena beräknats enligt de bedömningsgrunder som fastlagts inom vattenförvaltningsförordningen respektive havsmiljöförordningen. För de variabler som idag saknar bedömningsgrunder har årsmedelvärden beräknats på ett liknande sätt. Dessa grafer visar numeriska värden i form av koncentrationer, mängder, antal mm. Andelen nationell eller regional data markeras i anslutning till varje punkt i graferna. Formella statusklassningar (enligt vattenförvaltningsförordningen) av vattenförekomsterna, där sådana finns, görs tillgängliga genom länk till VISS (Vatteninformationssystem Sverige).

Om inget annat anges visas endast tidsseriegrafer för de variabler och vattenförekomster där det finns minst 10 årsvärden. Denna begränsning gäller också de statistiska trendanalyserna. För att avgöra om det finns en uppåt- eller nedåtgående trend under den tidsperiod som visas på grafen utförs ett icke-parametriskt statistiskt test av trenden (Mann-Kendalltest) som enbart testar rangordningen mellan de observerade värdena och därför inte är känsliga för enstaka starkt avvikande mätvärden. Signifikant uppåtgående eller nedåtgående trend kommer att visas tydligt med färgad pil i anslutning till grafen. För att tydliggöra pucklar och andra icke-linjära trender anpassas också mjukt varierande trendkurvor till årsvärdena. Detta sker med hjälp av så kallade GAM-modeller. Skript för trendanalyserna finns tillgängliga i statistikprogrammet SAS och programmeringsspråket R.

Samtliga årsvärden som utnyttjas för grafer eller trendanalyser görs tillgängliga för nedladdning. Även graferna i sig går att ladda ner eller skriva ut.

Problem förknippade med datahantering

I detta stora material är det trots detta oundvikligt att en del fel och brister förekommer som ger oönskat utslag i analyser och grafer. Problemen kan sägas vara av två huvudtyper. Den första typen kan exempelvis vara rena mätfel eller inmatningsfel i samband med utförandet av miljöövervakningen som inte upptäckts och korrigerats innan leverans till datavärd. Den andra typen av problem kan uppstå om det är obalanser i dataunderlaget för ett vattenområde (till exempel en vattenförekomst) under tidsperioden som omfattas av en graf. Sådana obalanser kan bero på att provtagningarnas utförande förändrats med tiden, avseende på metoder, provtagningsplatsernas antal, lägen eller djup, eller att årstider eller frekvens för provtagningarna ändrats. Denna typ av problem kan alltså uppkomma även om inga rena hanteringsfel begåtts, eftersom de beror på att provtagningarna inte representerar vattenförekomsten på ett likartat sätt över tiden. Ofta handlar det om att dataunderlaget för en del vattenförekomster kommer från olika utförare, att undersökningar haft olika upplägg och syften, eller att övervakningsprogram helt enkelt förändrats över tiden.

Ambitionen inom Sveriges vattenmiljö är att successivt utveckla rutinerna för kvalitetssäkring av data, och därmed eliminera fel och osäkerheter samt hantera obalanser i data så långt det är möjligt. I denna första version av sajten har så gott som all data som lagras hos  de nationella datavärdarna för miljöövervakning använts i Karta och grafer, och inga datamängder har uteslutits, förutom några som fallit bort i en grov kvalitetskontroll. Osäkerheter och problem som upptäcks rapporteras till datavärdarna, som kan välja att korrigera felaktigheter. Eftersom ny data laddas ned till Sveriges vattenmiljö årligen kommer felaktigheter på sikt att korrigeras och försvinna.