Om ombedömning av nationella prov

Uppdraget finns beskrivet i myndighetens regleringsbrev och återfinns i sin helhet på Ekonomistyrningsverkets webbplats: 
Regleringsbrev för budgetåret 2019 avseende Statens skolinspektion

På denna sida:

Urval
Ombedömningen
Att tolka resultaten
Hur resultatet kan användas av huvudmän och rektorer

För att fullfölja regeringsuppdraget har Skolinspektionen samlat in utvalda delprov från tusentals bedömda elevlösningar från de nationella proven. Elevlösningarna har ombedömts och därefter har ombedömningarna jämförts med skolenheternas bedömningar.

Urval

Urvalet är centralt för genomförandet och sker i flera led. Nedan beskrivs dels de olika leden men också kort om hur urvalet kan påverka resultaten samt hur resultaten bör förstås och tolkas.

Urval av skolenheter

Alla skolenheter i Sverige inkluderas inte i ombedömningen av nationella prov. Då det i beskrivningen av uppdraget står att resultatet från ombedömningen ska tas tillvara i regelbunden tillsyn och kvalitetsgranskning görs ett slumpmässigt urval av skolenheter bland de huvudmän som nästföljande år ingår i urvalet till Skolinspektionens regelbundna tillsyn och regelbundna kvalitetsgranskning.

Urval av årskurser och ämnen

Ombedömning av nationella prov 2019 har genomförts i ämnena svenska och engelska avsedda för årskurs 6, årskurs 9 och gymnasieskolans inledande kurser. Även ämnesprov i biologi, fysik och kemi för årskurs 9 har ingått i ombedömningen.

För att så många skolenheter som möjligt ska ingå i ombedömningen ombedöms i regel två ämnen per skolenhet. Urvalet av vilka ämnen skolenheten ska skicka in provkopior i görs slumpmässigt.

Urvalsprinciper för att välja vilka delprov som ska ingå i ombedömningen

Alla delprov är inte möjliga för oss att ombedöma då vissa delprov kan vara utformade som gruppuppgifter eller bestå av laborativa eller muntliga inslag. Skolinspektionens tidigare erfarenheter har visat att avvikelser mellan bedömningar gjorda av lärare på skolenheter och ombedömare är sällsynta för delprov som mestadels består av frågor med fasta svarsalternativ eller då utrymmet för subjektivitet i bedömningen är litet.

De delprov som väljs ut för ombedömning är därför sådana som kan ombedömas (det vill säga att delproven sker individuellt och inte har laborativa eller muntliga inslag) samt är av sådan art att det inte finns "rätt eller fel-svar" och utrymmet för subjektivitet i bedömningen därmed är större. I praktiken innebär detta att de delprov som valts ut för ombedömning 2019 till stor del är sådana som består av uppsatsfrågor där eleven ska besvara en öppen frågeställning genom att formulera ett fritextsvar.

I tabellen nedan framgår vilka ämnen, årskurser, kurser och delprov som ingår i ombedömningen 2019. 

Skolform/Årskurs Ämne/kurs Delprov
Grundskolan/årskurs 6 Svenska/Svenska som andraspråk och Engelska C1 + C2, C
Grundskolan/årskurs 9 Svenska/Svenska som andraspråk, Engelska och NO-ämnena C, C, A2
Gymnasieskolan Svenska 1/Svenska som andraspråk 1 och Engelska 5 C, C

Urval av elevlösningar per skolenhet

Näst intill samtliga skolenheter som ingått i ombedömningen 2019 har ombetts att skicka in alla elevlösningar för det utvalda delprovet som skrivits på skolenheten. För att minska den administrativa bördan för varje skolenhet sattes ett tak om 200 elevlösningar per skolenhet. I regel har varje skolenhet ombetts att skicka in elevlösningar i två ämnen. Om fler än 100 delprov skrivits i ett ämne på skolenheten har elevlösningar enbart begärts in för ett ämne. Om fler än 200 delprov skrivits i ett ämne på en skolenhet har skolenheten inte ingått i urvalet.

Ombedömningen

De skolenheter som deltagit i ombedömningen 2019 har skickat in provkopior på bedömda delprov till Origo Group. Skolinspektionen har rätt att begära in prov från skolenheter enligt förordning (1992:1083) om viss uppgiftsskyldighet för huvudmännen inom skolväsendet med mera.

De inkomna delprovskopiorna har avidentifierats och maskerats från tidigare bedömares anteckningar, kommentarer och dylikt för att sedan bedömas på nytt av legitimerade, ämnesbehöriga och erfarna lärare. Skolinspektionens ombedömare har stor erfarenhet av att bedöma prov inom sitt ämne, men det går inte att säga att det är just de som gör ”rätt” bedömning av proven.

Skolenhetens bedömning jämförs sedan med ombedömarnas. Resultaten sammanställs per skolenhet, årskurs och ämne eller kurs i skolenhetsrapporter

Fördelning av elevlösningar till ombedömare

För att minimera risken för att en enskild ombedömares bedömningar ska få ett stort genomslag på de sammantagna resultaten för en skolenhet fördelas elevlösningar från en skolenhet över så många olika ombedömare som möjligt. Ombedömarna bedömer proven enskilt, ingen typ av sambedömning tillämpas.

Beroende på ämne, årskurs och kurs har delproven fördelats mellan cirka 5-20 olika ombedömare.

Om det skiljt mer än två betygssteg eller ett betydande antal belägg mellan skolenhetens bedömning och ombedömarens bedömning har en särskild kontroll gjorts iform av ytterligare en ombedömning som utförs av en annan ombedömare. Det betyg som registrerats från ombedömningen är det av de två ombedömarnas betyg som legat närmast skolenhetens betygssättning.

Att tolka resultaten

De resultat från ombedömningen som presenteras 2020 avser de prov som genomfördes under våren 2019. Resultaten från ombedömningen presenteras i skolenhetsrapporter samt i en slutrapport i vilken djupare analyser och jämförelser av resultaten i dess helhet görs.

Skolenhetsrapporter

Skolenhetsrapporter görs i de fall antalet ombedömda elevlösningar vid en skolenhet överstiger 10 stycken och om antalet ombedömda delprov vid skolenheten uppgår till mer än hälften av det totala antalet delprov som begärdes in från skolenheten den terminen. I skolenhetsrapporterna sammanställs resultaten från ombedömningen per skolenhet och delprov. Det innebär att en skolenhet får två separata skolenhetsrapporter om fler än ett delprov ombedömts för den aktuella skolenheten.

Anledningen till att ombedömningsresultat saknas kan till exempel vara:

  • att vissa elever inte genomfört provet
  • att bristfällig kopiering eller scanning av prov gjort att delprovet inte kunnat ombedömas i sin helhet
  • att skolan inkommit för sent med de begärda elevlösningarna
  • att försättsblad inte fyllts i korrekt
  • att elevlösningar inte kunnat återfinnas av skolan.

I rapporterna presenteras resultaten med hjälp av två olika tabeller. Nedan beskrivs ingående både vad som presenteras i dessa tabeller och hur resultaten ska förstås och tolkas.

Tabell 1: Andel betydande avvikelser mellan skolenhetens bedömning och ombedömningen

I tabellen redogörs dels för i vilken grad de bedömningar som gjorts av lärare på skolenheten har betydande avvikelser från de ombedömande lärarnas bedömningar samt vad den genomsnittliga andelen avvikelser är för samtliga skolenheter som den aktuella terminen varit med i ombedömningen av det aktuella ämnet.

Med betydande avvikelse menas att det skiljer två betygssteg eller mer, alternativt ett betydande antal belägg (poäng) mellan skolenhetens och ombedömarnas bedömningar. Exempelvis att skolenheten bedömt att en elevlösning uppfyller kriterierna för betyget A medan ombedömaren bedömt att elevlösningen når upp till ett C. Liknande bedömning innebär att skolenheten och ombedömaren antingen satt samma betyg eller att det skiljer max ett betygssteg mellan bedömningarna.

Om en skolenhets andel betydande avvikelser är minst tio procentenheter högre än genomsnittet för det aktuella provet markeras detta med en stjärna (*) i de kolumner där skolenhetens andel betydande avvikelser redovisas. Stjärnmarkeringen är tänkt att underlätta utläsningen av resultaten då den tydligt markerar större avvikelser.

Tabell 2: Frågor om bedömningsprocessen

I samband med att skolenheten sänder in provkopior för ombedömning besvaras även ett antal frågor om hur bedömningsprocessen sett ut för dessa prov. Svaren redovisas i tabell 2. Frågorna om bedömningsprocessen är frivilliga för skolenheterna att besvara och samtycke måste ges för att de ska inkluderas i redovisningen. Därför kan antalet prov i tabell 2 skilja sig från det antal som redovisas i tabell 1.

Jämförelse med genomsnittet

Syftet med ombedömningen är att främja en likvärdig bedömning av de nationella proven och inte att uttala sig om enskilda provbetyg. Därför är det intressant att jämföra skolenhetens andel betydande avvikelser med den genomsnittliga andelen betydande avvikelser.

Anledningen till detta är att det intressanta och vad som är centralt för ombedömningsuppdraget är att skolenheter runt om i landet ska göra likvärdiga bedömningar i förhållande till varandra. Att bedömare runt om i landet tolkar och tillämpar bedömningsanvisningarna som följer med de nationella proven på ett likvärdigt sätt. Nedan tydliggörs resonemanget med ett exempel.

Om 20 % av de delprov som ombedömts vid en skolenhet fått ett delprovsbetyg som är betydligt högre än ombedömarnas samtidigt som den genomsnittliga andelen avvikelser i denna riktning också är 20 %, finns ingen indikation på att skolenheten ifråga sätter högre provbetyg än genomsnittskolan. Att denna genomsnittsnivå innebär att skolenheter i snitt sätter ett högre provbetyg än ombedömarna är ur likvärdighetssynpunkt mindre intressant eftersom att skolenheterna ändå gör likvärdiga bedömningar av elevlösningar som bedöms hålla en viss nivå.

Fallet skulle vara ett annat om lärarna på en skolenhet på 20 % av delproven satt ett betydligt högre delprovsbetyg än ombedömarna samtidigt som den genomsnittliga andelen avvikelser i denna riktning är 5 %. Det skulle kunna utgöra en indikation på att skolenheten tenderar att sätta högre delprovsbetyg än genomsnittsskolan för en given nivå på elevprestationer och att likvärdigheten mellan skolenheter därmed skulle kunna ifrågasättas.

En hög avvikelsegrad i förhållande till andra skolenheter kan vara en indikation på att skolenheten behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till betyget som granskas i Skolinspektionens tillsyn och kvalitetsgranskning, inte resultaten/provbetygen i sig. Ombedömningen kan därför aldrig leda till att ett provbetyg som satts av en bedömare på en skolenhet ändras.

Att en skolenhets bedömningar avviker från genomsnittet behöver dock inte betyda att skolenhetens bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika och de delprov som väljs ut för ombedömning är sådana där det inte finns tydliga rätt och fel svar.

Hur resultatet kan användas av huvudmän och rektorer

Resultaten från ombedömningen kan användas av huvudmän och skolenheter som underlag i det systematiska kvalitetsarbete som rör bedömning och betygssättning.

Rektorer kan använda resultaten från ombedömningen för att uppmärksamma och jämföra hur de bedömningar som gjorts av lärare på skolenheten förhåller sig till ombedömarnas och andra skolenheters bedömningar. Resultatet kan vidare ligga till grund för en diskussion kring hur bedömningsprocesserna ser ut på skolenheten samt vilken betygskultur som råder.

Huvudmannen kan skapa sig en uppfattning om hur huvudmannens skolenheter förhåller sig till varandra samt till samtliga skolenheter som skrivit samma delprov genom att jämföra i vilken grad skolenheternas bedömningar avviker från ombedömarnas bedömningar samt genom att jämföra hur skolenheternas andel avvikelser förhåller sig till den genomsnittliga andelen betydande avvikelser. Huvudmannen kan ta del av skolenhetsrapporter genom att mejla till ombedomning@skolinspektionen.se.

Avviker någon skolenhet, sett till någon av dessa aspekter, kan det ses som en indikation på bristande likvärdighet och att det är lämpligt att se över processerna för bedömning och betygsättning, både på huvudmannanivå och skolenhetsnivå. Det kan både handla om bristande likvärdighet i form av betydande skillnader mellan huvudmannens skolenheter men det kan också handla om att huvudmannens skolenheter gör bedömningar som skiljer sig betydligt från genomsnittets.

Mer information kring hur huvudmän och rektorer kan arbeta med skolenheters bedömnings- och betygsprocesser finns på Skolverkets hemsida.