Om ombedömning av nationella prov

Uppdraget finns beskrivet i myndighetens regleringsbrev och återfinns i sin helhet på Ekonomistyrningsverkets webbplats: 
Regleringsbrev för budgetåret 2018 avseende Statens skolinspektion

På denna sida:

Urval
Ombedömningen
Att tolka resultaten
Hur resultatet kan användas av huvudmän och rektorer

För att fullfölja regeringsuppdraget samlar Skolinspektionen varje år in utvalda delar från tusentals bedömda elevlösningar från de nationella proven. Elevlösningarna ombedöms och jämförs med skolenheternas bedömningar.

Urval

Urvalet är centralt för genomförandet och sker i flera led. Det är Statistiska Centralbyrån (SCB) som drar urvalet på uppdrag av Skolinspektionen. Nedan beskrivs dels de olika leden men också kort om hur de kan påverka resultaten samt hur resultaten bör förstås och tolkas.

Urval av skolenheter

Alla skolenheter i Sverige inkluderas inte i ombedömningen av nationella prov. Då det i beskrivningen av uppdraget står att resultatet från ombedömningen ska tas tillvara i regelbunden tillsyn och kvalitetsgranskning görs ett slumpmässigt urval av skolenheter bland de huvudmän som nästföljande år ingår i urvalet till Skolinspektionens regelbundna tillsyn eller regelbundna kvalitetsgranskning.

Urval av årskurser och ämnen

Ombedömning av nationella prov genomförs i dagsläget av prov i ämnena svenska och engelska avsedda för årskurs 6, årskurs 9 och gymnasieskolans inledande kurser i svenska, och engelska samt motsvarande kurser inom kommunal vuxenutbildning på gymnasienivå. Även ämnesprov i biologi, fysik och kemi för årskurs 9 inkluderas i ombedömningen.

För att så många skolenheter som möjligt ska inkluderas i ombedömningen ombedöms två ämnen per skolenhet. Urvalet av vilka ämnen skolenheten ska skicka in provkopior på görs slumpmässigt men med hänsyn till hur många elever som skrivit de nationella proven på skolenheten.

Urvalsprinciper för att välja vilka delprov som ska ingå i ombedömningen

Alla delprov är inte möjliga för oss att ombedöma då vissa delprov kan vara utformade som gruppuppgifter eller bestå av laborativa eller muntliga inslag. Skolinspektionens tidigare erfarenheter har visat att avvikelser mellan bedömningar gjorda av lärare på skolenheter och ombedömare är sällsynta för delprov som mestadels består av frågor med fasta svarsalternativ eller då utrymmet för subjektivitet i bedömningen är litet. De delprov som valts ut för ombedömning är därför sådana som dels kan ombedömas (det vill säga att delproven sker individuellt och inte har laborativa eller muntliga inslag) samt är av sådan art att det inte finns "rätt eller fel-svar" och utrymmet för subjektivitet i bedömningen därmed är större. I praktiken innebär detta att de delprov som väljs ut för ombedömning till stor del är sådana som består av uppsatsfrågor där eleven ska besvara en öppen frågeställning genom att formulera ett fritextsvar.

I tabellen nedan framgår vilka ämnen, kurser och delprov som är aktuella för ombedömning för respektive årskurs.

Skolform/Årskurs Ämne/kurs Delprov
Grundskolan/årskurs 6 Svenska/Svenska som andraspråk och Engelska C1 + C2, C
Grundskolan/årskurs 9 Svenska/Svenska som andraspråk, Engelska och NO-ämnena C, C, A2
Gymnasieskolan Svenska 1/Svenska som andraspråk och Engelska 5 C, C
Kommunal vuxenutbildning på gymnasienivå Svenska 1/Svenska som andraspråk och Engelska 5 C, C

Urval av elevlösningar per skolenhet

Antalet elevlösningar en skolenhet ska inkomma med varierar beroende på hur många prov som krävs för att resultatet ska vara representativt på skolenhetsnivå. För att minska den administrativa bördan för varje skolenhet finns dock ett maxtak för hur många provkopior Skolinspektionen begär in per skolenhet. För grundskoleenheter är taket 100 st och för gymnasieskolenheter 200 st. Om fler prov än så behövs för att uppnå representativitet i två ämnen för en skolenhet dras bara ett ämne för den skolenheten. Efter att urvalet av ämnen dragits för varje skolenhet dras urvalet för vilka elevlösningar som skolenheten ska kopiera och skicka in.

Ombedömningen

De skolenheter som deltar i ombedömningen skickar in provkopior på bedömda prov till SCB. Skolinspektionen har rätt att begära in prov från skolenheter enligt förordning (1992:1083) om viss uppgiftsskyldighet för huvudmännen inom skolväsendet med mera.

De inkomna provkopiorna avidentifieras och maskeras från tidigare bedömares anteckningar, kommentarer och dylikt för att sedan bedömas på nytt av legitimerade, ämnesbehöriga och erfarna lärare på uppdrag av Skolinspektionen. Skolinspektionens ombedömare har stor erfarenhet av att bedöma prov inom sitt ämne, men det går inte att säga att det är just de som gör ”rätt” bedömning av proven.

Skolenhetens bedömning, som samlats in av SCB, jämförs sedan med ombedömarnas bedömning, och resultaten sammanställs sedan per skolenhet, årskurs och ämne eller kurs i skolenhetsrapporter.

Fördelning av elevlösningar till ombedömare

En skolenhets elevlösningar fördelas till ombedömare på så sätt att en viss skolenhets elevlösningar i så stor utsträckning som möjligt fördelas över så många olika ombedömare som möjligt. Det innebär att olika ombedömare ombedömer elevlösningar från en och samma skolenhet. Skälet till detta är att minimera risken för att en enskild ombedömares bedömningar ska få ett stort genomslag på de sammantagna resultaten för en skolenhet. Ombedömarna bedömer proven enskilt, ingen typ av sambedömning tillämpas.

Beroende på ämne och årskurs fördelas proven mellan ca 5-30 olika ombedömare.

För prov skrivna i svenskämnet finns en särskild kontroll om det skiljer mer än två betygssteg mellan skolenhetens bedömning och ombedömarens bedömning alternativt om ursprungsbedömaren gett godkänt betyg (A-E) men inte ombedömaren, eller vice versa. I dessa fall går provet vidare till en annan ombedömare som gör en ytterligare ombedömning. Det betyg som då registreras från ombedömningen är det av de två ombedömarnas betyg som ligger närmast skolenhetens betygssättning.

Att tolka resultaten

De resultat från ombedömningen som presenteras 2018 avser de prov som genomfördes under våren 2017. Resultaten från ombedömningen presenteras i skolenhetsrapporter, sammanställningar på huvudmannanivå samt en slutrapport i vilken djupare analyser och jämförelser av resultaten i dess helhet görs.

Skolenhetsrapporter

Skolenhetsrapporter görs i de fall antalet ombedömda elevlösningar vid en skolenhet överstiger 10 stycken och om antalet ombedömda delprov vid skolenheten uppgår till mer än hälften av det totala antalet delprov som skrevs i det aktuella ämnet på skolenheten den terminen. I skolenhetsrapporterna sammanställs resultaten från ombedömningen per skolenhet och delprov. Det innebär att en skolenhet får två separata skolenhetsrapporter om fler än ett delprov ombedömts för den aktuella skolenheten.

Anledningen till att ombedömningsresultat saknas kan till exempel vara:

  • att vissa elever inte genomfört provet
  • att bristfällig kopiering eller scanning av prov gjort att delprovet inte kunnat ombedömas i sin helhet
  • att skolan inkommit för sent med de begärda elevlösningarna
  • att resultatet från skolenhetens bedömning inte angetts på giltigt format
  • att elevlösningar inte kunnat återfinnas av skolan.

I rapporterna presenteras resultaten med hjälp av två olika tabeller. Nedan beskrivs ingående både vad som presenteras i dessa tabeller och hur resultaten ska förstås och tolkas.

Tabell 1: Andel betydande avvikelser mellan skolenhetens bedömning och ombedömningen

I tabellen redogörs dels för i vilken grad de bedömningar som gjorts av lärare på skolenheten har betydande avvikelser från de ombedömande lärarnas bedömningar samt vad den genomsnittliga andelen avvikelser är för samtliga skolenheter som den aktuella terminen varit med i ombedömningen av det aktuella ämnet.

Med betydande avvikelse menas att det skiljer två betygssteg eller mer, alternativt ett betydande antal belägg (poäng) mellan skolenhetens bedömning och ombedömarnas bedömningar. Exempelvis att skolenheten bedömt att en elevlösning uppfyller kriterierna för betyget A medan ombedömaren bedömt att elevlösningen når upp till ett C. Liknande bedömning innebär att skolenheten och ombedömaren antingen satt samma betyg eller att det skiljer max ett betygssteg mellan bedömningarna.

Om en skolenhets andel betydande avvikelser är minst tio procentenheter högre än genomsnittet för det aktuella provet markeras detta med en stjärna (*) i de kolumner där skolenhetens andel betydande avvikelser redovisas. Stjärnmarkeringen är tänkt att underlätta utläsningen av resultaten då den tydligt markerar större avvikelser.

Tabell 2: Frågor om bedömningsprocessen

I samband med att skolenheten sänder in provkopior för ombedömning besvaras även ett antal frågor om hur bedömningsprocessen sett ut för dessa prov. Svaren redovisas i tabell 2. Frågorna om bedömningsprocessen är frivilliga för skolenheterna att besvara och samtycke måste ges för att de ska inkluderas i redovisningen. Därför kan antalet prov i tabell 2 skilja sig från det antal som redovisas i tabell 1.

Sammanställning för huvudman

Sammanställningen på huvudmannanivå ger en översikt över samtliga av huvudmannens skolenheter som varit föremål för ombedömning en given omgång. I sammanställningen redovisas andelen betydande avvikelser (minst två betygsstegs skillnad) mellan skolans och ombedömarnas bedömning samt andelen liknande bedömningar (samma eller ett betygsstegs skillnad). Den kursiverade siffran anger den genomsnittliga andelen avvikelser för samtliga skolenheter som deltagit i ombedömningen av det aktuella delprovet. En stjärna (*) markerar att skolenhetens andel betydande avvikelser är minst tio procentenheter högre än genomsnittet för det aktuella provet. Stjärnmarkerningen är ett stöd för att urskilja större skillnader.

Detaljerade resultat för vardera skolenhet återfinns i respektive skolenhets skolenhetsrapport.

Jämförelse med genomsnittet

Syftet med ombedömningen är att främja en likvärdig bedömning av de nationella proven och inte att uttala sig om enskilda provbetyg. Därför är det intressant att jämföra skolenhetens andel betydande avvikelser med den genomsnittliga andelen betydande avvikelser.

Anledningen till detta är att det intressanta och vad som är centralt för ombedömningsuppdraget är att skolenheter runt om i landet ska göra likvärdiga bedömningar i förhållande till varandra. Att bedömare runt om i landet tolkar och tillämpar bedömningsanvisningarna som följer med de nationella proven på ett likvärdigt sätt. Nedan tydliggörs resonemanget med ett exempel.

Om 20 % av de delprov som ombedömts vid en skolenhet fått ett delprovs betyg som är betydligt högre än ombedömarnas samtidigt som den genomsnittliga andelen avvikelser i denna riktning också är 20 %, finns ingen indikation på att skolenheten ifråga sätter högre provbetyg än genomsnittskolan. Att denna genomsnittsnivå innebär att skolenheter i snitt sätter ett högre provbetyg än ombedömarna är ur likvärdighetssynpunkt mindre intressant eftersom att skolenheterna ändå gör likvärdiga bedömningar av elevlösningar som bedöms hålla en viss nivå.

Fallet skulle vara ett annat om lärarna på en skolenhet på 20 % av delproven satt ett betydligt högre delprovsbetyg än ombedömarna samtidigt som den genomsnittliga andelen avvikelser i denna riktning är 5 %. Det skulle kunna utgöra en indikation på att skolenheten tenderar att sätta högre delprovsbetyg än genomsnittsskolan för en given nivå på elevprestationer och att likvärdigheten mellan skolenheter därmed skulle kunna ifrågasättas.

En hög avvikelsegrad i förhållande till andra skolenheter kan vara en indikation på att skolenheten behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till resultatet som granskas i Skolinspektionens tillsyn, inte resultaten/provbetygen i sig. Ombedömningen kan därför aldrig leda till att ett provbetyg som satts av en bedömare på en skolenhet ändras.

Att en skolenhets bedömningar av proven avviker från den genomsnittliga avvikelsen behöver dock inte betyda att skolenhetens bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika och de delprov som väljs ut för ombedömning är sådana där det inte finns tydliga ”rätt och fel svar".

Hur resultatet kan användas av huvudmän och rektorer

Resultaten från ombedömningen kan användas av huvudmän och skolenheter som underlag i deras systematiska kvalitetsarbete som rör bedömning och betygssättning.

Rektorer kan använda resultaten från ombedömningen för att uppmärksamma och jämföra hur de bedömningar som gjorts av lärare på skolenheten förhåller sig till ombedömarnas och andra skolenheters bedömningar. Resultatet kan vidare ligga till grund för en diskussion kring hur bedömningsprocesserna ser ut på skolenheten samt vilken betygskultur som råder.

Sammanställningen på huvudmannanivå ger huvudmannen möjlighet att snabbt skapa sig en uppfattning om hur huvudmannens skolenheter förhåller sig till varandra samt till samtliga skolenheter som skrivit samma prov. Detta kan huvudmannen göra genom att jämföra i vilken grad skolenheternas bedömningar avviker från ombedömarnas bedömningar samt genom att jämföra hur skolenheternas andel avvikelser förhåller sig till den genomsnittliga andelen betydande avvikelser.

Avviker någon skolenhet, sett till någon av dessa aspekter, kan det ses som en indikation på bristande likvärdighet och att det är lämpligt att se över processerna för bedömning och betygsättning, både på huvudmannanivå och skolenhetsnivå. Det kan både handla om bristande likvärdighet i form av betydande skillnader mellan huvudmannens skolenheter men det kan också handla om att huvudmannens skolenheter gör bedömningar som skiljer sig betydligt från genomsnittets.

Huvudmannen kan få mer information om en skolenhets resultat i respektive skolenhetsrapport. Samtliga skolenhetsrapporter finns tillgängliga på Skolverkets hemsida.

Mer information kring hur huvudmän och rektorer kan arbete med skolenheters bedömnings- och betygsprocesser finns på Skolverkets hemsida.