Hogyan méri az ActPol a tudásszintet, és mit teszünk közzé

A tudáskérdés szabálya

Egy tudáskérdésnek olyan válasza kell legyen, amelyet egy, velünk politikailag egyet nem értő szakértő is helyesnek fogadna el. Ha egy, a vita másik oldalán álló ésszerű szakértő vitatná a választ, a kérdés nem tudáskérdés — a véleménykérdések közé tartozik, vagy nem kerül be egyáltalán.

Ez egy mérce, nem formalitás. A „Biztonságos-e az atomenergia?” megbukik rajta, mert a „biztonságos” értékítélet. A „Nagyjából mekkora részét adta Magyarország villamosenergia-termelésének a Paks I. tavaly?” megfelel neki, mert egyetlen, hivatkozással alátámasztható válasza van.

Két kérdés, mindig ebben a sorrendben

Minden válaszadó egy rövid tudásfelmérést tölt ki egy témában, mielőtt véleményt mondana róla. A véleményt mindkét esetben rögzítjük — a tudásfelmérés utólag csoportokra osztja az eredményeket, sosem dönti el, kinek a véleménye számít.

Minden kérdéstípus — diagram címkézése, lépések sorba rendezése, feleletválasztós ténykérdés, vagy egy szám becslése — tartalmaz egy kifejezett „nem tudom” lehetőséget, amely nulla pontot ér, de nem számít rossz találgatásnak. A találgatásra kényszerítés a találgatási hajlandóságot mérné, nem a tudást — ezt nem érdemes közzétenni.

Hogyan lesz egy pontszámból kategória

Minden beküldött válasz tudásszint-pontszáma egyszerű százalék — az adott témában megszerzett pontok a megszerezhető pontok arányában —, amelyet a beküldés pillanatában tárolunk, együtt a kategóriahatárok akkor érvényes verziójával. Így a határok későbbi módosítása nem írja felül csendben egy korábbi, már hivatkozott eredményt.

A jelenlegi határok — kezdő 0–39, ismerős 40–64, tájékozott 65–84, szakértő 85–100 — kiindulási becslések, nem megállapítások. Egy próbaciklus lefutása után a tényleges pontszámeloszlás alapján állítjuk be őket, majd lezárjuk azt a verziót. Nem hangoljuk őket utólag azért, hogy egy ábra jobban mutasson — ezt teszi ellenőrizhetővé a minden eredményen szereplő verziószám.

Egy pont, ahol a pontozás valóban ellentmond a megérzésnek

Néhány kérdés sorba rendezést kér — egy folyamat szakaszait, egy ok-okozati lánc lépéseit. Ezeket nem jó-rossz alapon értékeljük, hanem azt nézzük, hogy a te sorrended összességében mennyire áll közel a helyeshez, egy bevett rangkorrelációs mérőszámmal. Így ha egy sorrend nagy részét nagyjából eltalálod, a pontok nagy részét megkapod.

Ennek a mérőszámnak van egy tulajdonsága, amelyet érdemes kimondani, mielőtt valaki maga fedezi fel és azt hiszi, titkoltuk: az *egész* elrendezést pontozza, ezért az számít, hogy a biztos tudásod hol helyezkedik el a listában. Egy ötelemű kérdésnél az utolsó három szakasz fordított sorrendben többet érhet, mint az első három helyes sorrendben — mert egy megfordított szakasz esetén a többi elempár nagy része még mindig helyes egymáshoz képest, míg két el nem helyezett elem esetén minden őket érintő pár hibás.

Ez a rangkorreláció valós tulajdonsága, nem hiba a kódunkban — és ezért nem engedi a sorrendkérdés részleges elrendezés beküldését: egy félig kész sorrend nem fél válasz, hanem másfajta válasz, és részpontként kezelni csendben igazságtalan lenne egy olyan irányba, amit senki nem látna. Helyezd el mindet, vagy válaszd a „Nem tudom” lehetőséget, amely őszintén nulla pontot ér, és soha nem jár érte levonás.

Van egy következménye arra nézve is, hogyan írjuk ezeket a kérdéseket, és ezt is inkább elmondjuk, mint hogy kikövetkeztessék: mivel az elrendezés elölről épül, az a kérdés, amelynek a közepe könnyebben tudható, mint az eleje, alulértékeli a válaszadót. A sorrendkérdéseket ezért egyértelmű első lépéssel írjuk.

Ki írja a kérdést, és ki ellenőrzi

Egy kérdés megírása egy konkrét, rögzített forrás alapján történik — nem utólag keresett forrás alapján, hogy alátámasszon egy már kiválasztott választ. Aki jóváhagy egy kérdést, nem lehet annak szerzője; ezt közvetlenül kikényszerítjük, nem csak elvárjuk.

Mielőtt egy kérdés élesbe kerülne, valaki másnak el kell fogadnia a megoldókulcsot — ideális esetben egy külső lektornak, méghozzá olyannak, akiről nem várható, hogy egyetértene azzal, amerre a csapat politikailag állni feltételezhető. Ezt a külső ellenőrzést még egyetlen kérdésen sem végeztük el; az első téma erre vár, mielőtt élesbe kerülne, és tudáskérdés enélkül nem jelenik meg.

Mi lesz nyilvános, és mikor

Amíg egy ciklus nyitva van, a megoldókulcs sehol máshol nem olvasható, csak abban az adatbázisban, amely a felmérést futtatja — egy nyitott megoldókulcs csak egy puskát jelentene. Abban a pillanatban, hogy egy ciklus lezárul, ez megváltozik: a kulcs és a hivatkozása az adott kérdés nyilvános részévé válik, bárki ellenőrizheti.

Ez a közzétételi mechanizmus már létezik az adatbázisban. Ami még nem létezik, az egy oldal, ahonnan böngészhető — minden lezárt ciklus kérdései, válaszai és forrásai saját oldalat kapnak majd.

Amit nem fogunk állítani

Mindenki, aki részt vesz, önként jelentkezett — senkit nem mintavétellel választottunk ki, hogy egy országot képviseljen, és ezen utólagos számolgatás sem változtat. Ezért sosem teszünk közzé olyan ábrát, amely szerint „a magyarok 68%-a”, vagy amely egy ország lakosságának nevében szólal meg — csak azt, amit az ActPol válaszadói mondtak, abban a ciklusban.

Amit egy ciklus számai alátámasztanak, és amit közzé is teszünk, az az, hogy egy adott kérdésben mennyivel tért el egymástól azok véleménye, akik alá tudták támasztani az álláspontjukat, és azoké, akik nem. Ez az összehasonlítás akkor is megállja a helyét, ha a minta nem reprezentatív — egy országos hangzású nyers szám nem állná meg.

Gyakori ellenvetések

Ez nem éppen azt dönti el, kinek a véleménye számít?

Nem — minden válaszadó véleményét rögzítjük és közzétesszük, összesítve és kategóriánként is. A tudásfelmérés csak egy további metszet ugyanazokon az eredményeken, nem szűrő, hogy ki számít bele.

A tudáskérdéseik nem egyszerűen a saját politikai nézeteiket kódolják?

Ez a valódi kockázat, és emiatt van szükség hivatkozásra minden kérdésnél, emiatt nem lehet a jóváhagyó azonos a szerzővel, és emiatt válik nyilvánossá minden megoldókulcs a ciklus lezárása után. Ez nem garancia — hanem bárki által, néhány héten belül ellenőrizhető bizonyíték.

A tudásszint valószínűleg összefügg az iskolázottsággal, jövedelemmel és korral — ez nem egyszerűen az eleve jobb helyzetűek felé billenti a mérleget?

Részben valószínűleg igaz, és inkább közzétesszük, mint hogy vitatkozzunk ellene. Minden kategória hozzávetőleges demográfiai összetételét közzétesszük a véleményével együtt. Ha a „szakértő” kategória egy témában mindig ugyanolyan típusú emberekből áll, az az eszközről szóló valódi megállapítás, amelyet jelentünk, nem elsimítunk.

Nem fogják egyszerűen kikeresni a választ?

Néhányan igen — és aki egy kérdés közben utánanéz valaminek, valós értelemben tájékozottabbá vált róla. Az számít, hogy a nyitott megoldókulcs nem olvasható ki közvetlenül az oldalból, és hogy rögzítjük, mennyi ideig tartott a válaszadás, így egy valószínűtlenül gyors kitöltés utólag megtalálható és megvizsgálható.

Amit nem próbálunk megcsinálni

Nincs adaptív nehézség, nincs válaszadónkénti, témákon átívelő képességbecslés. Mindkettő valódi technika, és mindkettő nehezebbé tenné a pontozás egy mondatban való elmagyarázását — az érthetőség itt többet ér, mint egy kicsivel nagyobb pontosság.