Abschlussstatistiken und Möglichkeiten zum Ranking

Es gibt im Moment in FlexNow vier drei verschiedene Möglichkeiten, Abschlüsse von Studierenden in ein Ranking bzw. einen statistischen Rahmen zu bringen. Diese sind:

ECTS-Ranking

Einstufungstabellen

Notenverteilungstabellen ab Version 10/2019 nicht mehr

Abschlussstatistik

Die vier Verfahren werden hier gegenübergestellt und erläutert. (Dieser Text stellt keine Bedienungsanleitung dar. Bedienungsanleitungen sind unter dem jeweiligen Stichwort zu finden.)

1. Was wird berechnet?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
Grad von A bis E, über eine prozentuale Verteilung	Anzahl der Abschlüsse innerhalb bestimmter Intervalle Definition der Intervalle über Notentabellen	Prozentzahl der Abschlüsse innerhalb bestimmter Intervalle Definition der Intervalle über Notentabellen	Durchschnittsnote, Mediannote, Kohortengröße, Rang, Perzentil

Beim ECTS-Ranking stehen zwei verschiedene Verfahren zur Verfügung, das absolute und das relative Verfahren.

Beim relativen Berechnungsverfahren wird zunächst die Gesamtzahl der Studierenden festgestellt. Daraus wird jeweils über die vorgeschriebenen Prozentsätze ermittelt, wie viele Studierende ein A, wie viele ein B, usw. erhalten sollen.

Dazu ein Beispiel:

Absolventen	Grad	%Soll	Anzahl SOLL	Anzahl IST
31	A	10	3,1	4
B	25	7,75	8
C	30	9,3	10
D	25	7,75	8
E	10	3,1	1
Summe:	31

In diesem Beispiel sind die ersten 10% der 31 Absolventen gleich 3,1 Personen. Hier muss auf 4 Studierende aufgerundet werden. Entsprechend wird bei den anderen Graden aufgerundet, was dazu führt, dass am Ende nur eine Person den Grad E erhält, da nicht mehr Studierende übrig sind.

Beim absoluten Verfahren wird hingegen berücksichtigt, wie viele Studierende schon ihr Ranking erhalten haben.

Absolventen	Grade	%Soll	Anzahl Soll	Anz. Aufrunden	Anzahl IST
31	A	10	3,1	4	4
B	25	10,85	11	7
C	30	20,15	21	10
D	25	27,9	28	7
E	10	31	31	3
Summe:	31

Im Beispiel erhalten die ersten vier Studierenden den Grad A. Als nächstes wird davon ausgegangen, dass die ersten 35 % (entspricht 10,85, aufgerundet 11 Personen) Grad A oder B erhalten sollen. Da bereits 4 Studierende ein A bekommen haben, sind diese von denn 11 abzuziehen; es bleiben 7 Studierende, die nun Grad B erhalten. Entsprechend erfolgt die Berechnung der restlichen Grade.

Für beide Verfahren kann die Genauigkeit, d.h. die Anzahl der zu berücksichtigenden Dezimalstellen, gesteuert werden.

Für die Einstufungstabellen werden pro Studiengang und Zeugnistyp Noten-Intervalle gebildet und jeweils gezählt, wie viele Abschlüsse innerhalb eines Intervalls liegen. Die Bildung der Intervalle erfolgt frei konfigurierbar anhand von Notentabellen, so dass ggf. für unterschiedliche Bewertungssysteme auch unterschiedliche Intervalle herangezogen werden können.

Es wird außerdem die Gesamtzahl an Abschlüssen einer Art (Kohortengröße) sowie das Semester des ältesten berücksichtigten Abschluss gespeichert.

Sehr ähnlich verhalten sich die Notenverteilungstabellen. Auch hier werden anhand der Notentabellen Intervalle gebildet und die Abschlüsse gezählt, deren Noten in den Intervallen liegen. Daraus werden Prozentzahlen errechnet. Die absoluten Zahlen sind, falls gewünscht, ebenfalls verfügbar.

Die Abschlussstatistik berechnet für jedes Zeugnis in einer gleitenden Kohorte die folgenden Daten:

Durchschnittsnote

Mediannote

Kohortengröße

Rang der/s Studierenden

Perzentil der/s Studierenden

Das Perzentil wird anhand dieser Formel berechnet:

„where cℓ is the count of all scores less than the score of interest, ƒi is the frequency of the score of interest, and N is the number of examinees in the sample.” [Quelle: http://en.wikipedia.org/wiki/Percentile_rank]

2. Wo im Programm wird berechnet?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
im PD-Modul, für eine komplette Kohorte, immer innerhalb eines Semesters	im PD-Modul, für alle Studiengänge gleichzeitig, nur einmal im Semester möglich	im PA- oder PD-Modul, jeweils bei der Zeugnisberechnung, für jede*n Studierende*n individuell	im PA- oder PD-Modul, jeweils bei der Zeugnisberechnung, für jede*n Studierende*n individuell

Das ECTS-Ranking erfolgt eigentlich immer in einer Massenberechnung. Es wäre daher sinnvoll, bis zum Ende eines Semesters zu warten, so dass alle nötigen Abschlüsse vorliegen, bevor das Berechnungsverfahren durchgeführt wird.

Das Schreiben eines berechneten Rangs ist nur für die Abschlüsse des zu berechnenden Semesters und innerhalb der aufgerufenen Prüfungsordnung möglich. Wird nachträglich festgestellt, dass noch Abschlüsse hinzugekommen sind, kann das Ranking für diese in einer weiteren Berechnung nachgeholt werden. Bei der Bildung der Kohorte können auch Abschlüsse aus vorangegangenen Semestern mit einbezogen werden, deren Grad dabei aber natürlich unverändert bleibt.

Ein Ranking für ein einzelnes Zeugnis ist damit zwar technisch möglich. Wie sinnvoll ein solches Vorgehen ist, müsste jedoch anhand der jeweiligen Rahmenbedingungen geklärt werden.

Auch die Einstufungstabellen werden in einem Massenverfahren berechnet. Diese Berechnung wird für alle Studiengänge bzw. Abschlusstypen gleichzeitig gestartet und kann nur einmal pro Semester durchgeführt werden. Auch hier ist es also wichtig, den Zeitpunkt für die Berechnung sorgfältig zu wählen.

Die Notenverteilungstabellen und Abschlussstatistiken hingegen werden für jedes einzelne Zeugnis individuell berechnet. Die Berechnung kann pro Zeugnistyp aktiviert werden. Bei der Berechnung für eine*n Studierende*n wird dann im Anschluss an die eigentliche Zeugnisrechnung und Notenbildung eine Notenverteilungstabelle bzw. Statistik aufgrund der bereits vorliegenden Abschlüsse erzeugt.

3. Was sind die Berechnungsgrundlagen und wie werden Vergleichsgruppen gebildet?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
einfache oder komplexe Zeugnisse, Vergleichsgruppen innerhalb eines Studiengangs, über POs	einfache Zeugnisse oder komplexe Zeugnisse (bzw. Zeugnispositionen), Vergleichsgruppen: einfach: je Zeugnistyp innerhalb eines Studiengangs, komplex: je Zeugnisart bzw. Position	einfache oder komplexe Zeugnisse, Vergleichsgruppen innerhalb eines Studiengangs, über POs	einfache Zeugnisse, Vergleichsgruppen innerhalb eines Studiengangs über PO und je Zeugnistyp

ECTS-Ranking, Einstufungstabellen und Notenverteilungstabellen können jeweils für einfache oder komplexe Abschlüsse gebildet werden. Bei der Einstufungstabelle gibt es noch eine weitere Einstellungsmöglichkeit, so dass hier beim komplexen Zeugnis auch die Zeugnispositionen als Berechnungsgrundlage dienen können.

Die Abschlussstatistik erlaubt nur einfache Zeugnisse als Berechnungsgrundlage. Komplexe Zeugnisse waren hier bisher nicht angefordert.

Bei der Bildung von Vergleichsgruppen bewegen sich das ECTS-Ranking und die Notenverteilungstabellen immer innerhalb eines Studiengangs. Hier ist es möglich, verschiedene Prüfungsordnungen (POs) zu einer Vergleichsgruppe zuzuordnen. Sofern dies nicht erfolgt, wird jede Prüfungsordnung getrennt betrachtet. Als zusätzliches Kriterium kommt der Zeugnistyp hinzu.

Bei den Einstufungstabellen spielt die Prüfungsordnung für die Vergleichsgruppenbildung keine Rolle. Hier wird innerhalb eines Studiengangs lediglich der Zeugnistyp als Kriterium für eine Gruppierung herangezogen.

Die Abschlussstatistik berücksichtigt hingegen sowohl den Zeugnistyp als auch die Prüfungsordnung innerhalb eines Studiengangs. Auch hier können Vergleichsgruppen definiert werden und darüber Prüfungsordnungen zusammengefasst werden.

Bei der Modellierung ist daher zu beachten, welche Auswertungen später einmal stattfinden sollen und wie die Gruppenbildung erfolgen soll.

4. Wie wird der Zeitrahmen für die Berechnung festgelegt?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
im PD-Modul frei wählbar, Semester oder Datum von… bis… , Daten aus dem Berechnungs-semester können nicht ausgeschlossen werden	im PO-Modul modellierbar, in Semestern, Daten aus dem Berechnungssemester werden immer ausgenommen	im PO-Modul modellierbar, in Tagen, gleitend ausgehend vom Zeugnisdatum	im PO-Modul modellierbar, in Jahren, gleitend ausgehend vom Zeugnisdatum

Beim ECTS-Ranking ist zu beachten, dass die Daten des Semesters, für das berechnet wird, nicht aus der Berechnung ausgeschlossen werden können. D.h. die Studierenden, für deren Zeugnisse das Ranking erfolgt, sind immer auch Teil der Kohorte.

Bei den Einstufungstabellen ist es umgekehrt. Studierende, die eine Einstufungstabelle eines bestimmten Semesters erhalten, sind nie Teil der Kohorte. In der Regel erhält jede*r Absolvent*in die Einstufungstabelle des Semesters, das dem Abschluss vorangegangen ist.

Bei den Notenverteilungstabellen und der Abschlussstatistik werden gleitende Kohorten verwendet. Jedes neue Zeugnis wird der Kohorte hinzugefügt.

5. Wie soll mit sehr kleinen Kohorten umgegangen werden?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
Warnmeldung, Berechnung ist trotzdem möglich, Mindestkohorte in der Modellierung einstellbar	Es wird nicht berechnet. Ein Hinweis wird ausgegeben. Mindestkohorte in der Modellierung einstellbar

Beim ECTS-Ranking sowie bei den Notenverteilungstabellen kann jeweils eine Mindestkohortengröße hinterlegt werden. Beim Unterschreiten dieser Mindestgrenze wird beim ECTS-Ranking eine Warnmeldung ausgegeben. Eine Berechnung ist dennoch möglich; je nach Datenlage – insbesondere bei häufig auftretender Notengleichheit - kann es dabei allerdings zu Lücken in der Gradverteilung kommen. Notenverteilungstabellen werden bei einer zu kleinen Kohorte nicht berechnet. In diesem Fall wird ein entsprechender Hinweis ausgegeben.

Einstufungstabellen sowie Abschlussstatistik arbeiten ohne Mindestkohorte. Damit für spätere Leserinnen und Leser ersichtlich ist, worauf sich die Auswertung bezieht, wird die Größe der Gesamtkohorte explizit mit angegeben.

6. Wo erfolgt die Ausgabe?

ECTS-Ranking	Einstufungstabellen	Notenverteilungstabellen	Abschlussstatistik
FN oder FN2	FN2	Noch ungeklärt, vermutlich FN2	FN