Wir wollen sehen, wie es funktioniert

-> Beispiel-Datensatz: Geänderte Schulkalenderdaten -> Mehrebenen-Meta-Analyse: Nur-konstantes Modell -> Heterogenität auf mehreren Ebenen -> Mehrebenen-Meta-Regression und zufällige Steigungen: Einbeziehung von Moderatoren -> Kovarianzstrukturen mit zufälligen Effekten -> Vorhersage von Zufallseffekten

Beispiel-Datensatz: Geänderte Schulkalenderdaten

Viele Studien deuten darauf hin, dass die lange Sommerpause am Ende des Schuljahres mit einem Lerngefälle zwischen den Schülern zusammenhängt, das auf den unterschiedlichen Zugang der Schüler zu Lernmöglichkeiten im Sommer zurückzuführen ist.

Cooper, Valentine und Melson (2003) führten eine mehrstufige Meta-Analyse über Schulen durch, die ihren Kalender änderten, ohne das Schuljahr zu verlängern. Der Datensatz besteht aus 56 Studien, die in 11 Schulbezirken durchgeführt wurden. Einige Schulen führten modifizierte Kalender ein, die im Laufe des Jahres häufiger kürzere Pausen vorsahen (z. B. 12 Wochen Schule, gefolgt von 4 Wochen Pause), im Gegensatz zum traditionellen Kalender mit einer längeren Sommerpause und kürzeren Winter- und Frühjahrspausen. In den Studien wurden die akademischen Leistungen von Schülern mit einem traditionellen Kalender mit denen mit einem modifizierten Kalender verglichen. Die Effektgröße (stdmdiff) ist der standardisierte Mittelwertunterschied, wobei positive Werte auf eine durchschnittlich höhere Leistung in der Gruppe mit dem modifizierten Kalender hinweisen. Der Standardfehler (se) von stdmdiff wurde ebenfalls von jeder Studie angegeben. Lassen Sie uns zunächst unseren Datensatz beschreiben:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Mehrebenen-Meta-Analyse: Nur-konstantes Modell

Da die Schulen in den Bezirken verschachtelt sind, verwenden wir ein Drei-Ebenen-Modell mit zufälligen Abschnitten. Dies erfordert, dass wir zwei Gleichungen mit zufälligen Effekten angeben: eine für Ebene 3 (identifiziert durch die Variable Bezirk) und eine für Ebene 2 (identifiziert durch die Variable Schule).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

Die erste Tabelle enthält Informationen über Gruppen auf verschiedenen Hierarchieebenen mit einer Zeile für jede Gruppierung (Hierarchieebene).

Die zweite Tabelle zeigt die Koeffizienten der festen Effekte. Hier gibt es nur einen Intercept, der der Gesamteffektgröße θ^

�^

. Der Wert von θ

�

beträgt 0,185 mit einem 95%-KI von [0,019, 0,35]. Dies bedeutet, dass die Schüler, die den geänderten Schulkalender befolgten, im Durchschnitt bessere Ergebnisse erzielten als diejenigen, die dies nicht taten.

Die dritte Tabelle zeigt die Parameter der zufälligen Effekte, die traditionell als Varianzkomponenten im Kontext von Mehrebenen- oder Mixed-Effects-Modellen bekannt sind. Die Varianzkomponentenschätzungen sind nun nach den einzelnen Ebenen geordnet und beschriftet. Standardmäßig gibt meta meregress die Standardabweichungen der zufälligen Achsenabschnitte (und Korrelationen, falls sie im Modell vorhanden sind) auf jeder Ebene an. Sie können jedoch stattdessen die Option variance angeben, um die Varianzen (und Kovarianzen, falls sie im Modell vorhanden sind) auszugeben. Wir haben τ3^=0.255

�3^=0.255

und τ2^=0,181

�2^=0.181

. Diese Werte sind die Bausteine für die Bewertung der Heterogenität über verschiedene Hierarchieebenen hinweg und werden in der Regel in diesem Zusammenhang interpretiert. Im Allgemeinen gilt, je höher der Wert von τl

��

ist, desto mehr Heterogenität wird zwischen den Gruppen innerhalb der Ebene l erwartet

�

.

Alternativ kann dies mit dem Befehl meta multilevel wie folgt spezifiziert werden:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

Der Befehl meta multilevel wurde entwickelt, um Meta-Regressionsmodelle mit zufälligen Abschnitten anzupassen, die in der Praxis häufig verwendet werden. Es handelt sich dabei um einen praktischen Wrapper für meta meregress.

Heterogenität auf mehreren Ebenen

Wir werden den Postestimationsbefehl estat heterogeneity verwenden, um die mehrstufige Heterogenität der Effektgrößen zu quantifizieren.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

Cochrans I2

I2

quantifiziert den Grad der Heterogenität für alle Hierarchieebenen gemeinsam. I2=90.50%

I2=90,50%</math

bedeutet, dass 90,50 % der Variabilität zwischen den Effektgrößen auf echte Heterogenität in unseren Daten zurückzuführen ist und nicht auf die Variabilität der Stichprobe. Der mehrstufige Higgins-Thompson I2

I2

Statistiken bewerten den Beitrag der einzelnen Hierarchieebenen zur Gesamtheterogenität zusätzlich zu ihrem gemeinsamen Beitrag. So ist beispielsweise die Heterogenität zwischen den Schulen oder innerhalb der Bezirke (Heterogenität der Ebene 2) am geringsten und macht etwa 32 % der Gesamtvariation in unseren Daten aus, während die Heterogenität zwischen den Bezirken (Heterogenität der Ebene 3) etwa 63 % der Gesamtvariation ausmacht.

Mehrebenen-Meta-Regression und zufällige Steigungen: Einbeziehung von Moderatoren

Wir werden die Variable Jahr_c verwenden, um eine Meta-Regression auf drei Ebenen durchzuführen und zufällige Steigungen (entsprechend der Variable Jahr_c) auf der Ebene der Bezirke einzubeziehen.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Der geschätzte Regressionskoeffizient für die Variable year_c beträgt 0,006 mit einem 95% CI von [-0,015, 0,027] . Es gibt keinen Hinweis auf einen Zusammenhang zwischen stdmdiff und year_c (p = 0,575).

Kovarianzstrukturen mit zufälligen Effekten

Obwohl das Jahr_c die Heterogenität nicht erklärt hat, wird es zur Veranschaulichung weiterhin als Moderator einbezogen.

Standardmäßig werden die zufälligen Steigungen und zufälligen Achsenabschnitte (auf Bezirksebene) als unabhängig angenommen. Alternativ können wir mit der Option covariance(exchangeable) eine austauschbare Kovarianzstruktur angeben. Wir unterdrücken die Kopfzeile und das Iterationsprotokoll und zeigen die Ergebnisse mit drei Dezimalpunkten an, indem wir die Optionen noheader, nolog und cformat(%9.3f) verwenden.

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Alternativ können wir eine benutzerdefinierte Kovarianzstruktur angeben, indem wir die Korrelation zwischen den Achsenabschnitten und Steigungen auf 0,5 festlegen und zulassen, dass ihre Standardabweichungen anhand der Daten geschätzt werden:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Vorhersage von Zufallseffekten

Im Folgenden werden die zufälligen Effekte mit predict, reffects vorhergesagt und ihre diagnostischen Standardfehler durch Angabe der Option reses(, diagnostic) ermittelt.

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Die Zufallsintervalle u3 sind distriktspezifische Abweichungen von der mittleren Gesamteffektgröße. Zum Beispiel ist für den Bezirk 18 die vorhergesagte standardisierte mittlere Differenz um 0,14 höher als die Gesamteffektgröße.

Referenz

Cooper, H., Valentine, J. C., und Melson, A. 2003. Die Auswirkungen von geänderten Schulkalendern auf die Leistungen der Schüler und auf die Einstellung von Schule und Gemeinde. Review of Educational Research 73: 1-52.