Să vedem cum funcționează

-> Exemplu de set de date: Date modificate privind calendarul școlar -> Meta-analiză pe mai multe niveluri: Modelul numai constant -> Eterogenitate pe mai multe niveluri -> Meta-regresie multinivel și pante aleatoare: Încorporarea moderatorilor -> Structuri de covarianță cu efecte aleatorii -> Predicția efectelor aleatorii

Exemplu de set de date: Date modificate privind calendarul școlar

Multe studii sugerează că pauza lungă de vară de la sfârșitul anului școlar este legată de un decalaj de învățare între elevi, din cauza accesului diferențiat al elevilor la oportunitățile de învățare pe timpul verii.

Cooper, Valentine și Melson (2003) au efectuat o meta-analiză pe mai multe niveluri privind școlile care și-au modificat calendarul fără a prelungi anul școlar. Setul de date este format din 56 de studii care au fost efectuate în 11 districte școlare. Unele școli au adoptat calendare modificate care prezentau pauze mai scurte și mai frecvente pe parcursul anului (de exemplu, 12 săptămâni de școală urmate de 4 săptămâni libere), spre deosebire de calendarul tradițional cu o pauză de vară mai lungă și pauze de iarnă și primăvară mai scurte. Studiile au comparat rezultatele școlare ale elevilor cu un calendar tradițional cu cele ale celor cu un calendar modificat. Mărimea efectului (stdmdiff) este diferența medie standardizată, valorile pozitive indicând rezultate mai bune, în medie, în grupul care a urmat calendarul modificat. Eroarea standard (se) a stdmdiff a fost, de asemenea, raportată de fiecare studiu. Să descriem mai întâi setul nostru de date:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Meta-analiză pe mai multe niveluri: Modelul numai constant

Deoarece școlile sunt imbricate în cadrul districtelor, am aplicat un model cu trei niveluri cu intervale aleatorii. Acest lucru necesită să specificăm două ecuații cu efecte aleatorii: una pentru nivelul 3 (identificat prin variabila district) și una pentru nivelul 2 (identificat prin variabila școală).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

Primul tabel afișează informații privind grupurile la diferite niveluri ierarhice, cu câte un rând pentru fiecare grupare (nivel ierarhic).

Al doilea tabel afișează coeficienții cu efecte fixe. Aici există doar o interceptare corespunzătoare mărimii efectului global θ^

�^

. Valoarea lui θ

�

este de 0,185 cu un IC de 95% de [0,019, 0,35]. Acest lucru înseamnă că, în medie, elevii care au urmat calendarul școlar modificat au obținut scoruri mai mari decât cei care nu au urmat acest calendar.

Cel de-al treilea tabel prezintă parametrii efectelor aleatorii, cunoscuți în mod tradițional drept componente ale varianței în contextul modelelor cu mai multe niveluri sau cu efecte mixte. Estimările componentelor de varianță sunt acum organizate și etichetate în funcție de fiecare nivel. În mod implicit, meta meregress raportează abaterile standard ale interceptărilor aleatorii (și corelațiile, dacă acestea au existat în model) la fiecare nivel. Dar puteți specifica în schimb opțiunea variance pentru a raporta varianțele (și covarianțele, dacă acestea au existat în model). Avem τ3^=0,255

�3^=0.255

și τ2^=0,181

�2^=0.181

. Aceste valori sunt elementele de bază pentru evaluarea eterogenității pe diferite niveluri ierarhice și sunt interpretate în mod obișnuit în acest context. În general, cu cât este mai mare valoarea lui τl

��

, cu atât mai multă eterogenitate este de așteptat între grupurile din cadrul nivelului l

�

.

Alternativ, acest lucru poate fi specificat utilizând comanda meta multilevel, după cum urmează:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

Comanda meta multilevel a fost concepută pentru a se potrivi modele de meta-regresie cu valori aleatorii, care sunt utilizate în mod obișnuit în practică. Este un înveliș convenabil pentru meta meregress.

Eterogenitate pe mai multe niveluri

Vom utiliza comanda de postestimare estat heterogeneity pentru a cuantifica eterogenitatea pe mai multe niveluri între dimensiunile efectului.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

I2 al lui Cochran

I2

cuantifică nivelul de eterogenitate în comun pentru toate nivelurile ierarhice. I2=90.50%

I2=90,50%</math

înseamnă că 90,50% din variabilitatea dintre mărimile efectului se datorează eterogenității reale din datele noastre, spre deosebire de variabilitatea eșantionării. Indicele Higgins-Thompson I2

I2

evaluează contribuția fiecărui nivel ierarhic la eterogenitatea totală, în plus față de contribuția lor comună. De exemplu, eterogenitatea între școli sau eterogenitatea în cadrul districtelor (eterogenitatea de nivel 2) este cea mai scăzută, reprezentând aproximativ 32 % din variația totală din datele noastre, în timp ce eterogenitatea între districte (eterogenitatea de nivel 3) reprezintă aproximativ 63 % din variația totală.

Meta-regresie multinivel și pante aleatoare: Încorporarea moderatorilor

Vom utiliza variabila year_c pentru a realiza o meta-regresie pe trei niveluri și vom include pante aleatorii (corespunzătoare variabilei year_c) la nivel de district.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Estimarea coeficientului de regresie al variabilei year_c este de 0,006 cu un IC 95% de [-0,015, 0,027] . Nu observăm nicio dovadă a asocierii dintre stdmdiff și year_c (p = 0,575).

Structuri de covarianță cu efecte aleatorii

Deși anul_c nu a explicat eterogenitatea, continuăm să îl includem ca moderator în scop ilustrativ.

În mod implicit, pantele și interceptările aleatorii (la nivel de district) sunt presupuse independente. Alternativ, putem specifica o structură de covarianță interschimbabilă folosind opțiunea covariance(exchangeable). Suprimăm antetul și jurnalul iterațiilor și afișăm rezultatele cu trei zecimale utilizând opțiunile noheader, nolog și cformat(%9.3f).

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Alternativ, putem specifica o structură de covarianță personalizată, fixând corelația dintre intercepte și pante la 0,5 și permițând ca abaterile lor standard să fie estimate din date:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Predicția efectelor aleatorii

Mai jos, vom prezice efectele aleatorii folosind predict, reffects și vom obține erorile standard de diagnosticare ale acestora prin specificarea opțiunii reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Interceptele aleatorii u3 sunt abateri specifice fiecărui district de la mărimea medie globală a efectului. De exemplu, pentru districtul 18, diferența medie standardizată prezisă este cu 0,14 mai mare decât mărimea generală a efectului.

Referință

Cooper, H., Valentine, J. C., și Melson, A. 2003. Efectele calendarelor școlare modificate asupra rezultatelor elevilor și asupra atitudinilor școlare și ale comunității. Review of Educational Research 73: 1-52.