Lássuk, hogyan működik

-> Példaadatkészlet: Módosított iskolai naptáradatok -> Többszintű metaanalízis: Csak konstans modell -> Többszintű heterogenitás -> Többszintű metaregresszió és véletlen lejtők: Moderátorok beépítése -> Random-effects kovariancia struktúrák -> A véletlen hatások előrejelzése

Példaadatkészlet: Módosított iskolai naptáradatok

Számos tanulmány szerint a tanév végi hosszú nyári szünet a tanulók közötti tanulási különbségekhez vezet, mivel a tanulók a nyári tanulási lehetőségekhez való eltérő hozzáférése miatt a nyári időszakban eltérőek.

Cooper, Valentine és Melson (2003) többszintű metaanalízist végzett olyan iskolákról, amelyek a tanév meghosszabbítása nélkül módosították naptárukat. Az adathalmaz 56 tanulmányból áll, amelyeket 11 iskolai körzetben végeztek. Néhány iskola olyan módosított naptárat fogadott el, amely az év során gyakrabban tartalmazott rövidebb szüneteket (például 12 hét tanítás, majd 4 hét szünet), szemben a hagyományos naptárral, amely hosszabb nyári szünetet és rövidebb téli és tavaszi szüneteket tartalmazott. A tanulmányok összehasonlították a hagyományos és a módosított naptárat alkalmazó tanulók tanulmányi eredményeit. A hatásméret (stdmdiff) a standardizált átlagos különbség, ahol a pozitív értékek átlagosan magasabb teljesítményt jeleznek a módosított naptárat használó csoportban. Az stdmdiff standard hibáját (se) szintén minden tanulmány közölte. Először is írjuk le az adathalmazunkat:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Többszintű metaanalízis: Csak konstans modell

Mivel az iskolák a körzeteken belül egymásba ágyazva helyezkednek el, háromszintű véletlenszerű intercepts modellel dolgozunk. Ehhez két véletlen hatású egyenletet kell megadni: egyet a 3. szintre (amelyet a körzet változó azonosít) és egyet a 2. szintre (amelyet az iskola változó azonosít).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

Az első táblázat a hierarchia különböző szintjein lévő csoportokra vonatkozó információkat jeleníti meg, minden egyes csoportosításra (hierarchiaszintre) egy sorral.

A második táblázat a fix hatások együtthatóit mutatja. Itt csak egy intercept van, amely a θ^ általános hatásméretnek felel meg.

�^

. A θ

�

értéke 0,185, 95 %-os CI-vel [0,019, 0,35]. Ez azt jelenti, hogy a módosított iskolai naptárat követő tanulók átlagosan magasabb pontszámot értek el, mint azok, akik nem követték.

A harmadik táblázat a véletlen hatású paramétereket mutatja, amelyeket a többszintű vagy vegyes hatású modellek keretében hagyományosan varianciakomponensként ismerünk. A variancia-komponens becslések most az egyes szintek szerint vannak rendszerezve és felcímkézve. Alapértelmezés szerint a meta meregress minden szinten a véletlen interceptek (és korrelációk, ha léteztek a modellben) standard eltéréseit közli. Ehelyett azonban megadhatja a variancia opciót, hogy varianciákat (és kovarianciákat, ha léteztek a modellben) jelentsen. Nekünk τ3^=0.255

�3^=0.255

és τ2^=0.181

�2^=0.181

. Ezek az értékek a különböző hierarchiaszintek közötti heterogenitás értékelésének építőkövei, és jellemzően ebben az összefüggésben értelmezzük őket. Általában minél magasabb a τl

��

annál nagyobb heterogenitás várható az l szinten belüli csoportok között.

�

.

Alternatívaként ez a meta multilevel paranccsal is megadható a következőképpen:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

A meta többszintű parancsot a gyakorlatban gyakran használt, véletlen intervallumú meta-regressziós modellek illesztésére tervezték. Ez a meta meregress egy kényelmi csomagolása.

Többszintű heterogenitás

A hatásméretek közötti többszintű heterogenitás számszerűsítésére az estat heterogeneity posztbecslési parancsot használjuk.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

Cochran I2

I2

a heterogenitás mértékét számszerűsíti a hierarchia minden szintjére együttesen. I2=90.50%

I2=90,50%</math

azt jelenti, hogy a hatásméretek közötti eltérés 90,50%-a az adataink valódi heterogenitásából adódik, szemben a mintavételi eltéréssel. A többszintű Higgins-Thompson I2

I2

statisztikák a hierarchia egyes szintjeinek a teljes heterogenitáshoz való hozzájárulását értékelik, az együttes hozzájárulásuk mellett. Például az iskolák közötti heterogenitás vagy a körzeteken belüli heterogenitás (2. szintű heterogenitás) a legalacsonyabb, amely adataink teljes változatosságának körülbelül 32%-át teszi ki, míg a körzetek közötti heterogenitás (3. szintű heterogenitás) a teljes változatosság körülbelül 63%-át.

Többszintű metaregresszió és véletlen lejtők: Moderátorok beépítése

Az év_c változót háromszintű metaregresszió elvégzéséhez használjuk, és a kerület szintjén véletlenszerű meredekségeket (az év_c változónak megfelelően) veszünk figyelembe.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Az év_c változó regressziós együtthatójának becslése 0,006, 95%-os CI-vel [-0,015, 0,027] . Nem látunk bizonyítékot az stdmdiff és year_c közötti összefüggésre (p = 0,575).

Random-effects kovariancia struktúrák

Bár az év_c nem magyarázta a heterogenitást, szemléltetés céljából továbbra is moderátorként szerepeltetjük.

Alapértelmezés szerint a véletlen meredekségeket és a véletlen intercepteket (a kerület szintjén) függetlennek feltételezzük. Alternatívaként megadhatunk cserélhető kovariancia struktúrát is a covariance(exchangeable) opcióval. A fejlécet és az iterációs naplót elnyomjuk, és az eredményeket három tizedesvesszővel jelenítjük meg a noheader, nolog és cformat(%9.3f) opciók segítségével.

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Alternatívaként egyéni kovarianciastruktúrát is megadhatunk, ha a metszéspontok és meredekségek közötti korrelációt 0,5-ben rögzítjük, és lehetővé tesszük, hogy a szórásukat az adatokból becsüljük meg:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

A véletlen hatások előrejelzése

Az alábbiakban megjósoljuk a véletlen hatásokat a predict, reffects használatával, és a reses(, diagnostic) opció megadásával megkapjuk a diagnosztikai standard hibákat.

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Az u3 véletlen intervallumok a kerület-specifikus eltérések az általános átlagos hatásmérettől. Például a 18. kerület esetében a megjósolt standardizált átlagos különbség 0,14-gyel magasabb, mint az általános hatásméret.

Hivatkozás

Cooper, H., Valentine, J. C. és Melson, A. 2003. A módosított iskolai naptárak hatása a tanulók teljesítményére, valamint az iskolai és közösségi attitűdökre. Review of Educational Research 73: 1-52.