Podívejme se, jak to funguje

-> Příklad datové sady: Modifikovaná data školního kalendáře -> Víceúrovňová metaanalýza: Pouze konstantní model -> Víceúrovňová heterogenita -> Víceúrovňová metaregrese a náhodné sklony: Zahrnutí moderátorů -> Kovarianční struktury s náhodnými efekty -> Předpovídání náhodných efektů

Příklad datové sady: Modifikovaná data školního kalendáře

Mnohé studie naznačují, že dlouhé letní prázdniny na konci školního roku jsou spojeny s rozdíly v učení mezi žáky, protože žáci mají v létě rozdílný přístup k možnostem učení.

Cooper, Valentine a Melson (2003) provedli víceúrovňovou metaanalýzu škol, které upravily své kalendáře bez prodloužení školního roku. Soubor dat se skládá z 56 studií, které byly provedeny v 11 školských obvodech. Některé školy přijaly modifikované kalendáře, které obsahovaly kratší přestávky častěji během roku (například 12 týdnů školy a následně 4 týdny volna) na rozdíl od tradičního kalendáře s delšími letními a kratšími zimními a jarními přestávkami. Studie porovnávaly studijní výsledky žáků s tradičním kalendářem a žáků s upraveným kalendářem. Velikost účinku (stdmdiff) je standardizovaný průměrný rozdíl, přičemž kladné hodnoty znamenají v průměru vyšší výsledky ve skupině s upraveným kalendářem. U každé studie byla uvedena také standardní chyba (se) stdmdiff. Nejprve popišme náš soubor dat:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Víceúrovňová metaanalýza: Pouze konstantní model

Vzhledem k tomu, že školy jsou vnořeny do okresů, použili jsme tříúrovňový model s náhodnými vstupy. To vyžaduje, abychom zadali dvě rovnice náhodných efektů: jednu pro úroveň 3 (identifikovanou proměnnou okres) a jednu pro úroveň 2 (identifikovanou proměnnou škola).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

První tabulka zobrazuje informace o skupinách na různých úrovních hierarchie s jedním řádkem pro každé seskupení (úroveň hierarchie).

Druhá tabulka zobrazuje koeficienty fixních efektů. Zde je uvedena pouze intercepce odpovídající celkové velikosti účinku θ^

�^

. Hodnota θ

�

je 0,185 s 95% CI [0,019, 0,35]. To znamená, že žáci, kteří se řídili upraveným školním kalendářem, dosáhli v průměru vyšších výsledků než ti, kteří se jím neřídili.

Třetí tabulka zobrazuje parametry náhodných efektů, tradičně známé jako složky rozptylu v kontextu víceúrovňových modelů nebo modelů se smíšenými efekty. Odhady složek rozptylu jsou nyní uspořádány a označeny podle jednotlivých úrovní. Ve výchozím nastavení meta meregress uvádí standardní odchylky náhodných interceptů (a korelací, pokud v modelu existovaly) na každé úrovni. Místo toho však můžete zadat volbu variance, aby byly uváděny rozptyly (a kovariance, pokud v modelu existovaly). Máme τ3^=0,255

�3^=0.255

a τ2^=0,181

�2^=0.181

. Tyto hodnoty jsou základními kameny pro hodnocení heterogenity na různých hierarchických úrovních a obvykle se v tomto kontextu interpretují. Obecně platí, že čím vyšší je hodnota τl

��

, tím větší heterogenita se očekává mezi skupinami v rámci úrovně l

�

.

Alternativně lze tuto hodnotu zadat pomocí příkazu meta multilevel následujícím způsobem:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

Příkaz meta multilevel byl navržen tak, aby vyhovoval meta-regresním modelům s náhodnými vstupy, které se v praxi běžně používají. Jedná se o pohodlný obal pro meta meregress.

Víceúrovňová heterogenita

Ke kvantifikaci víceúrovňové heterogenity mezi velikostmi efektů použijeme postestimulační příkaz estat heterogeneity.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

Cochranova I2

I2

kvantifikuje míru heterogenity společně pro všechny úrovně hierarchie. I2=90.50%

I2=90,50 %</math

znamená, že 90,50 % variability mezi velikostmi účinků je způsobeno skutečnou heterogenitou našich údajů na rozdíl od variability výběru. Víceúrovňová Higginsova-Thompsonova I2

I2

statistiky hodnotí příspěvek jednotlivých úrovní hierarchie k celkové heterogenitě kromě jejich společného příspěvku. Například heterogenita mezi školami nebo heterogenita v rámci okresů (heterogenita 2. úrovně) je nejnižší a představuje asi 32 % celkové variability našich dat, zatímco heterogenita mezi okresy (heterogenita 3. úrovně) představuje asi 63 % celkové variability.

Víceúrovňová metaregrese a náhodné sklony: Zahrnutí moderátorů

Proměnnou rok_c použijeme k provedení tříúrovňové meta-regrese a zahrneme náhodné sklony (odpovídající proměnné rok_c) na úrovni okresu.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Odhad regresního koeficientu proměnné rok_c je 0,006 s 95% CI [-0,015, 0,027] . Nevidíme žádný důkaz pro souvislost mezi stdmdiff a year_c (p = 0,575).

Kovarianční struktury s náhodnými efekty

Přestože rok_c nevysvětlil heterogenitu, pro ilustraci jej nadále uvádíme jako moderátor.

Ve výchozím nastavení se předpokládá, že náhodné sklony a náhodné intercepty (na úrovni okresu) jsou nezávislé. Alternativně můžeme zadat výměnnou kovarianční strukturu pomocí volby covariance(exchangeable). Pomocí voleb noheader, nolog a cformat(%9.3f) potlačíme záhlaví a iterační log a výsledky zobrazíme se třemi desetinnými místy.

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Případně můžeme zadat vlastní kovarianční strukturu tak, že stanovíme korelaci mezi intercepty a sklony na 0,5 a umožníme odhad jejich směrodatných odchylek z dat:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Předpovídání náhodných efektů

Níže předpovíme náhodné efekty pomocí predict, reffects a získáme jejich diagnostické standardní chyby zadáním volby reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Náhodné intercepty u3 jsou odchylky specifické pro jednotlivé okresy od celkové průměrné velikosti účinku. Například pro okres 18 je předpokládaná standardizovaná průměrná odchylka o 0,14 vyšší než celková velikost účinku.

Odkaz

Cooper, H., Valentine, J. C. a Melson, A. 2003. Vliv upravených školních kalendářů na výsledky žáků a na postoje školy a komunity. Review of Educational Research 73: 1-52.