Нека видим как работи

-> Примерен набор от данни: Модифицирани данни за училищния календар -> Мета-анализ на няколко нива: Модел само с константа -> Многостепенна хетерогенност -> Многостепенна метарегресия и случайни наклони: Включване на модераторите -> Ковариационни структури със случайни ефекти -> Предвиждане на случайни ефекти

Примерен набор от данни: Модифицирани данни за училищния календар

Много проучвания показват, че дългата лятна ваканция в края на учебната година е свързана с изоставане в обучението на учениците поради различния достъп на учениците до възможности за обучение през лятото.

Купър, Валънтайн и Мелсън (2003 г.) провеждат многостепенен мета-анализ на училища, които променят календара си, без да удължават учебната година. Наборът от данни се състои от 56 проучвания, проведени в 11 училищни района. Някои училища са приели модифицирани календари, които включват по-кратки почивки по-често през годината (например 12 учебни седмици, последвани от 4 почивни седмици), за разлика от традиционния календар с по-дълга лятна ваканция и по-кратки зимни и пролетни почивки. Проучванията сравняват академичните постижения на учениците по традиционния календар с тези по модифицирания календар. Размерът на ефекта (stdmdiff) е стандартизираната средна разлика, като положителните стойности показват по-високи средни постижения в групата с модифициран календар. Стандартната грешка (se) на stdmdiff също е докладвана от всяко изследване. Нека първо опишем нашата съвкупност от данни:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Мета-анализ на няколко нива: Модел само с константа

Тъй като училищата са разположени в рамките на районите, ние използваме модел на три нива със случайни прекъсвания. Това изисква да определим две уравнения със случайни ефекти: едно за ниво 3 (идентифицирано с променливата област) и едно за ниво 2 (идентифицирано с променливата училище).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

The first table displays information on groups at different levels of hierarchy with one row for each grouping (level of hierarchy).

The second table displays the fixed-effects coefficients. Here there is only an intercept corresponding to the overall effect size θ^

�^

. The value of θ

�

 is 0.185 with a 95% CI of [0.019, 0.35]. This means that, on average, students following the modified school calendar achieved higher scores than those who did not.

The third table displays the random-effects parameters, traditionally known as variance components in the context of multilevel or mixed-effects models. The variance-component estimates are now organized and labeled according to each level. By default, meta meregress reports standard deviations of the random intercepts (and correlations if they existed in the model) at each level. But you can instead specify the variance option to report variances (and covariances if they existed in the model). We have τ3^=0.255

�3^=0.255

 and τ2^=0.181

�2^=0.181

. These values are the building blocks for assessing heterogeneity across different hierarchical levels and are typically interpreted in that context. In general, the higher the value of τl

��

, the more heterogeneity is expected among the groups within level l

�

.

Alternatively, this can be specified using the meta multilevel command as follows:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

The meta multilevel command was designed to fit random-intercepts meta-regression models, which are commonly used in practice. It is a convenience wrapper for meta meregress.

Многостепенна хетерогенност

Ще използваме командата за последващо оценяване estat heterogeneity, за да определим количествено многостепенната хетерогенност сред размерите на ефектите.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

I2 на Кокран

I2

определя количествено размера на хетерогенността съвместно за всички нива на йерархията. I2=90.50%

I2=90,50%</math

означава, че 90,50 % от вариациите между размерите на ефектите се дължат на истинската хетерогенност на нашите данни, за разлика от вариациите на извадката. Многостепенната стойност на Хигинс-Томпсън I2

I2

оценява приноса на всяко ниво на йерархия към общата хетерогенност, в допълнение към общия им принос. Например хетерогенността между училищата или хетерогенността в рамките на районите (хетерогенност на ниво 2) е най-ниска и представлява около 32 % от общата вариация в нашите данни, докато хетерогенността между районите (хетерогенност на ниво 3) представлява около 63 % от общата вариация.

Многостепенна метарегресия и случайни наклони: Включване на модераторите

Ще използваме променливата year_c, за да проведем метарегресия на три нива и да включим случайни наклони (съответстващи на променливата year_c) на ниво област.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Оценката на регресионния коефициент на променливата year_c е 0,006 с 95% ДИ [-0,015, 0,027] . Не виждаме никакви доказателства за връзката между stdmdiff и year_c (p = 0,575).

Ковариационни структури със случайни ефекти

Въпреки че година_c не обяснява хетерогенността, ние продължаваме да я включваме като модератор с цел илюстрация.

По подразбиране случайните наклони и случайните интерцепти (на ниво област) се приемат за независими. Като алтернатива можем да посочим обменна ковариационна структура, като използваме опцията covariance(exchangeable). Потискаме заглавието и дневника на итерациите и показваме резултатите с три десетични точки, като използваме опциите noheader, nolog и cformat(%9.3f).

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Като алтернатива можем да зададем потребителска ковариационна структура, като фиксираме корелацията между интерцептите и наклоните на 0,5 и позволим стандартните им отклонения да бъдат оценени от данните:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Предвиждане на случайни ефекти

По-долу предсказваме случайните ефекти с помощта на predict, reffects и получаваме техните диагностични стандартни грешки, като задаваме опцията reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Случайните интерпекти u3 са специфични за района отклонения от общия среден размер на ефекта. Например за област 18 прогнозираната стандартизирана средна разлика е с 0,14 по-висока от общия размер на ефекта.

Справка

Cooper, H., Valentine, J. C., and Melson, A. 2003. Ефекти от модифицираните училищни календари върху постиженията на учениците и върху нагласите на училището и общността. Review of Educational Research 73: 1-52.