Давайте посмотрим, как это работает

-> Пример набора данных: Модифицированные данные школьного календаря -> Многоуровневый мета-анализ: Модель «только константа -> Многоуровневая неоднородность -> Многоуровневая метарегрессия и случайные наклоны: Учет модераторов -> Ковариационные структуры со случайными эффектами -> Прогнозирование случайных эффектов

Пример набора данных: Модифицированные данные школьного календаря

Многие исследования показывают, что длительные летние каникулы в конце учебного года связаны с разрывом в обучении между учащимися из-за различий в доступе учащихся к возможностям обучения в летний период.

Купер, Валентайн и Мелсон (Cooper, Valentine, Melson, 2003) провели многоуровневый метаанализ школ, изменивших свой календарный план без удлинения учебного года. Набор данных состоит из 56 исследований, проведенных в 11 школьных округах. В некоторых школах были приняты модифицированные календари, предусматривающие более короткие перерывы в течение года (например, 12 недель занятий и 4 недели отдыха), в отличие от традиционного календаря с более продолжительными летними каникулами и более короткими зимними и весенними. В исследованиях сравнивалась успеваемость студентов, обучающихся по традиционному календарю, и студентов, обучающихся по модифицированному календарю. Величина эффекта (stdmdiff) представляет собой стандартизированную среднюю разницу, положительные значения которой указывают на более высокую успеваемость в среднем в группе с модифицированным календарем. Стандартная ошибка (se) stdmdiff также указывалась в каждом исследовании. Сначала опишем наш набор данных:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Многоуровневый мета-анализ: Модель «только константа

Поскольку школы вложены в районы, мы используем трехуровневую модель со случайными интерцептами. Для этого необходимо задать два уравнения со случайными эффектами: одно для третьего уровня (обозначенного переменной district) и одно для второго уровня (обозначенного переменной school).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

В первой таблице представлена информация о группах на разных уровнях иерархии, по одной строке для каждой группировки (уровня иерархии).

Во второй таблице представлены коэффициенты фиксированных эффектов. Здесь присутствует только перехват, соответствующий общему размеру эффекта θ^

�^

. Значение θ

�

составляет 0,185 с 95%-ным ДИ [0,019, 0,35]. Это означает, что в среднем учащиеся, придерживающиеся модифицированного школьного расписания, получили более высокие баллы, чем те, кто его не придерживался.

В третьей таблице представлены параметры случайных эффектов, традиционно называемые компонентами дисперсии в контексте многоуровневых моделей или моделей со смешанными эффектами. Оценки компонент дисперсии теперь упорядочены и помечены в соответствии с каждым уровнем. По умолчанию meta meregress выдает стандартные отклонения случайных интерцептов (и корреляций, если они существуют в модели) на каждом уровне. Однако вместо этого можно указать опцию variance, чтобы вывести в отчет дисперсии (и ковариации, если они есть в модели). Мы имеем τ3^=0,255

�3^=0.255

и τ2^=0,181

�2^=0.181

. Эти величины являются составными элементами для оценки неоднородности на различных иерархических уровнях и обычно интерпретируются в этом контексте. В общем случае, чем выше значение τl

��

тем больше ожидается неоднородность среди групп внутри уровня l

�

.

Альтернативно это можно задать с помощью команды meta multilevel следующим образом:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

Команда meta multilevel была разработана для подгонки метарегрессионных моделей со случайными интерцептами, которые часто используются на практике. Она представляет собой удобную обертку для meta meregress.

Многоуровневая неоднородность

Для количественной оценки многоуровневой неоднородности размеров эффектов воспользуемся командой пост-оценки estat heterogeneity.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

I2 Кохрана

I2

количественно оценивает степень неоднородности совместно для всех уровней иерархии. I2=90.50%

I2=90,50%</math

означает, что 90,50% вариабельности величин эффектов обусловлено истинной неоднородностью наших данных, а не вариабельностью выборки. Многоуровневый коэффициент Хиггинса-Томпсона I2

I2

оценивает вклад каждого уровня иерархии в общую неоднородность, а также их совместный вклад. Например, межшкольная неоднородность или неоднородность внутри районов (неоднородность второго уровня) является наименьшей и составляет около 32% от общей вариации наших данных, в то время как межрайонная неоднородность (неоднородность третьего уровня) составляет около 63% от общей вариации.

Многоуровневая метарегрессия и случайные наклоны: Учет модераторов

Мы будем использовать переменную year_c для проведения трехуровневой метарегрессии и включать случайные наклоны (соответствующие переменной year_c) на уровне района.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Оценка коэффициента регрессии переменной year_c составляет 0,006 при 95%-ном ДИ [-0,015, 0,027] . Мы не видим доказательств связи между stdmdiff и year_c (p = 0,575).

Ковариационные структуры со случайными эффектами

Хотя год_c не объяснил гетерогенность, мы продолжаем включать его в качестве модератора в целях иллюстрации.

По умолчанию случайные наклоны и случайные перехваты (на уровне района) считаются независимыми. В качестве альтернативы можно указать ковариационную структуру с возможностью обмена, используя опцию covariance(exchangeable). Мы подавляем заголовок и журнал итераций и выводим результаты с тремя десятичными точками с помощью опций noheader, nolog и cformat(%9.3f).

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

В качестве альтернативы можно задать собственную ковариационную структуру, зафиксировав корреляцию между интерцептами и наклонами на уровне 0,5 и разрешив оценивать их стандартные отклонения по данным:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Прогнозирование случайных эффектов

Ниже мы предскажем случайные эффекты с помощью predict, reffects и получим их диагностические стандартные ошибки, указав опцию reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Случайные перехваты u3 представляют собой отклонения от общего среднего размера эффекта, характерные для конкретного района. Например, для округа 18 прогнозируемая стандартизированная средняя разница на 0,14 больше общего размера эффекта.

Ссылка

Cooper, H., Valentine, J. C., and Melson, A. 2003. Влияние модифицированных школьных календарей на успеваемость учащихся и на отношение к школе и обществу. Review of Educational Research 73: 1-52.