Подивимося, як це працює

-> Приклад набору даних: Модифіковані дані шкільного календаря -> Багаторівневий метааналіз: Модель лише з константами -> Багаторівнева гетерогенність -> Багаторівнева мета-регресія та випадкові нахили: Включення модераторів -> Коваріаційні структури з випадковими ефектами -> Прогнозування випадкових ефектів

Приклад набору даних: Модифіковані дані шкільного календаря

Багато досліджень свідчать про те, що тривалі літні канікули наприкінці навчального року пов’язані з розривом у навчанні між учнями через різний доступ учнів до навчальних можливостей влітку.

Купер, Валентайн і Мелсон (2003) провели багаторівневий мета-аналіз шкіл, які змінили свій розклад без подовження навчального року. База даних складається з 56 досліджень, проведених в 11 шкільних округах. Деякі школи прийняли модифіковані календарі, які передбачали більш короткі канікули протягом року (наприклад, 12 тижнів навчання з наступними 4 тижнями канікул) на відміну від традиційного календаря з довшими літніми канікулами і коротшими зимовими та весняними канікулами. У дослідженнях порівнювали академічну успішність учнів за традиційним календарем і за модифікованим календарем. Розмір ефекту (stdmdiff) – це стандартизована середня різниця, де позитивні значення вказують на вищу успішність у середньому в групі, що навчається за модифікованим календарем. Стандартна похибка (se) stdmdiff також була вказана в кожному дослідженні. Спочатку опишемо наш набір даних:

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Багаторівневий метааналіз: Модель лише з константами

Оскільки школи розташовані в межах районів, ми застосували трирівневу модель випадкових перехоплень. Це вимагає, щоб ми визначили два рівняння випадкових ефектів: одне для рівня 3 (ідентифіковане за змінною району) і одне для рівня 2 (ідентифіковане за змінною школи).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

Перша таблиця відображає інформацію про групи на різних рівнях ієрархії з одним рядком для кожної групи (рівня ієрархії).

Друга таблиця відображає коефіцієнти фіксованих ефектів. Тут наведено лише перехоплення, що відповідає загальному розміру ефекту θ^

�^

. Значення θ

�

становить 0,185 з 95% ДІ [0,019, 0,35]. Це означає, що в середньому учні, які дотримувалися зміненого шкільного календаря, отримали вищі бали, ніж ті, хто не дотримувався.

Третя таблиця відображає параметри випадкових ефектів, традиційно відомі як дисперсійні компоненти в контексті багаторівневих моделей або моделей зі змішаними ефектами. Оцінки компонентів дисперсії тепер організовані та позначені відповідно до кожного рівня. За замовчуванням мета-мерегресія звітує про стандартні відхилення випадкових перехоплень (і кореляцій, якщо вони існують у моделі) на кожному рівні. Але ви можете вказати опцію variance, щоб отримати дисперсії (і коваріації, якщо вони існують у моделі). Ми маємо τ3^=0.255

�3^=0.255

і τ2^=0.181

�2^=0.181

. Ці значення є будівельними блоками для оцінки неоднорідності на різних ієрархічних рівнях і зазвичай інтерпретуються в цьому контексті. Загалом, чим вище значення τl

��

тим більша неоднорідність очікується серед груп в межах рівня l

�

.

Крім того, це можна вказати за допомогою команди meta multilevel, як показано нижче:

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

Команда мета-багаторівневої регресії була розроблена для мета-регресійних моделей з випадковими перехопленнями, які часто використовуються на практиці. Вона є зручною обгорткою для метамерегресії.

Багаторівнева гетерогенність

Ми використаємо команду пост-оцінки estat heterogeneity для кількісної оцінки багаторівневої неоднорідності між розмірами ефекту.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

I2 Кокрана

I2

кількісно оцінює рівень гетерогенності спільно для всіх рівнів ієрархії. I2=90.50%

I2=90.50%</math

означає, що 90,50% варіабельності між розмірами ефекту пояснюється справжньою неоднорідністю наших даних, а не варіабельністю вибірки. Багаторівневий критерій Хіггінса-Томпсона I2

I2

оцінює внесок кожного рівня ієрархії в загальну неоднорідність на додаток до їхнього спільного внеску. Наприклад, міжшкільна гетерогенність або гетерогенність у межах району (гетерогенність 2-го рівня) є найнижчою і становить близько 32% загальної варіації в наших даних, тоді як на гетерогенність між районами (гетерогенність 3-го рівня) припадає близько 63% загальної варіації.

Багаторівнева мета-регресія та випадкові нахили: Включення модераторів

Ми використаємо змінну year_c для проведення трирівневої мета-регресії та включимо випадкові нахили (що відповідають змінній year_c) на рівні районів.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Оцінка коефіцієнта регресії змінної year_c становить 0,006 з 95% ДІ [-0,015, 0,027] . Ми не бачимо жодних доказів зв’язку між stdmdiff та year_c (p = 0,575).

Коваріаційні структури з випадковими ефектами

Хоча year_c не пояснює неоднорідність, ми продовжуємо включати його як модератор для ілюстрації.

За замовчуванням випадкові нахили та випадкові перехоплення (на рівні району) вважаються незалежними. Крім того, ми можемо вказати взаємозамінну коваріаційну структуру за допомогою опції covariance(exchangeable). Ми придушуємо заголовок та журнал ітерацій і виводимо результати з трьома десятковими крапками за допомогою опцій noheader, nolog та cformat(%9.3f).

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Крім того, ми можемо вказати власну структуру коваріації, зафіксувавши кореляцію між перехопленнями та нахилами на рівні 0,5 і дозволивши оцінити їхні стандартні відхилення на основі даних:

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Прогнозування випадкових ефектів

Нижче ми прогнозуємо випадкові ефекти за допомогою функцій predict, reffects та отримуємо їхні діагностичні стандартні похибки за допомогою опції reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Випадкові перехоплення u3 – це відхилення для окремих районів від загального середнього розміру ефекту. Наприклад, для округу 18 прогнозована стандартизована середня різниця на 0,14 вища за загальний розмір ефекту.

Посилання

Купер, Х., Валентайн, Д. К. та Мелсон, А. 2003. Вплив модифікованих шкільних календарів на успішність учнів та на ставлення до школи і громади. Огляд освітніх досліджень 73: 1-52.