Voyons comment cela fonctionne

-> Exemple de données : Données du calendrier scolaire modifié -> Méta-analyse multiniveaux : Modèle constant -> Hétérogénéité à plusieurs niveaux -> Méta-régression multiniveaux et pentes aléatoires : Incorporation des modérateurs -> Structures de covariance à effets aléatoires -> Prévoir les effets aléatoires

Exemple de données : Données du calendrier scolaire modifié

De nombreuses études suggèrent que la longue pause estivale à la fin de l’année scolaire est liée à un écart d’apprentissage entre les élèves en raison de l’accès différentiel des élèves aux possibilités d’apprentissage pendant l’été.

Cooper, Valentine et Melson (2003) ont réalisé une méta-analyse multiniveaux sur les écoles qui ont modifié leur calendrier sans prolonger l’année scolaire. L’ensemble des données se compose de 56 études menées dans 11 districts scolaires. Certaines écoles ont adopté des calendriers modifiés comportant des pauses plus courtes et plus fréquentes tout au long de l’année (par exemple, 12 semaines d’école suivies de 4 semaines de congé), par opposition au calendrier traditionnel qui prévoit des vacances d’été plus longues et des vacances d’hiver et de printemps plus courtes. Les études ont comparé les résultats scolaires des élèves suivant un calendrier traditionnel à ceux des élèves suivant un calendrier modifié. L’ampleur de l’effet (stdmdiff) est la différence moyenne standardisée, les valeurs positives indiquant des résultats supérieurs, en moyenne, dans le groupe soumis au calendrier modifié. L’erreur standard (se) de stdmdiff a également été rapportée par chaque étude. Décrivons tout d’abord notre ensemble de données :

. webuse schoolcal
(Effect of modified school calendar on student achievement)

. describe

Contains data from https://www.stata-press.com/data/r18/schoolcal.dta
 Observations:            56                  Effect of modified school calendar on student 
                                                achievement
    Variables:             8                  19 Jan 2023 21:44
                                              (_dta has notes)

Sorted by: district

Méta-analyse multiniveaux : Modèle constant

Comme les écoles sont imbriquées dans les districts, nous appliquons un modèle à intervalles aléatoires à trois niveaux. Cela nécessite de spécifier deux équations à effets aléatoires : une pour le niveau 3 (identifié par la variable district) et une pour le niveau 2 (identifié par la variable école).

. meta meregress stdmdiff || district: || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization: 
Iteration 0:  Log restricted-likelihood =  -104.8525  (not concave)
Iteration 1:  Log restricted-likelihood = -46.670529  (not concave)
Iteration 2:  Log restricted-likelihood = -22.871266  (not concave)
Iteration 3:  Log restricted-likelihood = -12.977299  
Iteration 4:  Log restricted-likelihood = -7.9642885  
Iteration 5:  Log restricted-likelihood = -7.9587271  
Iteration 6:  Log restricted-likelihood = -7.9587239  
Iteration 7:  Log restricted-likelihood = -7.9587239  

Computing standard errors ...

Multilevel REML meta-analysis                               Number of obs = 56

Grouping information

No. of Observations per group

groups Minimum Average Maximum

11 3 5.1 11

56 1 1.0 1

                                                            Wald chi2(0)  =  .
Log restricted-likelihood = -7.9587239                      Prob > chi2   =  .

Coefficient Std. err. z P>|z| [95% conf. interval]

.1847132 .0845559 2.18 0.029 .0189866 .3504397

Test of homogeneity: Q_M = chi2(55) = 578.86               Prob > Q_M = 0.0000

Estimate

.2550724

.1809324

Le premier tableau présente des informations sur les groupes à différents niveaux de hiérarchie, avec une ligne pour chaque groupe (niveau de hiérarchie).

Le deuxième tableau présente les coefficients à effets fixes. Ici, il n’y a qu’un intercept correspondant à la taille de l’effet global θ^

�^

. La valeur de θ

�

est de 0,185 avec un IC à 95 % de [0,019, 0,35]. Cela signifie qu’en moyenne, les élèves qui suivent le calendrier scolaire modifié obtiennent de meilleurs résultats que ceux qui ne le suivent pas.

Le troisième tableau présente les paramètres des effets aléatoires, traditionnellement connus sous le nom de composantes de la variance dans le contexte des modèles multiniveaux ou à effets mixtes. Les estimations des composantes de la variance sont désormais organisées et étiquetées en fonction de chaque niveau. Par défaut, meta meregress rapporte les écarts types des ordonnées aléatoires (et des corrélations si elles existent dans le modèle) à chaque niveau. Mais vous pouvez spécifier l’option variance pour rapporter les variances (et les covariances si elles existent dans le modèle). Nous avons τ3^=0.255

�3^=0.255

et τ2^=0,181

�2^=0.181

. Ces valeurs permettent d’évaluer l’hétérogénéité entre les différents niveaux hiérarchiques et sont généralement interprétées dans ce contexte. En général, plus la valeur de τl

��

plus on s’attend à ce qu’il y ait d’hétérogénéité entre les groupes au sein du niveau l

�

.

Il est également possible de spécifier cette valeur à l’aide de la commande meta multilevel, comme suit :

. meta multilevel stdmdiff, relevels(district school) essevariable(se)
(output omitted)

La commande meta multilevel a été conçue pour ajuster des modèles de méta-régression à intercepts aléatoires, qui sont couramment utilisés dans la pratique. Il s’agit d’une enveloppe de commodité pour meta meregress.

Hétérogénéité à plusieurs niveaux

Nous utiliserons la commande de post-stimation estat heterogeneity pour quantifier l’hétérogénéité à plusieurs niveaux entre les tailles d’effet.

. estat heterogeneity

Method: Cochran
Joint:
  I2 (%) = 90.50

Method: Higgins–Thompson
district:
  I2 (%) = 63.32

school:
  I2 (%) = 31.86

Total:
  I2 (%) = 95.19

I2 de Cochran

I2

quantifie le degré d’hétérogénéité à tous les niveaux de la hiérarchie. I2=90.50%

I2=90.50%</math

signifie que 90,50 % de la variabilité entre les tailles d’effet est due à une véritable hétérogénéité dans nos données plutôt qu’à la variabilité de l’échantillonnage. L’indice I2 de Higgins-Thompson à plusieurs niveaux

I2

évaluent la contribution de chaque niveau hiérarchique à l’hétérogénéité totale, en plus de leur contribution conjointe. Par exemple, l’hétérogénéité entre écoles ou l’hétérogénéité au sein des districts (hétérogénéité de niveau 2) est la plus faible, représentant environ 32 % de la variation totale de nos données, tandis que l’hétérogénéité entre districts (hétérogénéité de niveau 3) représente environ 63 % de la variation totale.

Méta-régression multiniveaux et pentes aléatoires : Incorporation des modérateurs

Nous utiliserons la variable année_c pour effectuer une méta-régression à trois niveaux et inclurons des pentes aléatoires (correspondant à la variable année_c) au niveau du district.

. meta meregress stdmdiff year_c || district: year_c || school: , essevariable(se)

Performing EM optimization ...

Performing gradient-based optimization:
Iteration 0:  Log restricted-likelihood = -101.95646  (not concave)
Iteration 1:  Log restricted-likelihood = -94.528133  (not concave)
Iteration 2:  Log restricted-likelihood = -29.169697  (not concave)
Iteration 3:  Log restricted-likelihood =  -10.67081  (not concave)
Iteration 4:  Log restricted-likelihood = -7.5089434  (not concave)
Iteration 5:  Log restricted-likelihood = -7.2219899
Iteration 6:  Log restricted-likelihood = -7.2085474  (not concave)
Iteration 7:  Log restricted-likelihood = -7.2082538  (not concave)
Iteration 8:  Log restricted-likelihood = -7.2079523  (not concave)
Iteration 9:  Log restricted-likelihood = -7.2073687  (not concave)
Iteration 10: Log restricted-likelihood = -7.2067537  (not concave)
Iteration 11: Log restricted-likelihood = -7.1989783
Iteration 12: Log restricted-likelihood = -7.1891619
Iteration 13: Log restricted-likelihood = -7.1815206
Iteration 14: Log restricted-likelihood = -7.1813888
Iteration 15: Log restricted-likelihood = -7.1813887

Computing standard errors ...

Multilevel REML meta-regression                         Number of obs =     56

Grouping information

                                                        Wald chi2(1)  =   0.31
Log restricted-likelihood = -7.1813887                  Prob > chi2   = 0.5753

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

L’estimation du coefficient de régression de la variable year_c est de 0,006 avec un IC à 95 % de [-0,015, 0,027]. Nous ne voyons aucune preuve de l’association entre stdmdiff et year_c (p = 0,575).

Structures de covariance à effets aléatoires

Bien que l’année_c n’explique pas l’hétérogénéité, nous continuons à l’inclure comme modérateur à des fins d’illustration.

Par défaut, les pentes et les ordonnées aléatoires (au niveau du district) sont supposées indépendantes. Il est également possible de spécifier une structure de covariance échangeable à l’aide de l’option covariance(échangeable). Nous supprimons l’en-tête et le journal d’itération et affichons les résultats avec trois points décimaux à l’aide des options noheader, nolog et cformat(%9.3f).

. meta meregress stdmdiff year_c || district: year_c, covariance(exchangeable)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

Il est également possible de spécifier une structure de covariance personnalisée en fixant la corrélation entre les ordonnées et les pentes à 0,5 et en autorisant l’estimation de leurs écarts types à partir des données :

. matrix A = (.,.5 \ .5,.)
. meta meregress stdmdiff year_c || district: year_c, covariance(custom A)
	|| school:, essevariable(se) noheader nolog cformat(%9.3f)

Test of homogeneity: Q_M = chi2(54) = 550.26               Prob > Q_M = 0.0000

(*) fixed during estimation

Prévoir les effets aléatoires

Ci-dessous, nous prédisons les effets aléatoires à l’aide de predict, reffects et obtenons leurs erreurs standard diagnostiques en spécifiant l’option reses(, diagnostic).

. quietly meta meregress stdmdiff || district: || school: , essevariable(se)
. predict double u3 u2, reffects reses(se_u3 se_u2, diagnostic)
. by district, sort: generate tolist = (_n==1)
. list district u3 se_u3 if tolist

district u3 se_u3

11 -.18998595 .07071817

12 -.08467077 .13168501

18 .1407273 .11790486

27 .24064814 .13641505

56 -.1072942 .13633364

58 -.23650899 .15003184

71 .5342778 .12606073

86 -.2004695 .1499012

91 .05711692 .14284823

108 -.14168396 .13094894

644 -.01215679 .10054689

Les intercepts aléatoires u3 sont des écarts spécifiques au district par rapport à la moyenne générale de l’ampleur de l’effet. Par exemple, pour le district 18, la différence moyenne standardisée prédite est supérieure de 0,14 à l’ampleur de l’effet global.

Référence

Cooper, H., Valentine, J. C., et Melson, A. 2003. The effects of modified school calendars on student achievement and on school and community attitudes. Review of Educational Research 73 : 1-52.