La commande collapse crée un ensemble de données de statistiques récapitulatives et est l’une des commandes de gestion des données les plus utilisées. Plus la taille des données augmente, plus le temps d’exécution augmente nécessairement. Dans Stata 17, en fonction de la taille de l’ensemble de données, la commande collapse permet des accélérations de 6 à 13 fois pour le calcul d’une moyenne simple et de 40 à 70 fois pour le calcul de statistiques telles que les médianes et les écarts types. Le tableau 2 montre les résultats de la réduction d’un ensemble de données avec 10 000 000 d’observations et différents nombres de variables réduites pour le cas où nous calculons les médianes et les écarts types..

Pour Stata 17, nous avons également obtenu des améliorations de vitesse pour l’estimation. Le paquet d’algèbre linéaire (LAPACK) qui sous-tend de nombreuses fonctions et opérateurs de Mata est désormais optimisé par la bibliothèque Intel Math Kernel Library (MKL). La nouvelle MKL est-elle beaucoup plus rapide ? La multiplication d’une matrice réelle de 5 000 par 5 000 dans Stata/SE avec une matrice réelle de même dimension prend environ 13 secondes avec MKL dans Stata 17, contre 70 secondes dans Stata 16.
Temps de multiplication de deux matrices réelles en secondes :

Timing of cholesky() in seconds:

LAPACK est utilisé dans les calculs de nombreuses commandes d’estimation, ce qui les rend automatiquement plus rapides..
La commande import delimited pour importer des données à partir de CSV et d’autres fichiers texte délimités est maintenant parallélisée dans Stata/MP. Elle importe les grands ensembles de données jusqu’à quatre fois plus vite dans Stata 17.
Enfin, la commande mixed pour l’ajustement des modèles à effets mixtes multiniveaux est plus rapide. Selon nos calculs, les modèles avec 10 000 panels, 10 périodes de temps et 5 paramètres de pente aléatoires s’exécutent 2 à 3 fois plus vite dans Stata 17 que dans Stata 16. Des améliorations de vitesse similaires ont été constatées pour différents nombres de panels, de périodes et de coefficients de pente.
Nous recherchons continuellement des moyens de rendre Stata plus rapide. Nous étudions, codons et testons activement de nouveaux algorithmes dans la gestion des données et les routines d’estimation, et nous vous tiendrons informés des derniers développements.

Références

Hunter, J. D. 2007. Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering 9: 90–95.
McDowell, A., A. Engel, J. T. Massey, and K. Maurer. 1981. Plan and operation of the Second National Health and Nutrition Examination Survey, 1976–1980. Vital and Health Statistics 1(15): 1–144.
Mckinney, W. 2010. Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 56–61. (publisher link).
Oliphant, T. E. 2006. A Guide to NumPy, 2nd ed. Austin, TX: Continuum Press.
Péz, F., and B. E. Granger. 2007. IPython: A System for Interactive Scientific Computing, Computing in Science and Engineering 9: 21–29. DOI:10.1109/MCSE.2007.53 (publisher link)