Der Befehl „Kollaps“ erstellt einen Datensatz mit zusammenfassenden Statistiken und ist einer der am häufigsten verwendeten Datenverwaltungsbefehle. Mit der Größe der Daten wächst zwangsläufig auch die Laufzeit. In Stata 17 erreicht collapse je nach Größe des Datensatzes Geschwindigkeitssteigerungen zwischen 6 und 13 Mal für die Berechnung eines einfachen Mittelwerts und zwischen 40 und 70 Mal für die Berechnung von Statistiken wie Medianen und Standardabweichungen. Tabelle 2 zeigt die Ergebnisse für das Kollabieren eines Datensatzes mit 10.000.000 Beobachtungen und einer unterschiedlichen Anzahl von kollabierten Variablen für den Fall, dass wir Mediane und Standardabweichungen berechnen.

Für Stata 17 haben wir auch Geschwindigkeitsverbesserungen bei der Schätzung erreicht. Das lineare Algebra-Paket (LAPACK), das vielen Funktionen und Operatoren von Stata zugrunde liegt, wird jetzt von der Intel Math Kernel Library (MKL) unterstützt. Wie viel schneller ist die neue MKL? Die Multiplikation einer reellen 5.000-mal-5.000-Matrix in Stata/SE mit einer reellen Matrix der gleichen Dimension dauert mit MKL in Stata 17 etwa 13 Sekunden im Vergleich zu 70 Sekunden in Stata 16.
Zeitliche Abfolge der Multiplikation von zwei reellen Matrizen in Sekunden:

Timing von cholesky() in Sekunden:

LAPACK wird von vielen Abschätzungsbefehlen bei Berechnungen verwendet, so dass diese automatisch auch schneller sind.
Der Befehl „import delimited“ zum Importieren von Daten aus CSV- und anderen begrenzten Textdateien ist jetzt in Stata/MP parallelisiert. Er importiert große Datensätze bis zu viermal schneller in Stata 17.
Nicht zuletzt ist der Befehl „Mixed“ für die Anpassung von mehrstufigen Mixed-Effects-Modellen schneller. In unseren Zeitmessungen laufen Modelle mit 10.000 Panels, 10 Zeitperioden und 5 zufälligen Steigungsparametern in Stata 17 2 bis 3 Mal schneller als in Stata 16. Ähnliche Geschwindigkeitsverbesserungen traten für unterschiedliche Anzahlen von Panels, Zeitperioden und Steigungskoeffizienten auf.
Wir suchen ständig nach Möglichkeiten, Stata schneller zu machen. Wir untersuchen, kodieren und testen aktiv neue Algorithmen in der Datenverwaltung und in den Schätzungsroutinen, und wir halten Sie über die neuesten Entwicklungen auf dem Laufenden.

Referenzen

Hunter, J. D. 2007. Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering 9: 90–95.
McDowell, A., A. Engel, J. T. Massey, and K. Maurer. 1981. Plan and operation of the Second National Health and Nutrition Examination Survey, 1976–1980. Vital and Health Statistics 1(15): 1–144.
Mckinney, W. 2010. Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 56–61. (publisher link).
Oliphant, T. E. 2006. A Guide to NumPy, 2nd ed. Austin, TX: Continuum Press.
Péz, F., and B. E. Granger. 2007. IPython: A System for Interactive Scientific Computing, Computing in Science and Engineering 9: 21–29. DOI:10.1109/MCSE.2007.53 (publisher link)