Az collapse parancs létrehoz egy összefoglaló statisztikai adatkészletet, és az egyik leggyakrabban használt adatkezelési parancs. Az adatok méretének növekedésével szükségszerűen növekszik a futásideje is. A Stata 17-ben az adatkészlet méretétől függően az összeomlás 6 és 13-szoros gyorsulást jelent az egyszerű átlag kiszámításához, és 40 és 70-szeresét a statisztikák, például a mediánok és az általános eltérések kiszámításához. A 2. táblázat bemutatja az adatok összecsukásának eredményeit 10 000 000 megfigyeléssel és változó számú összecsukott változóval arra az esetre, amikor kiszámítjuk a mediánokat és az általános eltéréseket.

A Stata 17 esetében a sebesség javítását is elértük a becsléshez. A Mata számos funkciójának és operációjának alapjául szolgáló lineáris algebrai csomag (LAPACK) működését most az Intel Math Kernel Library (MKL) biztosítja. Mennyivel gyorsabb az új MKL? A Stata / SE 5000 és 5000 közötti valós mátrixának és az azonos dimenziójú valós mátrixnak a szorzata körülbelül 13 másodpercet vesz igénybe a Stata 17 MKL használatával, szemben a Stata 16 70 másodpercével.
Két valós mátrix szorzásának időzítése másodpercben:

Timing of cholesky() in seconds:

A LAPACK-ot számos becslési parancs használja a számítások során, így automatikusan gyorsabbak is.
A CSV-ből és más elválasztott szövegfájlokból származó adatok importálásához az import delimited parancs össze van hangolva a Stata / MP-ben. A Stata 17-ben akár négyszer gyorsabban importálhat nagy adatállományokat.
Végül, de nem utolsósorban, a többszintű vegyes hatású modellek felszerelésére szolgáló mixed parancs gyorsabb. Időzítésünkben a 10 000 panellel, 10 időperiódussal és 5 véletlenszerű lejtésparaméterrel rendelkező modellek 2-3-szor gyorsabban futnak a Stata 17-ben, mint a Stata 16-ban. Hasonló sebességjavulások történtek a panelek különböző száma, az időszakok és a lejtési együtthatók esetében is.
Folyamatosan keressük a Stata gyorsabbá tételének módjait. Aktívan vizsgáljuk, kódoljuk és teszteljük az algoritmusokat az adatkezelésben és a becslési rutinokban, és folyamatosan tájékoztatjuk Önt a legújabb fejlesztésekről.

Referenciák

Hunter, J. D. 2007. Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering 9: 90–95.
McDowell, A., A. Engel, J. T. Massey, and K. Maurer. 1981. Plan and operation of the Second National Health and Nutrition Examination Survey, 1976–1980. Vital and Health Statistics 1(15): 1–144.
Mckinney, W. 2010. Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 56–61. (publisher link).
Oliphant, T. E. 2006. A Guide to NumPy, 2nd ed. Austin, TX: Continuum Press.
Péz, F., and B. E. Granger. 2007. IPython: A System for Interactive Scientific Computing, Computing in Science and Engineering 9: 21–29. DOI:10.1109/MCSE.2007.53 (publisher link)