Twee Groningse sterrenkundigen hebben software ontwikkeld die moeiteloos visualisaties kan genereren op basis van honderden miljoenen gegevens. Maarten Breddels en Jovan Veljanoski (Rijksuniversiteit Groningen) schreven hun programma in eerste instantie om de miljard sterren te lijf te gaan die door Gaia in kaart zijn gebracht. De software kan echter ook patronen laten zien in andere grote gegevensbestanden. De onderzoekers stellen hun software gratis ter beschikking. Ze geven binnenkort tekst en uitleg over de software in een artikel dat is geaccepteerd voor publicatie in het vakblad Astronomy & Astrophysics.
Breddels en Veljanoski ontwikkelden hun softwarepakket om grote gegevensbestanden te kunnen visualiseren. Het softwarepakket heet vaex: visualize and explore big tabular datasets. Sterrenkundigen over de hele wereld gebruiken de software inmiddels om de gegevens van de 1,3 miljard sterren die door Gaia zijn verzameld te visualiseren.
De software kan miljarden gegevens in een seconde visualiseren. Het is enigszins te vergelijken met het inzoomen bij Google Maps. Tijdens het inzoomen moet je steeds heel even wachten voordat meer details zichtbaar worden. Google Maps draait echter op grote, snelle servers. De Groningse software werkt vanaf een laptop.
De kracht van de software zit in de combinatie van een aantal slimmigheden. Een daarvan is dat door een simpel algoritme alle beschikbare rekenkracht maximaal wordt benut. Een tweede slimmigheid is dat alleen de hoognodige gegevens van de harde schijf naar het werkgeheugen worden gestuurd. En de derde slimmigheid is dat het werkgeheugen geen onnodige kopieën opslaat.
Maarten Breddels gaf de afgelopen tijd geregeld live-demo's tijdens congressen. Zo liet hij bijvoorbeeld aan de hand van 1 miljard New Yorkse taxi-bewegingen zien welke taxiritten het meeste opleveren en op welke tijdstippen en plekken de meeste taxi's rijden. De gratis software is dus ook interessant voor maatschappelijke toepassingen buiten de sterrenkunde.
De software inclusief handleidingen is gratis beschikbaar via: https://vaex.io
Wetenschappelijk artikel
Vaex: Big Data exploration in the era of Gaia. Door Maarten A. Breddels (RUG) & Jovan Veljanoski (RUG). Geaccepteerd voor publicatie in Astronomy & Astrophysics, 2018 (gratis preprint)
Video
Demo met diverse datasets (30 minuten). Onder andere met taxigegevens van New York.
English version of this news release
Groningse software maakt supercomputer van laptop
