Co-designing Big Data Analytics Systems with Modern Networks
Daten zählen derzeit zu den wichtigsten Vermögenswerten in Wissenschaft und Industrie. Schätzungen zufolge können Unternehmen, die Big-Data-Analytik einsetzen, ihre Produktivität um 10 % mehr steigern als Unternehmen, die dies nicht tun. Big-Data-Verfahren könnten in Europa zwischen 2014 und 2020 das BIP um 1,9 % erhöhen. In den letzten Jahren wurden viele verschiedene Big-Data-Analysesysteme wie MapReduce, Spark oder neuerdings TensorFlow eingesetzt, um große Datenmengen zu verarbeiten. Ein Grundbedürfnis all dieser Systeme ist, dass Rechenzentrumsnetzwerke einen hohen Durchsatz für große parallele Datenströme bieten, wie z. B. den massiven Shuffle-Verkehr in einer MapReduce-Anwendung oder zur Unterstützung von Arbeitslasten, die sich aus der Verwendung eines zentralen Parameterservers ergeben, der die trainierten Modellparameter in verteilten maschinellen Lernsystemen wie TensorFlow speichert. Darüber hinaus werden diese Systeme heutzutage immer häufiger in mehreren Rechenzentren und auch an den Rändern des Netzes eingesetzt, um Szenarien zu unterstützen, in denen die Daten in der Nähe der Datenquellen vorverarbeitet werden müssen und sogar mobile Endgeräte einbezogen werden können.
Das Projekt wurde von 01.04.2018 bis 31.12.2020 gefördert.
Teilprojektleitende X1
- Prof. Dr. Carsten Binnig
