Die Rechenleistung von Prozessoren steigt nach dem Mooreschen Gesetz jedes Jahr exponentiell. Über Jahre hinweg wurde die Leistungssteigerung im Wesentlichen durch eine Erhöhung der Taktrate sichergestellt. Diese Entwicklung scheint zu einem Ende gekommen zu sein. Derzeit werden bereits Einzelplatzsysteme mit Mehrkernprozessoren ausgestattet. Auch die Menge an gespeicherten Daten steigt exponentiell. Weltweit wächst die Datenmenge in der Größenordnung von Zettabytes pro Tag. Allein die Speicherung und Verwaltung dieser Datenfluten erfordert die Entwicklung neuartiger Methoden. Die Komplexität der Daten, die zunehmend mehr weltweit verteilt sind, stellt die Analyse vor enorme Herausforderungen. Nach Alex Szalay werden bald so viele Daten produziert, dass diese nicht einmal mehr gespeichert werden können. Sie sind in Echtzeit zu analysieren. In der Wissenschaft werden diese umwälzenden Entwicklungen als Hinweise auf ein „viertes Paradigma“ gedeutet. Neben den bisherigen drei Fundamenten der Wissenschaft - „Experiment“, „Theorie“ und „Simulation“ - etabliere sich demnach als vierte Säule eine „datenzentrierte Wissenschaft“.

In der Wissenschaft werden Messungen zunehmend umfangreicher und machen die Speicherung immer größerer Datenmengen notwendig. Eine Analyse dieser Primärdaten führt zur Generierung weiterer Sekundärdaten. Um die erzielten Ergebnisse später reproduzieren zu können, sind sowohl die Primär- und Sekundärdaten zu archivieren, als auch die bei der Analyse verwendete Software. Den verschiedenen Phasen des wissenschaftlichen Datenlebenszyklus widmet sich das Projekt "Large Scale Data Management and Analysis" (LSDMA) der deutschen Helmholtz Gemeinschaft, in dem bis Ende 2016 vier Helmholtz-Zentren, sechs Hochschulen und das deutsche Klimarechenzentrum zusammenarbeiten.

Das Karlsruher Institut für Technologie (KIT) und die HTW Berlin beteiligten sich am Projekt LSDMA. Dieses Vorhaben widmete sich folgenden Themen:
* Ausarbeitung und Analyse der Anforderungen aus den Forschungsbereichen „Schlüsseltechnologien“ und „Struktur der Materie“
* Anbindung bestehender Analysewerkzeuge an Massenspeichersysteme unter Verwendung generischer Schnittstellen
* Entwicklung von Echtzeit-Triggersystemen bei der Datenaufnahme

• Prof. Dr. Hermann Heßling (Projektleitung)

Karlsruher Institut für Technologie (KIT)

• Karlsruher Institut für Technologie (KIT)
• Deutsches Elektronen-Synchrotron (DESY)