Projekt - XR4DRAMA

Projekt Info:

Beschreibung:

XR4DRAMA ist ein EU‑H2020‑Projekt, das die Situationserfassung und Entscheidungsfindung in Krisensituationen und bei Medienproduktionen durch den Einsatz von Extended Reality (XR) und ergänzenden Technologien revolutionieren möchte. Der Proof‑of‑Concept konzentriert sich zunächst auf Katastrophen‑ und Medienmanagement und strebt danach, die gewonnenen Erkenntnisse und Systeme anschließend auf weitere Einsatzfelder zu übertragen.

XR4DRAMA verfolgt einen datengetriebenen Ansatz: Katastrophenmanager, Ersthelfer, Journalisten und Medienproduzenten erhalten Zugriff auf umfangreiche Daten – von geografischen Karten über soziografische Informationen, kulturellen Kontext bis hin zu Sensordaten wie Temperatur, Feuchtigkeit und insbesondere Messwerte zu Wasserständen sowie Überflutungsprognosen. Diese Daten werden in einem zentralen Control‑Center‑System georeferenziert dargestellt, von Orten von Interesse für die Medienproduktion bis zu kritischen Messdaten für den Katastrophenfall. Die Anwendung lässt sich sowohl auf Desktop‑ und Mobilgeräten als auch in Virtual Reality (VR) nutzen. In VR kann die Umgebung in einer mittels Photogrammetrie erstellten 3‑D‑Welt erlebbar gemacht werden, sodass Beteiligte ein „wie vor Ort“‑Erlebnis erhalten und die Lage in realitätsnaher Perspektive erfassen können.

Ein zentraler Aspekt von XR4DRAMA ist die „verteilte Situationsbewusstheit“. Die georeferenzierte Darstellung von Standorten und Ereignissen muss kontinuierlich aktualisiert werden. Das Control‑Center bietet daher Schnittstellen zwischen entfernten Managern und vor Ort tätigen Personen, sodass Informationen in Echtzeit ausgetauscht und die Situation in der VR‑Umgebung laufend aktualisiert wird. So entsteht ein gemeinsames, dynamisch veränderliches Verständnis der Umgebung, das es ermöglicht, Entscheidungen in Echtzeit sicher und effizient zu treffen.

Kurz gesagt sorgt XR4DRAMA dafür, dass alle relevanten digitalen Informationen zentral gesammelt, in einer immersiven XR‑Umgebung dargestellt und kontinuierlich aktualisiert werden – von Katastrophen‑Messdaten bis hin zu Medienproduktionsanwendungen – und schafft damit eine verteilte, datengetriebene Situationsbewusstheit, die die Planung, Entscheidungsfindung und Durchführung von Maßnahmen in kritischen Szenarien erheblich verbessert.

Aufgabe:

Mein Team trug die komplette Verantwortung für die Konzeption, Architektur und Implementierung des Control‑Centers, das die Herzstück‑Komponente von XR4DRAMA darstellt. Die Software visualisiert geo‑referenzierte Daten in Echtzeit und zeigt dabei nicht nur die Lage von Orten von Interesse für die Medienproduktion, sondern auch die genauen Positionen von Einsatzpersonen. Jedes Teammitglied wird auf der Karte mit einem Stress‑Level‑Indikator dargestellt, sodass Operatoren sofort erkennen können, wer in Gefahr ist oder zusätzliche Unterstützung benötigt.

Zur Erweiterung der Situationsbewusstheit integrierten wir Social‑Media‑Inhalte mithilfe von KI‑Modellen. Beiträge werden automatisch durchsucht, relevante Informationen werden klassifiziert und auf der Karte angezeigt. Benutzer können nach verschiedenen Typen filtern, wie z.B. etwa Gefahrenmeldungen. Zusätzlich erhalten Operateure durch KI‑analysierte Bilder Einblicke in Personen in Gefahr oder andere kritische Szenarien. Das System priorisiert diese Informationen nach ihrer Dringlichkeit, sodass Operatoren stets die wichtigsten Daten im Blick haben.

Der Operator des Control‑Centers hat über die Software die Möglichkeit, Einsatzpersonen Aufträge zu erteilen, ihnen zusätzliche Informationen zukommen zu lassen und gleichzeitig deren Arbeitsbelastung zu überwachen. Dadurch kann sichergestellt werden, dass Einsatzkräfte nicht übermäßig belastet werden.

Ein weiteres Highlight der Architektur ist die Möglichkeit, mehrere Personen gleichzeitig dezentral zu bedienen. Durch Voice‑Chat in VR können sich Einsatzkräfte virtuell treffen, sich austauschen und gemeinsam die Situation analysieren. Für die Medienproduktion habe ich einen VR‑Drohne eintwickelt: Die Drohne lässt sich neben dem regulären Flugmodus in der VR‑Umgebung starten, wodurch Teams einen realistischen Eindruck von Kamerawinkeln und Blickfeld erhalten. Zusätzlich wurde eine Tag‑/Nacht‑Lichtsimmulation implementiert, die es ermöglicht, Faktoren wie Schattenwurf, Lichtverhältnisse und deren Einfluss auf Aufnahmen bereits in der Planungsphase zu berücksichtigen.

Screenshot & Videos: