In Zusammenarbeit mit dem Südwestrundfunk (SWR) entstand eine Kooperation zum Thema KI und der Frage, an welchen Stellen KI-gestützte Systeme den Live-Produktionsprozess im Broadcast-Kontext sinnvoll unterstützen können.

Dabei wurde ein Prototyp mit dem Namen „AI-Media-Assistent“ entwickelt, der in der Bildregie die automatische Medienauswahl unterstützt, beispielsweise bei der Auswahl von Inhalten für die LED-Leinwände. Der KI-Agent kann passende Bildinhalte semantisch analysieren, über ein multimodales KI-Modell mit gesprochenem Text in Beziehung setzen und so geeignete Medien vorselektieren.

Ergänzend wurde erprobt, wie ein KI-Modell anhand von Beispielbildern auf bestimmte Bildinhalte trainiert werden kann. Dadurch lassen sich auch Motive oder Inhalte gezielt erkennen und klassifizieren, die vom allgemeinen multimodalen KI-Modell nicht eindeutig zugeordnet werden können.

Darüber hinaus kann die Spracherkennung den Sendeton mitverfolgen und anhand eines Talks im Studio die dazugehörigen Bilder auswählen. Über die Sprachsteuerung können anschließend die Signale zu den jeweiligen Zielgeräten geroutet werden.

Im Rahmen meines Dual-Degree-Studiums im Bereich Medientechnik entstand zu der Kooperation außerdem eine Diplomarbeit an der University of Applied Sciences St. Pölten in Österreich mit dem Titel: „Analyse von Live-Produktionsprozessen hinsichtlich des Einsatzpotenzials KI-gestützter Systeme bei Sendungsformaten des SWR“.