Im Rahmen meines Dual-Degree-Studiums im Bereich Medientechnik entstand an der University of Applied Sciences St. Pölten in Österreich die Diplomarbeit mit dem Titel „Analyse von Live-Produktionsprozessen hinsichtlich des Einsatzpotenzials KI-gestützter Systeme bei Sendungsformaten des SWR“.

In Kooperation mit dem Südwestrundfunk (SWR) wurde dabei untersucht, an welchen Stellen KI-gestützte Systeme den Live-Produktionsprozess im Broadcast-Kontext sinnvoll unterstützen können.

Im Zuge dieser Zusammenarbeit wurde der Prototyp „AI-Media-Assistent“ entwickelt, der die Medienauswahl in der Bildregie unterstützt, beispielsweise bei der Auswahl von Inhalten für LED-Leinwände. Der KI-Agent kann Bildinhalte mithilfe eines multimodalen KI-Modells semantisch analysieren, mit den Sprachbefehlen des Operators in Beziehung setzen und so geeignete Medien vorselektieren. Über die Sprachsteuerung können zudem Signale zu den jeweiligen Zielgeräten geroutet werden.

Unabhängig von den Sprachbefehlen des Operators kann das System auch den laufenden Sendeton analysieren und auf Grundlage der Gesprächsinhalte im Studio die dazugehörigen Bilder auswählen.

Ergänzend wurde erprobt, wie ein KI-Modell anhand von Beispielbildern auf die Erkennung bestimmter Bildinhalte trainiert werden kann. Dadurch lassen sich auch Motive oder Objekte gezielt erkennen und klassifizieren, die vom allgemeinen multimodalen KI-Modell nicht eindeutig zugeordnet werden können.