Multimodale Künstliche Intelligenz (KI) ist ein aufkommender Makrotrend, der die Fähigkeit von KI-Systemen beschreibt, Informationen aus verschiedenen Modalitäten oder Datentypen – wie Text, Bild, Audio und Video – zu verstehen, zu interpretieren und darauf zu reagieren. Diese Entwicklung spiegelt einen signifikanten Fortschritt in der KI-Forschung und -Anwendung wider, da sie darauf abzielt, Maschinen ein umfassenderes und menschenähnlicheres Verständnis von Informationen zu ermöglichen. Multimodale KI-Systeme können Informationen aus einer Vielzahl von Quellen und Formaten gleichzeitig verarbeiten und integrieren. Beispielsweise kann ein System sowohl die gesprochenen Worte in einem Video verstehen als auch die dargestellten visuellen Informationen interpretieren. Multimodale KI ermöglicht eine breite Palette von Anwendungen, von fortgeschrittenen Chatbots und virtuellen Assistenten, die natürlichsprachige Konversationen mit visuellen Hinweisen kombinieren, bis hin zu intelligenten Sicherheitssystemen, die sowohl visuelle als auch akustische Signale erkennen und interpretieren können.

Diese multimodale KI ist Googles fortschrittlichstes und leistungsfähigstes KI-Modell, das in Zusammenarbeit mit DeepMind entwickelt wurde. Es ist multimodal konzipiert, was bedeutet, dass es unterschiedliche Informationsarten wie Text, Code, Audio, Bilder und Videos verarbeiten kann. Gemini zeichnet sich durch seine Flexibilität aus und kann effizient auf einer breiten Palette von Geräten, von Rechenzentren bis hin zu mobilen Geräten, eingesetzt werden. Gemini besteht aus mehreren Varianten, darunter Gemini Ultra, Pro und Nano, die jeweils für unterschiedliche Anwendungsbereiche und Geräte optimiert sind. Gemini Ultra ist das leistungsfähigste Modell, das für hochkomplexe Aufgaben eingesetzt wird, während Gemini Pro für eine breite Palette von Aufgaben skalierbar ist und Gemini Nano besonders effizient auf mobilen Geräten läuft.

GPT-4o („o“ für „omni“) ist die neueste Version des fortschrittlichen Sprachmodells von OpenAI, das noch leistungsfähiger und vielseitiger ist als seine Vorgänger. Es zeichnet sich durch eine verbesserte Fähigkeit zur natürlichen Sprachverarbeitung und -generierung aus, was zu noch präziseren und kontextbezogeneren Antworten führt. Ein herausragendes Merkmal von ChatGPT-4o ist die Omnidirektionalität, die bedeutet, dass das Modell Kontextinformationen in alle Richtungen berücksichtigt, was zu einer noch besseren Kohärenz und Genauigkeit führt. Es akzeptiert als Eingabe und Ausgabe jede Kombination aus Text, Audio, Bild und Video. Besonders beeindruckend ist seine Fähigkeit, auf Audioeingaben in nur 232 Millisekunden zu reagieren, was der menschlichen Reaktionszeit in Gesprächen sehr nahekommt. GPT-4o schlägt erneut die Performance des Vorgänger-Models und ist dabei in der API ca. 50 % günstiger . Zudem ist es besonders leistungsfähig in der Bild- und Audioverarbeitung im Vergleich zu bestehenden Modellen.

Die Integration von Sensordaten (z.B. Temperatur, Vibration), Bildern (für visuelle Inspektionen) und Wartungsaufzeichnungen ermöglicht es multimodalen KI-Systemen, den Zustand von Fahrzeugen und Ausrüstungen zu überwachen. Durch die Vorhersage potenzieller Ausfälle können so Wartungsarbeiten proaktiv geplant werden, um Ausfallzeiten zu minimieren.