Multimodale KI:
ein Modell, viele Sinne

Ein unimodales Modell verarbeitet einen Eingabetyp. Ein reines Text-LLM ist unimodal: Text rein, Text raus.

Ein multimodales Modell kann mehrere Eingabetypen annehmen und verarbeitet sie über Encoder, die jede Modalität in Vektoren überführen, die mit der internen Repräsentation kompatibel sind. Aus Sicht des Modells werden Bild und Absatz zu ähnlichen Tensoren. Derselbe Attention-Mechanismus überlegt über beide. Die meisten heutigen multimodalen Modelle geben weiterhin nur Text aus, doch Modelle, die auch Bilder und Audio erzeugen, kommen schnell.

Multimodal erlaubt Fragen wie lies dieses Diagramm und nenne den Trend, finde den Bug in diesem UI-Screenshot, transkribiere diese Sprachnotiz und extrahiere die To-dos oder fasse diesen Podcast zusammen.

Es löst Grounding nicht magisch: Das Modell kann weiter über das Gesehene halluzinieren. Aber es entfällt die manuelle Modalitätskonvertierung. Viele reale Workflows (Design-Review, Dokumentenscan, Barrierefreiheit) sind heute in einem Prompt machbar, wo sie früher eine Pipeline brauchten.