Verarbeitung von Text-Bild-Kombinationen

Überblick

Arbeit mit Bildern – Grundlagen der Bildkommunikation

▪ Wahrnehmungspsychologie
▪ Überblick
▪ Neurobiologische Grundlagen der Wahrnehmung
▪ Modelle der Wahrnehmung
▪ Empfindung und Wahrnehmung
▪ Aufmerksamkeit
▪ Identifikations- und Wiedererkennungsprozesse
▪ Überblick
▪ Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪ Das Bindungsproblem

▪ Kognitionspsychologie
▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten

▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Die wahrnehmungspsychologische Perspektive

Empirische Ansätze der ▪ Wahrnehmungspsychologie versuchen die Frage, wie und ggf. in welcher Reihenfolge die Informationen eines Text-Bild-Kommunikats erfasst und daraus Bedeutung konstruiert wird,  mit ihren Methoden einzukreisen.

Dabei bedient man sich der so genannten Blickaufzeichnungsmethode, um Blickbewegungen des Rezipienten ´beim Betrachten einer Bild-Text-Kombination bzw. Sehfläche genau nachvollziehen zu können. Solche Methoden haben in der ▪ Werbung, wo es stets darauf ankommt, die ▪ Aufmerksamkeit eines Betrachters zu erregen und auf bestimmte Aussagen zu lenken, eine lange Tradition.

Auch wenn solche Blickbewegungen beim Betrachten einer Text-Bild-Kombination nicht immer genau gleich ausfallen können, weil nicht überall die "klinischen" Laborbedingungen herrschen, unter denen das so genannte Scanning stattfindet (vgl. Bonfadelli 2004, S. 70), kann man nach Ballstaedt (2005, S.62) doch von mehr oder weniger typischen Blickbewegungen bzw. Bewegungsrichtungen beim Betrachten von Text-Bild-Kombinationen ausgehen, die drei größere Bereiche eingeteilt werden können.

Bei der globalen inhaltlichen Orientierung

• gewinnt der Betrachter durch das Erkennen grober Strukturen in wenigen Sekundenbruchteilen einen Überblick

• werden visuelle Reize, die von der Sehfläche ausgehen, aufgenommen und ästhetische Erfahrungen ermöglicht

• wird die Perspektive bzw. der Blickwinkel, unter dem die Sehfläche betrachtet wird, durch Erwartungen und Motive, Gefühle und persönliche Interessen gesteuert

• geht der Blick im Allgemeinen von dem Bild weiter zu Überschriften (Headline, Subheadline) und kurzen (Fließ-)Texten

• findet keine Auswertung bzw. Analyse von Details statt

Die anschließende Detailauswertung

• wertet einzelne Elemente der Text-Bild-Komposition aus

• führt eine ins Einzelne gehende Betrachtung der Bildelemente durch und analysiert längere Textteile

• wird davon beeinflusst, ob die wahrgenommenen Aspekte und Elemente mit unseren Erwartungen übereinstimmen oder nicht und in unsere Rezeptionsschemata passen oder nicht (Schlüsselreize)

Die begriffliche (konzeptuelle) Verarbeitung

• erfolgt parallel zur Detailauswertung

• verarbeitet die Informationen und fügt sie in ein Netz von Assoziationen

• fällt bei der textlichen Aktivierung von Begriffen leichter, weil Textbegriffe von ihrer Bedeutung eindeutiger sind (Monosemie) als die grundsätzlich vieldeutigeren Bilder (Polysemie)

Die Abfolge dieser Schritte erfolgt indessen nicht stets linear, also einfach eins nach dem anderen, denn die Gestalter von Text-Bild-Kombination bzw. Sehflächen verfügen über ein großes Know-how, wie der Blick eines Betrachters gelenkt werden kann.

Die kognitive Verarbeitung von Bildern mit Hilfe von Schemata

Die kognitive Verarbeitung von Bildern ist bis heute nicht vollständig erforscht. Zwar gibt es theoretische Modelle, doch fehlen häufig empirische Belege.

Im Vergleich zum Textverstehen weist das Bildverstehen sowohl Gemeinsamkeiten als auch deutliche Unterschiede auf. Textverstehen wird in der Kognitionspsychologie als Prozess beschrieben, bei dem Leser mithilfe ihres Vorwissens und verschiedener mentaler Strukturen wie Schemata oder mentalen Modellen eine kohärente Vorstellung des Textinhalts entwickeln. Das Construction-Integration-Modell zeigt, wie dabei konstruktive und integrative Prozesse zusammenspielen.

Für das Verständnis von Bildern und Texten unterscheidet das integrative Modell von Schnotz zwei Formen äußerer Darstellungen: beschreibende (z. B. Texte, Gleichungen) und abbildende Darstellungen (z. B. Bilder, Diagramme). Beschreibende Darstellungen beruhen auf symbolischen Zeichen ohne Ähnlichkeit zum Objekt, während abbildende Darstellungen auf ikonischen Zeichen basieren, die dem realen Objekt ähnlich oder zumindest strukturell analog sind. Auch Diagramme zählen dazu, da ihre Struktur den dargestellten Relationen entspricht.

Diese Unterscheidung gilt auch für die inneren mentalen Repräsentationen. Texte führen zu sprachlich-logischen (propositionalen) und oft zusätzlich zu bildhaften Vorstellungen, während Bilder sowohl bildhafte als auch beschreibende Repräsentationen erzeugen. Mentale Modelle sind bildhafte, aber abstrakte Repräsentationen, die stark durch Vorwissen beeinflusst werden und Informationen enthalten können, die in Bild oder Text gar nicht vorkommen.

Beim Verstehen von Texten und Bildern findet stets ein Wechselspiel zwischen propositionaler Repräsentation und mentalem Modell statt. Während beim Textverstehen die sprachlich-logische Repräsentation den Ausgangspunkt bildet, beginnt Bildverstehen mit dem Aufbau eines mentalen Modells. Beide Formen des Verstehens werden wesentlich durch vorhandene Schemata gesteuert, die Informationen ergänzen, hervorheben oder verändern können.

Integratives Modell des Text- und Bildverstehens

Das integrative Modell des Text- und Bildverstehens von Schnotz und Bannert beschreibt, wie Menschen sprachliche und bildliche Informationen unterschiedlich, aber miteinander verknüpft verarbeiten. Es unterscheidet zwei Verarbeitungswege: Auf der linken Seite steht die Verarbeitung von Texten als beschreibende, symbolische Darstellungen, die über die mentale Repräsentation der Textoberfläche zu einer propositionalen Darstellung und schließlich zum mentalen Modell des beschriebenen Sachverhalts führen. Auf der rechten Seite zeigt das Modell die Verarbeitung von Bildern als abbildende Darstellungen, die über visuelle Wahrnehmung zu internen bildlichen Repräsentationen und ebenfalls zu einem mentalen Modell führen. Während Texte durch symbolische Beziehungen strukturiert sind, beruhen Bilder auf analoger Strukturabbildung.

Beide Verarbeitungswege folgen dem Construction-Integration-Modell und beruhen auf dem Zusammenspiel von Bottom-up- und Top-down-Prozessen. Kognitive Schemata steuern dabei die Auswahl relevanter Informationen, organisieren Wahrnehmung und tragen zur Konstruktion und Überprüfung mentaler Modelle bei. Diese Modelle entstehen aus internen Repräsentationen, werden durch Vorwissen ergänzt und können wiederum genutzt werden, um neue Informationen auszulesen und in propositionale Form zu überführen.

Für das Bildverstehen spielen Wahrnehmungsprozesse, Gestaltgesetze und die Strukturierung grafischer Einheiten eine zentrale Rolle. Visuelle Informationen werden holistisch organisiert und anschließend semantisch interpretiert, wobei das mentale Modell die Bedeutung des Bildes repräsentiert. Dieses Zusammenspiel zeigt, dass Text- und Bildverstehen zwar unterschiedlichen Prinzipien folgen, sich aber in ihren kognitiven Prozessen ergänzen und gegenseitig beeinflussen.

Der Prozess des Bildverstehens

Es gibt verschiedene theoretische Ansätze zum Bildverstehen. Während die amodale Theorie der propositionalen Repräsentation davon ausgeht, dass Menschen keine bildhaften Eindrücke speichern, argumentiert Barsalous Theorie der perzeptuellen Symbolsysteme – im Anschluss an Paivios Dual-Coding-Theorie –, dass Wahrnehmungen selbst als modalitätsspezifische Symbole im Gedächtnis gespeichert werden. Bilder und Sprache werden demnach in getrennten, aber verbundenen Systemen verarbeitet. Dadurch werden Bilder holistisch und räumlich organisiert und weisen wegen ihrer doppelten Kodierung einen besonders hohen Wiedererkennungswert auf (Picture-Superiority-Effekt).

Das integrative Modell von Schnotz und Bannert betrachtet Bildverstehen als Zusammenspiel zweier Zeichensysteme: bildhafte Repräsentationen und propositionale Strukturen ergänzen sich gegenseitig. Beim Verstehen eines Bildes entsteht zunächst eine visuelle mentale Darstellung, aus der durch semantische Verarbeitung ein mentales Modell und eine propositionale Repräsentation konstruiert werden. Dieser Aufbau erfolgt sowohl bottom-up aus dem Bild selbst als auch top-down durch vorhandenes Wissen und Schemata. Ein schemagesteuerter Mapping-Prozess überträgt grafische Elemente und räumliche Relationen des Bildes in semantische Strukturen. Wahrnehmungsverarbeitung und Bildorganisation erfolgen dabei durch die Kombination aus Bottom-up-Erkennung und Top-down-Steuerung, die relevante Informationen auswählt und grafische Einheiten strukturiert.

Gert Egle, zuletzt bearbeitet am: 07.12.2025