Verarbeitung von Text-Bild-Kombinationen

Der Prozess des Bildverstehens

Arbeit mit Bildern – Grundlagen der Bildkommunikation

X-Links
▪ Wahrnehmungspsychologie ▪ Überblick ▪ Neurobiologische Grundlagen der Wahrnehmung ▪ Modelle der Wahrnehmung ▪ Empfindung und Wahrnehmung ▪ Aufmerksamkeit ▪ Identifikations- und Wiedererkennungsprozesse ▪ Überblick ▪ Bottom-up- und Top-down-Verarbeitung ▪ Pandämonium-Modell (Selfridge) ▪ Das Bindungsproblem  ▪ Kognitionspsychologie ▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten ▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Während die ▪ Theorie der propositionalen Repräsentation mit ihrem ▪ amodalen, d.h. von den konkreten Sinnes- bzw. Wahrnehmungseindrücken abstrahierenden Symbolsystem davon ausgeht, Menschen könnten keine bildhaften Vorstellungen in Form eines perzeptuellen Eindrucks speichern und bei ihrem Erinnern darauf zurückgreifen können (vgl. Anderson ⁷2013, S.102), hat »Lawrence W. Barsalou (geb. 1951) (1999) mit seiner ▪ Theorie der perzeptuellen Symbolsysteme (Wahrnehmungssymbolsysteme, »Perceptual Symbol Systems Theory) eine andere Theorie entwickelt.

Im Anschluss an die Theorie der dualen Kodierung (»Dual coding theory) von »Alan Paivio (1925-2016) (1971,1977) geht diese Theorie von der  Vorstellung eines modalitätspezifischen perzeptuellen Symbolsystems aus. Die ihr zugrunde liegende ▪ Theorie der dualen Kodierung besagt, dass Bilder und Sprache in voneinander unabhängigen, aber auf vielfältige Weise miteinander in Verbindung stehenden symbolischen Systemen verarbeitet werden.

Während die ▪ amodale Theorie der propositionalen Repräsentationen davon ausgeht, dass Bedeutungen in einem Top-down-Prozess über die in abstrakten ▪ Konzepten gemachte Sinneserfahrungen begrifflich abstrakt repräsentiert werden, kann unser kognitiver Apparat nach Barsalou eben auch Wahrnehmungseindrücke, d. h. nicht nur Begriffe (abstrakte Konzepte), sondern auch ▪ Kategorien (konkrete Einzelheiten, Details) in Form eines Bottom-up-Prozesses verarbeiten und zur Repräsentation nutzen.  (vgl. »Wikipedia, engl.)

So betrachtet, werden Bilder also autonom und unabhängig vom Sprachsystem verarbeitet. Dies geschieht bei Bildern eher holistisch-analog und nach einer räumlichen Logik, während sprachliche Informationen sequenziell und nach logisch analytischen Regeln verarbeitet werden. (Paivio 1977; Kroeber-RIel 1993, Schierl 2001, S.202). Darum besitzen Bilder empirischen Untersuchungen zufolge auch einen außerordentlich hohen Wiedererkennungswert. (vgl. u. a.  Paivio 1971) Diese als "Picture Superiority-Effect" bezeichnete Erscheinung kann, so Paivio (1977), darauf zurückgeführt werden, "dass der sprachliche Kode in einen bildlichen übersetzt werden kann und umgekehrt. Bilder werden diesem Ansatz nach besonders leicht doppelt kodiert und deshalb auch besonders leicht in das Gedächtnis übernommen." (Schierl 2001, S.202)

Das integrative Modell des Text- und Bildverstehens von Schnotz/Bannert (2003, S.147f.) geht allerdings von einer anderen Sichtweise aus. Für sie basieren propositionale Repräsentationen und mentale Modelle auf unterschiedlichen Zeichensystemen und unterschiedlichen Prinzipien der Repräsentation, die einander ergänzen.

Bildverstehen ist, so Schnotz/Bannert (2003, 146f.), ein Prozess der analogen Aufzeichnung von Strukturen (analogical structure mapping) zwischen einem visuell-räumlichen System und einem System semantischer Beziehungen. Diese Zuordnung kann in beide Richtungen erfolgen: Man kann ein mentales Modell von unten nach oben in einer Bottom-up-Verarbeitung aus einem Bild konstruieren. Ebenso ist es möglich, ein bestehendes mentales Modell im Zuge einer Top-down-Verarbeitung eines Bildes von oben nach unten entwickeln.

Beim Bildverstehen erstellt das Individuum während der Verarbeitung der Wahrnehmung zunächst eine visuelle mentale Darstellung der grafischen Darstellung des Bildes und konstruiert dann ein mentales Modell sowie eine propositionale Repräsentation des dargestellten Sachverhalts im Bild im Zuge seiner semantischen Verarbeitung. (vgl. Schnotz/Bannert 2003, 146f.)

Damit wir ein visuelles Bild nicht nur einfach wahrnehmen sondern verstehen können, müssen wir seine Bedeutung konstruieren. Um dies zu erreichen, konstruieren wir im Zuge eines ▪ schemagesteuerten Mapping-Prozesses ein mentales Modell des dargestellten Sachverhalts, in dem grafische Ganzheiten (Entitäten) als mentale Ganzheiten abgebildet (mapped) werden und in denen räumliche Beziehungen als semantische Relationen, die im mentalen Modell encodiert sind, abgebildet sind. (vgl. ebd.)

Zunächst werden bei der ▪ Wahrnehmungsverarbeitung  aufgabenrelevante Informationen durch ▪ Top-Down-Aktivierung kognitiver Schemata ausgewählt und anschließend mit Hilfe automatisierter visueller Routinen visuell organisiert. Dazu müssen bestimmte grafische Einheiten identifiziert und voneinander unterschieden werden.

Im ganzen System der Wahrnehmung sind die drei Stufen, wie in der unteren Abbildung dargestellt, in die bidirektional verlaufenden Prozesse der ▪ Bottom-up- und Top-down-Verarbeitung eingebunden.

Die ▪ wahrnehmungsbezogene Verarbeitung (sensorische Prozesse, perzeptuelle Information, Identifikation und Wiedererkennung von Objekten) umfasst die ▪ Identifizierung, Wiedererkennung und Unterscheidung grafischer Einheiten sowie die visuelle Organisation dieser Entitäten gemäß den ▪ Gestaltgesetzen, die »Max Wertheimer (1880-1943) (1923) in den zwanziger Jahren des vorigen Jahrhunderts formuliert hat und die später von Palmer (1999) um drei weitere ergänzt worden sind.

Diese als »Gestaltgesetze bezeichneten Organisationsprinzipien können neben der Textsegmentierung als "Vorstufen der Objekterkennung" (Müsseler 2017, S.31) angesehen werden. Ihre  Funktion besteht darin, mit bestimmten Organisationsgesetzen und einfachen Regeln Formen und Umrisse zu einer Gestalt zusammenzufassen, so dass wir einen kohärenten, als zusammenhängend wahrgenommenen Objekteindruck gewinnen. Objektidentifikation und Objektwiedererkennung sind also auch keine rein postperzeptiven Leistungen. (vgl. ebd., S.33)

Das bei der Wahrnehmungsverarbeitung von depiktionalen Darstellungen gewonnene visuelle Perzept repräsentiert als interne bildliche Darstellung (depictive representation) die Oberfläche des Bildes, die strukturelle Eigenschaften des externen Bildes umfasst. Zugleich besitzt die interne bildliche Darstellung eine spezifische sensorische Qualität, weil sie mit der ▪ visuellen Wahrnehmung direkt verknüpft ist. Sie kann auch als visuelles Bild bezeichnet werden, solange sie auf der Grundlage von internem Weltwissen und nicht von externen Sinnesdaten zustande gekommen ist. (vgl. Schnotz/Bannert 2003, 146f.)

X-Links
▪ Wahrnehmungspsychologie ▪ Überblick ▪ Neurobiologische Grundlagen der Wahrnehmung ▪ Modelle der Wahrnehmung ▪ Empfindung und Wahrnehmung ▪ Aufmerksamkeit ▪ Identifikations- und Wiedererkennungsprozesse ▪ Überblick ▪ Bottom-up- und Top-down-Verarbeitung ▪ Pandämonium-Modell (Selfridge) ▪ Das Bindungsproblem  ▪ Kognitionspsychologie ▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten ▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

 

Gert Egle, zuletzt bearbeitet am: 17.09.2026