Verarbeitung von Text-Bild-Kombinationen

Integratives Modell des Text- und Bildverstehens

Arbeit mit Bildern – Grundlagen der Bildkommunikation

▪ Wahrnehmungspsychologie
▪ Überblick
▪ Neurobiologische Grundlagen der Wahrnehmung
▪ Modelle der Wahrnehmung
▪ Empfindung und Wahrnehmung
▪ Aufmerksamkeit
▪ Identifikations- und Wiedererkennungsprozesse
▪ Überblick
▪ Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪ Das Bindungsproblem

▪ Kognitionspsychologie
▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten

▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Ein Ansatz, der die wahrnehmungs- und kognitionspsychologischen Prozesse beim Text- und Bildverstehen miteinander verbindet, ist in dem nachfolgenden integrativen Modell des Text- und Bildverstehens von Schnotz 2002 bzw. Schnotz/Bannert 2003 gestaltet.

Auf der Grundlage der Unterscheidung von ▪ Beschreibungen (deskriptionale Darstellungen) und ▪ bildlichen Darstellungen (depiktionale Darstellungen ) verdeutlicht das Modell auf der linken Seite die Beschreibungen und auf der rechten Seite die bildlichen Darstellungen.

• Der linkseitige Zweig, der den Weg der kognitiven Verarbeitung von Text (= deskriptionale Beschreibungen) zeigt, umfasst den (äußeren) Text sowie seine (innere) mentale Repräsentation der ▪ Oberflächenstruktur des Textes und der (internen) propositionalen Darstellung des semantischen Inhalts, deren Interaktion auf Symbolen beruht.

• Der rechtsseitige  Zweig, der den Weg der kognitiven Verarbeitung von visuellen Bildern (= depiktionale Darstellungen) zeigt, umfasst das (äußere) Bild oder Diagramm, die (innere) visuelle Wahrnehmung oder das innere Bild der grafischen Darstellung und das (innere) mentale Modell des dargestellten Themas. Das Zusammenspiel dieser bildlichen Darstellungen basiert auf Verfahren der analogen Strukturabbildung aufgrund von Strukturkorrespondenzen.

Nach dem Modell, das sich an dem kognitionspsychologischen ▪ Construction-Integration-Model (CI-Modell) von Walter Kintsch und »Teun van Dijk orientiert, konstruiert der Leser eines Textes eine mentale Repräsentation der Textoberflächenstruktur, generiert eine propositionale Repräsentation der semantischen Inhalts (▪ Textbasis) und konstruiert schließlich aus der Textbasis ein mentales Modell (▪ Situationsmodell) des im Text beschriebenen Themas.

Dabei verlaufen die Konstruktionsprozesse auf der Grundlage der Interaktion von ▪ Bottom-Up- und ▪ Top-Down-Aktivierung (= ▪ konzeptgesteuerte Verarbeitung) bestimmter ▪ kognitiver Schemata mit ihrer "große(n) Bandbreite hierarchisch ablaufender, regelgeleiteter kognitiver Prozesse" (Philipp 2015b, S.217).

Im Zuge der Top-Down-Aktivierung werden in einem absteigenden Verstehensprozess "von oben nach unten" aufgabenrelevante Aufgaben ausgewählt und als kohärente mentale Darstellung der ▪ Oberflächenstruktur des Textes organisiert. Dies löst dann die weitere Konstruktion eines mentalen Modells aus.

Diese mentale Modellkonstruktion beinhaltet auch einen Übergang von einer intern beschreibenden (deskriptionalen) zu einer intern bildlichen Darstellung (depiktionalen Darstellung), zumal ja auch angenommen wird, dass propositionale Repräsentationen und mentale Modelle im Zuge des Konstruktionsprozesses in einer anhaltenden Wechselwirkung miteinander interagieren und eine kontinuierliche Überwachung und Überprüfung der konstruierten mentalen Modelle durch die kognitiven Schemata erfolgt.

Dabei stellen die ▪ kognitiven Schemata keine starren kognitiven Strukturen dar, sondern besitzen ihre eigene ▪ Dynamik, die als Prozesse des ▪ Wissenszuwaches, der ▪ Feinabstimmung, von ▪ Umstrukturierung und ▪ Integration ihre Weiterentwicklung und ihren fortwährenden "Umbau" ermöglichen, und sind auch Ergebnisse von Top-down-Informationsverarbeitungsprozessen.

Basierend auf den propositionalen Informationen und den ▪ Standardwerten der Schemata wird das mentale Modell durch gestaltgesteuerte Komposition aus einigen darstellenden Grundelementen in einer Weise konstruiert, die eine typische Instanz dessen darstellt, was im Text beschrieben wird.

Nachdem ein mentales Modell erstellt wurde, kann es in einem vom Schema angeleiteten Prozess zum Auslesen neuer Informationen aus dem Modell verwendet werden. Diese Informationen werden in einem propositionalen Format codiert und das wiederum ermöglicht, dass die propositionale Repräsentation auch verbal geäußert werden kann. Diese "Versprachlichung" stellt damit "Abschluss der Entnahme von Informationen aus dem Diagramm, die dabei insbesondere eine Übersetzung von einer depiktionalen zu einer deskriptionalen Repräsentation darstellt. Die bei der Diagrammverarbeitung aktivierten Diagrammschemata können somit als Grundlage dieses Übersetzungsprozesses von Diagramm zu Text angesehen werden."  (Lachmayer 2008, S.30)

Gert Egle, zuletzt bearbeitet am: 07.12.2025