Verarbeitung von Text-Bild-Kombinationen

Kognitive Verarbeitung von Bildern mit Hilfe von Schemata

Arbeit mit Bildern – Grundlagen der Bildkommunikation

▪ Wahrnehmungspsychologie
▪ Überblick
▪ Neurobiologische Grundlagen der Wahrnehmung
▪ Modelle der Wahrnehmung
▪ Empfindung und Wahrnehmung
▪ Aufmerksamkeit
▪ Identifikations- und Wiedererkennungsprozesse
▪ Überblick
▪ Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪ Das Bindungsproblem

▪ Kognitionspsychologie
▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten

▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Wie  sich die kognitive Verarbeitung von Bildern genau vollzieht, ist auch heute noch ziemlich unklar. Verschiedene Ansätze versuchen die Frage theoretisch zu erklären, ihre empirische Fundierung steht aber offenbar noch aus. (vgl. Schnotz 2002)

Dabei gibt es zwischen dem Bildverstehen und dem Textverstehen ungeachtet zahlreicher Gemeinsamkeiten auch erhebliche Unterschiede.

In der ▪ Kognitionspsychologie, der ▪ Textlinguistik, in der ▪ Literaturwissenschaft ist Textverstehen "als Informations- bzw. Textverarbeitung konzipiert, deren Resultat, abhängig von Wissen und Fähigkeiten (mentale Modelle, frames, scripts, Schemata, Begriffe; Schema und Schematheorie), die kreative Konstruktion subjektiv befriedigend kohärenter und emotional besetzter mentaler Repräsentationen wahrgenommener Gegenstände sein soll, auf deren Basis inhaltliche Inferenzen sowie Kondensationen oder Elaborationen aller Art möglich werden." (Metzler Lexikon Literatur- und Kulturtheorie, ³2004, S.252)

Das Textverstehen umfasst dabei auf der Grundlage des kognitionspsychologischen ▪ Construction-Integration-Model (CI-Modell)  von Walter Kintsch und »Teun van Dijk "eine große Bandbreite hierarchisch ablaufender, regelgeleiteter kognitiver Prozesse" (Philipp 2015b, S.217). Mit Hilfe dieses Modells lässt sich besonders gut verdeutlichen, wie Vorwissen und Textinhalte im Lesenverstehensprozess beim Zusammenwirken der ▪ konstruktiven und integrativen Prozesse zusammenspielen. Dabei wird das Textverstehen mit zwei Kategorienpaaren beschrieben: den ▪ Mikro- und ▪ Makrostrukturen und der ▪ Textbasis und dem ▪ Situationsmodell.

Kognitionspsychologisch versucht das integrative Modell des Text- und Bildverstehens (Schnotz 2002, Schnotz/Bannert 2003) die Zusammenhänge bei der kognitiven Verarbeitung von Diagrammen, Bildern und Texten zu erklären. Als Repräsentationen stellen diese reale Sachverhalte dar und geben sie auf ihre jeweils besondere Art und Weise wieder.

Das Modell unterscheidet dabei verschiedene Repräsentationsformen danach, wie groß die Ähnlichkeit zwischen dem realen Objekt und seiner Repräsentation bei seiner externen Darstellung ist.

Dabei kann man zwei grundlegende Formen der Repräsentation unterscheiden: Beschreibende und abbildende Darstellungen. (Schnotz/Bannert 2003)

Beschreibende Darstellungen (descriptive representations)

Beschreibende Darstellungen (descriptive representations oder deskriptionale Darstellungen) sind z. B. gesprochene oder geschriebene Texte, mathematische Gleichungen und logische Ausdrücke.

Sie beschreiben ihre Objekte mit willkürlich festgelegten sprachlichen Zeichen wie Buchstaben, Wörtern oder Zahlen, die durch »Konvention der Zeichennutzer symbolisch mit dem realen Objekt, mit dem sie keinerlei Ähnlichkeit aufweisen, verknüpft sind. (Es gibt allerdings auch Wörter, die einen (lautlichen) Abbildungsbezug zu dem Bezeichneten haben. Das sind sogenannte ikonische Wörter wie "Kuckuck".)

»Semiotisch betrachtet geht es dabei um die »Arbitrarität des sprachlichen Zeichens, der Beziehung zwischen dem Bezeichnenden (»Signifikant, Lautbild, Zeichengestalt) und dem Bezeichneten (»Signifikat) (»Ferdinand de Saussure 1857-1913), die auf menschlicher »Konvention und Vereinbarung statt auf einer naturgegebenen Gesetzmäßigkeit beruht. Dass die Zeichenfolge im Wort Tisch und das Wort selbst keine Ähnlichkeit mit dem realen Objekt Tisch haben, ist schon von ▪ Peter Bichsel in seiner Kurzgeschichte ▪ Ein Tisch ist ein Tisch auf seine Weise literarisch thematisiert worden. So gesehen ist es also mehr oder weniger zufällig,  dass ein Tisch Tisch heißt. In gewissem Sinne ist Arbitrarität der Gegenbegriff zu Ikonizität.

Texte können danach als Sätze aufgefasst werden, die aus zahlenmäßig nicht festgelegten deskriptionalen Repräsentationen bestehen. (vgl. Lachmayer 2008, S.10) So werden in einem Satz wie "Die Erde dreht sich um sich selbst um ihre Achse" Substantive verwendet, um sich auf bestimmte Objekte aus der realen Welt (Entitäten) zu beziehen, während die Verben und Präpositionen dazu dienen, diese Objekte miteinander in Beziehung zu setzen. (vgl. Schnotz/Bannert 2003, S.143)

Abbildende Darstellungen (depictive representations)

Abbildende Darstellungen (depictive representations, depiktionale Darstellungen) sind z. B. Bilder, Skulpturen oder physische Modelle.

Eine abbildende Darstellung besteht aus ikonischen Zeichen. Bei einem ikonischen Zeichen ist, semiotisch gesehen, nach »Charles S. Peirce (1839-1914) zwischen dem Zeichen und dem Bezeichneten "ein Abbild-Verhältnis, eine Ähnlichkeit" (Kocsány 2010, S.42) feststellbar. Dabei ist diese Ähnlichkeit zwischen dem ikonischen Zeichen (Ikon) und dem Objekt, auf das es sich bezieht (Referenzobjekt) in unterschiedlichen Graden ausgeprägt. Mit dem auf »Charles W. Morris (1901-1979 zurückgehenden Terminus der »Ikonizität wird dies erfasst.

Im Unterschied zu den deskriptionalen Darstellungen weisen die depiktionalen eine Ähnlichkeit zwischen dem realen Objekt und der Darstellung auf. (vgl. Schnotz 2001)

Auch wenn wir aus abbildenden Darstellungen Informationen, die miteinander in einer Beziehung stehen, "auslesen" können, enthalten sie selbst keine Symbole für diese relationalen Beziehungen. Dafür verfügen sie allerdings über besondere Strukturmerkmale, die dies es möglich machen, solche relationalen Beziehungen "abzulesen". Zudem werden sie mit dem Inhalt, den sie repräsentieren, mit Hilfe solcher Strukturmerkmale verknüpft. (vgl. Schnotz/Bannert 2003, S.143)

Die Ikonizität bzw. die Ähnlichkeit der abbildenden Darstellung mit ihrem jeweiligen Referenzobjekt der realen Wirklichkeit kann bei realistischen Bildern (z. B. Fotografien, Gemälde, Strich- und Schemazeichnungen) offensichtlich sein, oder wie bei Bildstatistiken bzw. Diagrammen (logische Bilder) abstrakt sein. Um realistische Bilder zu verstehen, können wir auf kognitive Schemata der Alltagswahrnehmung zurückgreifen

Die ▪ Bildstatistiken und Diagramme haben dabei als ▪ logische Bilder keine sichtbare Ähnlichkeit mit dem von ihnen dargestellten Sachverhalt. Dennoch stimmen sie in struktureller Hinsicht mit diesem in einer gewissen Hinsicht überein, da die (logischen) Relationen zwischen den Merkmalen innerhalb des Bildes und innerhalb des abgebildeten Sachverhalts gleich sind. (vgl. Schnotz 2001) Die abstrakte Strukturgleichheit von logischen Bildern und ihren Referenzobjekten ist dabei, anders als bei den realistischen Bildern, durch »Konvention festgelegt. Sie basiert auf Verfahren der analogen Strukturabbildung aufgrund von Strukturkorrespondenzen.

Beschreibungen und Abbildungen als innere mentale Repräsentationen

Was über die Unterscheidung von Beschreibungen (deskriptionalen Darstellungen) und bildlichen Darstellungen (depiktionale Darstellungen, visuelle Bilder) gesagt worden ist, gilt auch für ihre innere mentale Repräsentation.

Bei der Verarbeitung eines gesprochenen oder geschriebenen Textes und der propositionalen Darstellung wird die mentale Repräsentation einer ▪ Textoberfläche konstruiert.

Ein abstrakter Text führt dabei als externe beschreibende Repräsentation sowohl zu einer internen deskriptiven als auch zu einer internen bildhaften (depiktionalen) mentalen Repräsentation. (vgl. Schnotz/Bannert 2003, S.147)

Als externe Beschreibungen (deskriptionalen Darstellungen) stellen Texte daher auch bei ihrer inneren mentalen Repräsentation interne Beschreibungen dar, da sie ihr dargestelltes Objekt mit Hilfe von symbolischen Zeichen beschreiben.

Das Bild, das wahrnehmungsnahe Repräsentationen darstellt, weil visuelle Bilder und visuelle Wahrnehmungen auf denselben kognitiven Mechanismen basieren, führt hingegen als äußere bildliche (depiktionale) Repräsentation zu beidem, nämlich zu einer intern bildlichen (depiktionalen) und zu einer intern beschreibenden (deskriptionalen) mentalen Repräsentation. (vgl. ebd.)

Mentale Modelle stellen interne bildliche Repräsentationen (depictive representations) dar, da sie wie (visuelle) Bilder inhärente strukturelle Merkmale zum Zwecke der Repräsentation verwenden. Dabei macht es keinen Unterschied, ob die mentalen Modelle während des Bildverstehens oder während des Textverstehens konstruiert werden.

Auch wenn die Konstruktion mentaler Modelle wahrscheinlich von der Kapazität des visuell-räumlichen Teils des ▪ Arbeitsgedächtnisses (»Alan D. Baddeley (geb. 1934) (1986))  abhängt, gibt es doch grundlegende Unterschiede zwischen mentalen Modellen und visuellen Bildern. (vgl. Schnotz/Bannert 2003, S.143ff.)

1. Mentale Modelle sind nicht an spezifische Sinnesmodalitäten gebunden. Dies hat zur Folge, dass sie eher als abstrakte und nicht als auf die Wahrnehmung bezogene Größen zu verstehen sind.

2. Mentale Modelle und visuelle Bilder besitzen einen unterschiedlichen Informationsgehalt. Um ein mentales Modell eines visuellen Bildes (depiktionale Darstellung) zu konstruieren, werden nämlich nur die grafischen Teile einer Abbildung beim Aufzeichnen von Strukturen (process of structure mapping) berücksichtigt werden, die für die aktuelle oder erwartete Aufgabe relevant erscheinen.

3. Zudem wird das mentale Modell sowohl beim Bild- und beim Textverstehen durch Informationen aus unserem Wissen bzw. aus unserem deklarativen und prozeduralen Wissen unterschiedlichster Art (z. B. Weltwissen, aktives Wissen, Erfahrungswissen, Fachwissen, Sprachwissen, Textmusterwissen, thematisches Wissen weiter angereichert bzw. ergänzt und enthält daher auch Informationen, die nicht im Bild bzw. dem Text selbst enthalten sind. Dabei kann die Beteiligung dieses Vorwissens beim Bild- und Textverstehen gar nicht hoch genug eingeschätzt werden. Solche im Gedächtnis gespeicherten Informationen können nämlich, wenn sie z. B. als ▪ Schemata bestimmte Wahrnehmungs- und kognitiven Verarbeitungsprozesse steuern, Textinhalte einfach "überschreiben" oder können ihnen neue Inhalte zuschreiben, die im Text selbst überhaupt nicht nachzuweisen sind. (Christmann 2015, S.173).

4. Mentale Modelle haben gemeinsame inhärente Strukturen mit dem abgebildeten Referenzobjekt (depictive object). Das heißt, sie repräsentieren das Objekt auf der Grundlage einer strukturellen oder funktionalen Analogie. Eine solche Analogie impliziert nicht, dass solche mentalen Modelle nur räumliche Informationen repräsentieren können. So kann ein mentales Modell z. B. auch die Zunahme oder Abnahme von Geburtenraten oder Einkommen während eines bestimmten Zeitraums repräsentieren (wie es als Text oder in einem ▪ Linien- oder Kurvendiagramm dargeboten wird), obwohl Geburtenraten und Einkommen keine räumlichen Informationen sind. Ein mentales Modell einer räumlichen Konfiguration kann zudem auch nicht nur durch visuelle Wahrnehmung konstruiert sein, sondern auch durch auditive oder durch kinästhetische oder durch haptische Wahrnehmung. (vgl. Schnotz/Bannert 2003, S.143, 146f.)

5. Es gibt sowohl beim Textverstehen als auch im Bildverstehen eine kontinuierliche Wechselwirkung zwischen der propositionalen Repräsentation und dem mentalen Modell. Daher können, wie beim Textverstehen auch, im Zuge der Überprüfung des mentalen Modells die propositionale Repräsentationen weiter entwickelt werden. Darüber hinaus besteht die Möglichkeit einer Interaktion zwischen der Repräsentation der Textoberfläche und dem mentalen Modell sowie die Möglichkeit einer Interaktion zwischen der wahrnehmungsbezogenen Repräsentation des Bildes und seiner propositionalen Repräsentation. Aus diesem Grund entsprechen sich die externen und Repräsentationen auch nicht vollständig.

6. Beim Textverstehen ist der Ausgangspunkt dieser Wechselwirkung die propositionale Repräsentation, die zur Konstruktion eines mentalen Modells verwendet wird. Dieses Modell kann wiederum dazu verwendet werden, neue Informationen abzulesen, um die propositionale Repräsentation weiter auszuarbeiten.

7. Beim Bildverstehen ist der Ausgangspunkt der Interaktion ein mentales Modell, das dazu dient, neu hinzugekommene Informationen abzulesen und diese der propositionalen Repräsentation hinzuzufügen.

Gert Egle, zuletzt bearbeitet am: 07.12.2025