Grundlagen der Bildkommunikation

Verarbeitung von Text-Bild-Kombinationen

Arbeit mit Bildern

▪ Wahrnehmungspsychologie
▪ Überblick
▪ Neurobiologische Grundlagen der Wahrnehmung
▪ Modelle der Wahrnehmung
▪ Empfindung und Wahrnehmung
▪ Aufmerksamkeit
▪ Identifikations- und Wiedererkennungsprozesse
▪ Überblick
▪ Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪ Das Bindungsproblem

▪ Kognitionspsychologie
▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten

▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Die wahrnehmungspsychologische Perspektive

Empirische Ansätze der ▪ Wahrnehmungspsychologie versuchen die Frage, wie und ggf. in welcher Reihenfolge die Informationen eines Text-Bild-Kommunikats erfasst und daraus Bedeutung konstruiert wird,  mit ihren Methoden einzukreisen.

Dabei bedient man sich der so genannten Blickaufzeichnungsmethode, um Blickbewegungen des Rezipienten ´beim Betrachten einer Bild-Text-Kombination bzw. Sehfläche genau nachvollziehen zu können. Solche Methoden haben in der ▪ Werbung, wo es stets darauf ankommt, die ▪ Aufmerksamkeit eines Betrachters zu erregen und auf bestimmte Aussagen zu lenken, eine lange Tradition.

Auch wenn solche Blickbewegungen beim Betrachten einer Text-Bild-Kombination nicht immer genau gleich ausfallen können, weil nicht überall die "klinischen" Laborbedingungen herrschen, unter denen das so genannte Scanning stattfindet (vgl. Bonfadelli 2004, S. 70), kann man nach Ballstaedt (2005, S.62) doch von mehr oder weniger typischen Blickbewegungen bzw. Bewegungsrichtungen beim Betrachten von Text-Bild-Kombinationen ausgehen, die drei größere Bereiche eingeteilt werden können.

Bei der globalen inhaltlichen Orientierung

• gewinnt der Betrachter durch das Erkennen grober Strukturen in wenigen Sekundenbruchteilen einen Überblick

• werden visuelle Reize, die von der Sehfläche ausgehen, aufgenommen und ästhetische Erfahrungen ermöglicht

• wird die Perspektive bzw. der Blickwinkel, unter dem die Sehfläche betrachtet wird, durch Erwartungen und Motive, Gefühle und persönliche Interessen gesteuert

• geht der Blick im Allgemeinen von dem Bild weiter zu Überschriften (Headline, Subheadline) und kurzen (Fließ-)Texten

• findet keine Auswertung bzw. Analyse von Details statt

Die anschließende Detailauswertung

• wertet einzelne Elemente der Text-Bild-Komposition aus

• führt eine ins Einzelne gehende Betrachtung der Bildelemente durch und analysiert längere Textteile

• wird davon beeinflusst, ob die wahrgenommenen Aspekte und Elemente mit unseren Erwartungen übereinstimmen oder nicht und in unsere Rezeptionsschemata passen oder nicht (Schlüsselreize)

Die begriffliche (konzeptuelle) Verarbeitung

• erfolgt parallel zur Detailauswertung

• verarbeitet die Informationen und fügt sie in ein Netz von Assoziationen

• fällt bei der textlichen Aktivierung von Begriffen leichter, weil Textbegriffe von ihrer Bedeutung eindeutiger sind (Monosemie) als die grundsätzlich vieldeutigeren Bilder (Polysemie)

Die Abfolge dieser Schritte erfolgt indessen nicht stets linear, also einfach eins nach dem anderen, denn die Gestalter von Text-Bild-Kombination bzw. Sehflächen verfügen über ein großes Know-how, wie der Blick eines Betrachters gelenkt werden kann.

Die kognitive Verarbeitung von Bildern mit Hilfe von Schemata

Wie  sich die kognitive Verarbeitung von Bildern genau vollzieht, ist auch heute noch ziemlich unklar. Verschiedene Ansätze versuchen die Frage theoretisch zu erklären, ihre empirische Fundierung steht aber offenbar noch aus. (vgl. Schnotz 2002)

Dabei gibt es zwischen dem Bildverstehen und dem Textverstehen ungeachtet zahlreicher Gemeinsamkeiten auch erhebliche Unterschiede.

In der ▪ Kognitionspsychologie, der ▪ Textlinguistik, in der ▪ Literaturwissenschaft ist Textverstehen "als Informations- bzw. Textverarbeitung konzipiert, deren Resultat, abhängig von Wissen und Fähigkeiten (mentale Modelle, frames, scripts, Schemata, Begriffe; Schema und Schematheorie), die kreative Konstruktion subjektiv befriedigend kohärenter und emotional besetzter mentaler Repräsentationen wahrgenommener Gegenstände sein soll, auf deren Basis inhaltliche Inferenzen sowie Kondensationen oder Elaborationen aller Art möglich werden." (Metzler Lexikon Literatur- und Kulturtheorie, ³2004, S.252)

Das Textverstehen umfasst dabei auf der Grundlage des kognitionspsychologischen ▪ Construction-Integration-Model (CI-Modell)  von Walter Kintsch und »Teun van Dijk "eine große Bandbreite hierarchisch ablaufender, regelgeleiteter kognitiver Prozesse" (Philipp 2015b, S.217). Mit Hilfe dieses Modells lässt sich besonders gut verdeutlichen, wie Vorwissen und Textinhalte im Lesenverstehensprozess beim Zusammenwirken der ▪ konstruktiven und integrativen Prozesse zusammenspielen. Dabei wird das Textverstehen mit zwei Kategorienpaaren beschrieben: den ▪ Mikro- und ▪ Makrostrukturen und der ▪ Textbasis und dem ▪ Situationsmodell.

Kognitionspsychologisch versucht das integrative Modell des Text- und Bildverstehens (Schnotz 2002, Schnotz/Bannert 2003) die Zusammenhänge bei der kognitiven Verarbeitung von Diagrammen, Bildern und Texten zu erklären. Als Repräsentationen stellen diese reale Sachverhalte dar und geben sie auf ihre jeweils besondere Art und Weise wieder.

Das Modell unterscheidet dabei verschiedene Repräsentationsformen danach, wie groß die Ähnlichkeit zwischen dem realen Objekt und seiner Repräsentation bei seiner externen Darstellung ist.

Dabei kann man zwei grundlegende Formen der Repräsentation unterscheiden: Beschreibende und abbildende Darstellungen. (Schnotz/Bannert 2003)

Beschreibende Darstellungen (descriptive representations)

Beschreibende Darstellungen (descriptive representations oder deskriptionale Darstellungen) sind z. B. gesprochene oder geschriebene Texte, mathematische Gleichungen und logische Ausdrücke.

Sie beschreiben ihre Objekte mit willkürlich festgelegten sprachlichen Zeichen wie Buchstaben, Wörtern oder Zahlen, die durch »Konvention der Zeichennutzer symbolisch mit dem realen Objekt, mit dem sie keinerlei Ähnlichkeit aufweisen, verknüpft sind. (Es gibt allerdings auch Wörter, die einen (lautlichen) Abbildungsbezug zu dem Bezeichneten haben. Das sind sogenannte ikonische Wörter wie "Kuckuck".)

»Semiotisch betrachtet geht es dabei um die »Arbitrarität des sprachlichen Zeichens, der Beziehung zwischen dem Bezeichnenden (»Signifikant, Lautbild, Zeichengestalt) und dem Bezeichneten (»Signifikat) (»Ferdinand de Saussure 1857-1913), die auf menschlicher »Konvention und Vereinbarung statt auf einer naturgegebenen Gesetzmäßigkeit beruht. Dass die Zeichenfolge im Wort Tisch und das Wort selbst keine Ähnlichkeit mit dem realen Objekt Tisch haben, ist schon von ▪ Peter Bichsel in seiner Kurzgeschichte ▪ Ein Tisch ist ein Tisch auf seine Weise literarisch thematisiert worden. So gesehen ist es also mehr oder weniger zufällig,  dass ein Tisch Tisch heißt. In gewissem Sinne ist Arbitrarität der Gegenbegriff zu Ikonizität.

Texte können danach als Sätze aufgefasst werden, die aus zahlenmäßig nicht festgelegten deskriptionalen Repräsentationen bestehen. (vgl. Lachmayer 2008, S.10) So werden in einem Satz wie "Die Erde dreht sich um sich selbst um ihre Achse" Substantive verwendet, um sich auf bestimmte Objekte aus der realen Welt (Entitäten) zu beziehen, während die Verben und Präpositionen dazu dienen, diese Objekte miteinander in Beziehung zu setzen. (vgl. Schnotz/Bannert 2003, S.143)

Abbildende Darstellungen (depictive representations)

Abbildende Darstellungen (depictive representations, depiktionale Darstellungen) sind z. B. Bilder, Skulpturen oder physische Modelle.

Eine abbildende Darstellung besteht aus ikonischen Zeichen. Bei einem ikonischen Zeichen ist, semiotisch gesehen, nach »Charles S. Peirce (1839-1914) zwischen dem Zeichen und dem Bezeichneten "ein Abbild-Verhältnis, eine Ähnlichkeit" (Kocsány 2010, S.42) feststellbar. Dabei ist diese Ähnlichkeit zwischen dem ikonischen Zeichen (Ikon) und dem Objekt, auf das es sich bezieht (Referenzobjekt) in unterschiedlichen Graden ausgeprägt. Mit dem auf »Charles W. Morris (1901-1979 zurückgehenden Terminus der »Ikonizität wird dies erfasst.

Im Unterschied zu den deskriptionalen Darstellungen weisen die depiktionalen eine Ähnlichkeit zwischen dem realen Objekt und der Darstellung auf. (vgl. Schnotz 2001)

Auch wenn wir aus abbildenden Darstellungen Informationen, die miteinander in einer Beziehung stehen, "auslesen" können, enthalten sie selbst keine Symbole für diese relationalen Beziehungen. Dafür verfügen sie allerdings über besondere Strukturmerkmale, die dies es möglich machen, solche relationalen Beziehungen "abzulesen". Zudem werden sie mit dem Inhalt, den sie repräsentieren, mit Hilfe solcher Strukturmerkmale verknüpft. (vgl. Schnotz/Bannert 2003, S.143)

Die Ikonizität bzw. die Ähnlichkeit der abbildenden Darstellung mit ihrem jeweiligen Referenzobjekt der realen Wirklichkeit kann bei realistischen Bildern (z. B. Fotografien, Gemälde, Strich- und Schemazeichnungen) offensichtlich sein, oder wie bei Bildstatistiken bzw. Diagrammen (logische Bilder) abstrakt sein. Um realistische Bilder zu verstehen, können wir auf kognitive Schemata der Alltagswahrnehmung zurückgreifen

Die ▪ Bildstatistiken und Diagramme haben dabei als ▪ logische Bilder keine sichtbare Ähnlichkeit mit dem von ihnen dargestellten Sachverhalt. Dennoch stimmen sie in struktureller Hinsicht mit diesem in einer gewissen Hinsicht überein, da die (logischen) Relationen zwischen den Merkmalen innerhalb des Bildes und innerhalb des abgebildeten Sachverhalts gleich sind. (vgl. Schnotz 2001) Die abstrakte Strukturgleichheit von logischen Bildern und ihren Referenzobjekten ist dabei, anders als bei den realistischen Bildern, durch »Konvention festgelegt. Sie basiert auf Verfahren der analogen Strukturabbildung aufgrund von Strukturkorrespondenzen.

Beschreibungen und Abbildungen als innere mentale Repräsentationen

Was über die Unterscheidung von Beschreibungen (deskriptionalen Darstellungen) und bildlichen Darstellungen (depiktionale Darstellungen, visuelle Bilder) gesagt worden ist, gilt auch für ihre innere mentale Repräsentation.

Bei der Verarbeitung eines gesprochenen oder geschriebenen Textes und der propositionalen Darstellung wird die mentale Repräsentation einer ▪ Textoberfläche konstruiert.

Ein abstrakter Text führt dabei als externe beschreibende Repräsentation sowohl zu einer internen deskriptiven als auch zu einer internen bildhaften (depiktionalen) mentalen Repräsentation. (vgl. Schnotz/Bannert 2003, S.147)

Als externe Beschreibungen (deskriptionalen Darstellungen) stellen Texte daher auch bei ihrer inneren mentalen Repräsentation interne Beschreibungen dar, da sie ihr dargestelltes Objekt mit Hilfe von symbolischen Zeichen beschreiben.

Das Bild, das wahrnehmungsnahe Repräsentationen darstellt, weil visuelle Bilder und visuelle Wahrnehmungen auf denselben kognitiven Mechanismen basieren, führt hingegen als äußere bildliche (depiktionale) Repräsentation zu beidem, nämlich zu einer intern bildlichen (depiktionalen) und zu einer intern beschreibenden (deskriptionalen) mentalen Repräsentation. (vgl. ebd.)

Mentale Modelle stellen interne bildliche Repräsentationen (depictive representations) dar, da sie wie (visuelle) Bilder inhärente strukturelle Merkmale zum Zwecke der Repräsentation verwenden. Dabei macht es keinen Unterschied, ob die mentalen Modelle während des Bildverstehens oder während des Textverstehens konstruiert werden.

Auch wenn die Konstruktion mentaler Modelle wahrscheinlich von der Kapazität des visuell-räumlichen Teils des ▪ Arbeitsgedächtnisses (»Alan D. Baddeley (geb. 1934) (1986))  abhängt, gibt es doch grundlegende Unterschiede zwischen mentalen Modellen und visuellen Bildern. (vgl. Schnotz/Bannert 2003, S.143ff.)

1. Mentale Modelle sind nicht an spezifische Sinnesmodalitäten gebunden. Dies hat zur Folge, dass sie eher als abstrakte und nicht als auf die Wahrnehmung bezogene Größen zu verstehen sind.

2. Mentale Modelle und visuelle Bilder besitzen einen unterschiedlichen Informationsgehalt. Um ein mentales Modell eines visuellen Bildes (depiktionale Darstellung) zu konstruieren, werden nämlich nur die grafischen Teile einer Abbildung beim Aufzeichnen von Strukturen (process of structure mapping) berücksichtigt werden, die für die aktuelle oder erwartete Aufgabe relevant erscheinen.

3. Zudem wird das mentale Modell sowohl beim Bild- und beim Textverstehen durch Informationen aus unserem Wissen bzw. aus unserem deklarativen und prozeduralen Wissen unterschiedlichster Art (z. B. Weltwissen, aktives Wissen, Erfahrungswissen, Fachwissen, Sprachwissen, Textmusterwissen, thematisches Wissen weiter angereichert bzw. ergänzt und enthält daher auch Informationen, die nicht im Bild bzw. dem Text selbst enthalten sind. Dabei kann die Beteiligung dieses Vorwissens beim Bild- und Textverstehen gar nicht hoch genug eingeschätzt werden. Solche im Gedächtnis gespeicherten Informationen können nämlich, wenn sie z. B. als ▪ Schemata bestimmte Wahrnehmungs- und kognitiven Verarbeitungsprozesse steuern, Textinhalte einfach "überschreiben" oder können ihnen neue Inhalte zuschreiben, die im Text selbst überhaupt nicht nachzuweisen sind. (Christmann 2015, S.173).

4. Mentale Modelle haben gemeinsame inhärente Strukturen mit dem abgebildeten Referenzobjekt (depictive object). Das heißt, sie repräsentieren das Objekt auf der Grundlage einer strukturellen oder funktionalen Analogie. Eine solche Analogie impliziert nicht, dass solche mentalen Modelle nur räumliche Informationen repräsentieren können. So kann ein mentales Modell z. B. auch die Zunahme oder Abnahme von Geburtenraten oder Einkommen während eines bestimmten Zeitraums repräsentieren (wie es als Text oder in einem ▪ Linien- oder Kurvendiagramm dargeboten wird), obwohl Geburtenraten und Einkommen keine räumlichen Informationen sind. Ein mentales Modell einer räumlichen Konfiguration kann zudem auch nicht nur durch visuelle Wahrnehmung konstruiert sein, sondern auch durch auditive oder durch kinästhetische oder durch haptische Wahrnehmung. (vgl. Schnotz/Bannert 2003, S.143, 146f.)

5. Es gibt sowohl beim Textverstehen als auch im Bildverstehen eine kontinuierliche Wechselwirkung zwischen der propositionalen Repräsentation und dem mentalen Modell. Daher können, wie beim Textverstehen auch, im Zuge der Überprüfung des mentalen Modells die propositionale Repräsentationen weiter entwickelt werden. Darüber hinaus besteht die Möglichkeit einer Interaktion zwischen der Repräsentation der Textoberfläche und dem mentalen Modell sowie die Möglichkeit einer Interaktion zwischen der wahrnehmungsbezogenen Repräsentation des Bildes und seiner propositionalen Repräsentation. Aus diesem Grund entsprechen sich die externen und Repräsentationen auch nicht vollständig.

6. Beim Textverstehen ist der Ausgangspunkt dieser Wechselwirkung die propositionale Repräsentation, die zur Konstruktion eines mentalen Modells verwendet wird. Dieses Modell kann wiederum dazu verwendet werden, neue Informationen abzulesen, um die propositionale Repräsentation weiter auszuarbeiten.

7. Beim Bildverstehen ist der Ausgangspunkt der Interaktion ein mentales Modell, das dazu dient, neu hinzugekommene Informationen abzulesen und diese der propositionalen Repräsentation hinzuzufügen.

Integratives Modell des Text- und Bildverstehens

Ein Ansatz, der die wahrnehmungs- und kognitionspsychologischen  Prozesse beim Text- und Bildverstehen miteinander verbindet, ist in dem nachfolgenden integrativen Modell des Text- und Bildverstehens von Schnotz 2002 bzw. Schnotz/Bannert 2003 gestaltet.

Auf der Grundlage der Unterscheidung von ▪ Beschreibungen (deskriptionale Darstellungen) und ▪ bildlichen Darstellungen (depiktionale Darstellungen ) verdeutlicht das Modell auf der linken Seite die Beschreibungen und auf der rechten Seite die bildlichen Darstellungen.

• Der linkseitige Zweig, der den Weg der kognitiven Verarbeitung von Text (= deskriptionale Beschreibungen) zeigt, umfasst den (äußeren) Text sowie seine (innere) mentale Repräsentation der ▪ Oberflächenstruktur des Textes und der (internen) propositionalen Darstellung des semantischen Inhalts, deren Interaktion auf Symbolen beruht.

• Der rechtsseitige  Zweig, der den Weg der kognitiven Verarbeitung von visuellen Bildern (= depiktionale Darstellungen) zeigt, umfasst das (äußere) Bild oder Diagramm, die (innere) visuelle Wahrnehmung oder das innere Bild der grafischen Darstellung und das (innere) mentale Modell des dargestellten Themas. Das Zusammenspiel dieser bildlichen Darstellungen basiert auf Verfahren der analogen Strukturabbildung aufgrund von Strukturkorrespondenzen.

Nach dem Modell, das sich an dem kognitionspsychologischen ▪ Construction-Integration-Model (CI-Modell) von Walter Kintsch und »Teun van Dijk orientiert, konstruiert der Leser eines Textes eine mentale Repräsentation der Textoberflächenstruktur, generiert eine propositionale Repräsentation der semantischen Inhalts (▪ Textbasis) und konstruiert schließlich aus der Textbasis ein mentales Modell (▪ Situationsmodell) des im Text beschriebenen Themas.

Dabei verlaufen die Konstruktionsprozesse auf der Grundlage der Interaktion von ▪ Bottom-Up- und ▪ Top-Down-Aktivierung (= ▪ konzeptgesteuerte Verarbeitung) bestimmter ▪ kognitiver Schemata mit ihrer "große(n) Bandbreite hierarchisch ablaufender, regelgeleiteter kognitiver Prozesse" (Philipp 2015b, S.217).

Im Zuge der Top-Down-Aktivierung werden in einem absteigenden Verstehensprozess "von oben nach unten" aufgabenrelevante Aufgaben ausgewählt und als kohärente mentale Darstellung der ▪ Oberflächenstruktur des Textes organisiert. Dies löst dann die weitere Konstruktion eines mentalen Modells aus.

Diese mentale Modellkonstruktion beinhaltet auch einen Übergang von einer intern beschreibenden (deskriptionalen) zu einer intern bildlichen Darstellung (depiktionalen Darstellung), zumal ja auch angenommen wird, dass propositionale Repräsentationen und mentale Modelle im Zuge des Konstruktionsprozesses in einer anhaltenden Wechselwirkung miteinander interagieren und eine kontinuierliche Überwachung und Überprüfung der konstruierten mentalen Modelle durch die kognitiven Schemata erfolgt.

Dabei stellen die ▪ kognitiven Schemata keine starren kognitiven Strukturen dar, sondern besitzen ihre eigene ▪ Dynamik, die als Prozesse des ▪ Wissenszuwaches, der ▪ Feinabstimmung, von ▪ Umstrukturierung und ▪ Integration ihre Weiterentwicklung und ihren fortwährenden "Umbau" ermöglichen, und sind auch Ergebnisse von Top-down-Informationsverarbeitungsprozessen.

Basierend auf den propositionalen Informationen und den ▪ Standardwerten der Schemata wird das mentale Modell durch gestaltgesteuerte Komposition aus einigen darstellenden Grundelementen in einer Weise konstruiert, die eine typische Instanz dessen darstellt, was im Text beschrieben wird.

Nachdem ein mentales Modell erstellt wurde, kann es in einem vom Schema angeleiteten Prozess zum Auslesen neuer Informationen aus dem Modell verwendet werden. Diese Informationen werden in einem propositionalen Format codiert und das wiederum ermöglicht, dass die propositionale Repräsentation auch verbal geäußert werden kann. Diese "Versprachlichung" stellt damit "Abschluss der Entnahme von Informationen aus dem Diagramm, die dabei insbesondere eine Übersetzung von einer depiktionalen zu einer deskriptionalen Repräsentation darstellt. Die bei der Diagrammverarbeitung aktivierten Diagrammschemata können somit als Grundlage dieses Übersetzungsprozesses von Diagramm zu Text angesehen werden."  (Lachmayer 2008, S.30)

Der Prozess des Bildverstehens

Während die ▪ Theorie der propositionalen Repräsentation mit ihrem ▪ amodalen, d.h. von den konkreten Sinnes- bzw. Wahrnehmungseindrücken abstrahierenden Symbolsystem davon ausgeht, Menschen könnten keine bildhaften Vorstellungen in Form eines perzeptuellen Eindrucks speichern und bei ihrem Erinnern darauf zurückgreifen können (vgl. Anderson ⁷2013, S.102), hat »Lawrence W. Barsalou (geb. 1951) (1999) mit seiner ▪ Theorie der perzeptuellen Symbolsysteme (Wahrnehmungssymbolsysteme, »Perceptual Symbol Systems Theory) eine andere Theorie entwickelt. Im Anschluss an die Theorie der dualen Kodierung (»Dual coding theory) von »Alan Paivio (1925-2016) (1971,1977) geht diese Theorie von der  Vorstellung eines modalitätspezifischen perzeptuellen Symbolsystems aus. Die ihr zugrunde liegende ▪ Theorie der dualen Kodierung besagt, dass Bilder und Sprache in voneinander unabhängigen, aber auf vielfältige Weise miteinander in Verbindung stehenden symbolischen Systemen verarbeitet werden.

Während die ▪ amodale Theorie der propositionalen Repräsentationen davon ausgeht, dass Bedeutungen in einem Top-down-Prozess über die in abstrakten ▪ Konzepten gemachte Sinneserfahrungen begrifflich abstrakt repräsentiert werden, kann unser kognitiver Apparat nach Barsalou eben auch Wahrnehmungseindrücke, d. h. nicht nur Begriffe (abstrakte Konzepte), sondern auch ▪ Kategorien (konkrete Einzelheiten, Details) in Form eines Bottom-up-Prozesses verarbeiten und zur Repräsentation nutzen.  (vgl. »Wikipedia, engl.)

So betrachtet, werden Bilder also autonom und unabhängig vom Sprachsystem verarbeitet. Dies geschieht bei Bildern eher holistisch-analog und nach einer räumlichen Logik, während sprachliche Informationen sequenziell und nach logisch analytischen Regeln verarbeitet werden. (Paivio 1977; Kroeber-RIel 1993, Schierl 2001, S.202). Darum besitzen Bilder empirischen Untersuchungen zufolge auch einen außerordentlich hohen Wiedererkennungswert. (vgl. u. a.  Paivio 1971) Diese als "Picture Superiority-Effect" bezeichnete Erscheinung kann, so Paivio (1977), darauf zurückgeführt werden, "dass der sprachliche Kode in einen bildlichen übersetzt werden kann und umgekehrt. Bilder werden diesem Ansatz nach besonders leicht doppelt kodiert und deshalb auch besonders leicht in das Gedächtnis übernommen." (Schierl 2001, S.202)

Das integrative Modell des Text- und Bildverstehens von Schnotz/Bannert (2003, S.147f.) geht allerdings von einer anderen Sichtweise aus. Für sie basieren propositionale Repräsentationen und mentale Modelle auf unterschiedlichen Zeichensystemen und unterschiedlichen Prinzipien der Repräsentation, die einander ergänzen.

Bildverstehen ist, so Schnotz/Bannert (2003, 146f.), ein Prozess der analogen Aufzeichnung von Strukturen (analogical structure mapping) zwischen einem visuell-räumlichen System und einem System semantischer Beziehungen. Diese Zuordnung kann in beide Richtungen erfolgen: Man kann ein mentales Modell von unten nach oben in einer Bottom-up-Verarbeitung aus einem Bild konstruieren. Ebenso ist es möglich, ein bestehendes mentales Modell im Zuge einer Top-down-Verarbeitung eines Bildes von oben nach unten entwickeln.

Beim Bildverstehen erstellt das Individuum während der Verarbeitung der Wahrnehmung zunächst eine visuelle mentale Darstellung der grafischen Darstellung des Bildes und konstruiert dann ein mentales Modell sowie eine propositionale Repräsentation des dargestellten Sachverhalts im Bild im Zuge seiner semantischen Verarbeitung. (vgl. Schnotz/Bannert 2003, 146f.)

Damit wir ein visuelles Bild nicht nur einfach wahrnehmen sondern verstehen können, müssen wir seine Bedeutung konstruieren. Um dies zu erreichen, konstruieren wir im Zuge eines ▪ schemagesteuerten Mapping-Prozesses ein mentales Modell des dargestellten Sachverhalts, in dem grafische Ganzheiten (Entitäten) als mentale Ganzheiten abgebildet (mapped) werden und in denen räumliche Beziehungen als semantische Relationen, die im mentalen Modell encodiert sind, abgebildet sind. (vgl. ebd.)

Zunächst werden bei der ▪ Wahrnehmungsverarbeitung  aufgabenrelevante Informationen durch ▪ Top-Down-Aktivierung kognitiver Schemata ausgewählt und anschließend mit Hilfe automatisierter visueller Routinen visuell organisiert. Dazu müssen bestimmte grafische Einheiten identifiziert und voneinander unterschieden werden.

Im ganzen System der Wahrnehmung sind die drei Stufen, wie in der unteren Abbildung dargestellt, in die bidirektional verlaufenden Prozesse der ▪ Bottom-up- und Top-down-Verarbeitung eingebunden.

Die ▪ wahrnehmungsbezogene Verarbeitung (sensorische Prozesse, perzeptuelle Information, Identifikation und Wiedererkennung von Objekten) umfasst die ▪ Identifizierung, Wiedererkennung und Unterscheidung grafischer Einheiten sowie die visuelle Organisation dieser Entitäten gemäß den ▪ Gestaltgesetzen, die »Max Wertheimer (1880-1943) (1923) in den zwanziger Jahren des vorigen Jahrhunderts formuliert hat und die später von Palmer (1999) um drei weitere ergänzt worden sind.

Diese als »Gestaltgesetze bezeichneten Organisationsprinzipien können neben der Textsegmentierung als "Vorstufen der Objekterkennung" (Müsseler 2017, S.31) angesehen werden. Ihre  Funktion besteht darin, mit bestimmten Organisationsgesetzen und einfachen Regeln Formen und Umrisse zu einer Gestalt zusammenzufassen, so dass wir einen kohärenten, als zusammenhängend wahrgenommenen Objekteindruck gewinnen. Objektidentifikation und Objektwiedererkennung sind also auch keine rein postperzeptiven Leistungen. (vgl. ebd., S.33)

Das bei der Wahrnehmungsverarbeitung von depiktionalen Darstellungen gewonnene visuelle Perzept repräsentiert als interne bildliche Darstellung (depictive representation) die Oberfläche des Bildes, die strukturelle Eigenschaften des externen Bildes umfasst. Zugleich besitzt die interne bildliche Darstellung eine spezifische sensorische Qualität, weil sie mit der ▪ visuellen Wahrnehmung direkt verknüpft ist. Sie kann auch als visuelles Bild bezeichnet werden, solange sie auf der Grundlage von internem Weltwissen und nicht von externen Sinnesdaten zustande gekommen ist. (vgl. Schnotz/Bannert 2003, 146f.)

▪ Wahrnehmungspsychologie
▪ Überblick
▪ Neurobiologische Grundlagen der Wahrnehmung
▪ Modelle der Wahrnehmung
▪ Empfindung und Wahrnehmung
▪ Aufmerksamkeit
▪ Identifikations- und Wiedererkennungsprozesse
▪ Überblick
▪ Bottom-up- und Top-down-Verarbeitung
▪ Pandämonium-Modell (Selfridge)
▪ Das Bindungsproblem

▪ Kognitionspsychologie
▪ Top-down- und Bottom-up-Verarbeitung bei der visuellen Wahrnehmung von Texten

▪ Kognitive Verarbeitung von Bildstatistiken und Diagrammen

Gert Egle, zuletzt bearbeitet am: 16.01.2024