Ermitteln von Emotionen

Erfahren Sie hier, wie automatisch erfasste Emotionen mit manuell gesammelten Beobachtungen und Transkripten, die mit Mangold INTERACT erstellt wurden, kombiniert werden können.

Problemdefinition und Zielbeschreibung

Das Ziel dieser Studie ist es, automatisch erfasste Emotionen mit manuell gesammelten Beobachtungsdaten miteinander zu vergleichen.

Hierbei werden wir die Zeiträume der eindeutig erfassten Emotionen aus den gemessenen Daten extrahieren, um uns diese Fragmente in einem Video ansehen zu können. Zusätzlich werden wir den Datenstrom der gemessenen Emotionen wiedergeben, während das Video abgespielt wird.

Am wichtigsten ist es jedoch, den Wert der Kontingenz sowie Kookkurrenzen zwischen den visuellen Beobachtungen, den diskutierten Themen und den emotionalen Reaktionen der beiden Teilnehmer nachzuweisen.

Die größte Herausforderung liegt darin:

  • Das Extrahieren von nützlichen Fragmenten für bestimmte automatisch gemessene Emotionen. Das bedeutet, dass wir Bereiche von Frames in Verhaltensereignisse umwandeln müssen, immer wenn ein bestimmter Wert überschritten wird.
  • Die Integration von natürlich gesprochenen Wort-Transkriptionen während der Beobachtung.

Das Ziel ist:

  • Ein Vergleich von automatisch gemessenen positiven Emotionen mit manuell erfassten Sequenzen, während dieser der Beobachter den Ausdruck als positiv interpretiert hat.
  • Das Finden von Sequenzen zwischen Redner und gemessenen Emotionen.
  • Die Analyse der Verwendung von Wörtern pro Teilnehmer.

So können Sie es umsetzen:

Studiendesign

Die Quelle, welche wir verwenden, ist eine aufgezeichnete Fernsehdebatte zwischen den Politikern Frau Merkel (CDU) und Herr Steinbrück (SPD).

Datensammlung

Zur Verarbeitung des Videos wurde der Microsoft Emotionen API Service* verwendet. Hierbei wurden die automatisch erfassten Emotionen gesammelt, indem das Video Frame für Frame analysiert wurde. Das Ergebnis: eine riesige Liste mit gemessenen Werten.

Zudem wird Mangold INTERACT verwendet, um alle Beobachtungen auszuwerten, angefangen bei der Kamerasicht, über den Redner bis hin zu Gesten und beobachtete Ausdrücke.

(*) https://azure.microsoft.com/de-de/services/cognitive-services/emotion/

Vorbereiten der Datenaufzeichnung

Für die Datenaufzeichnung bereiten wir einige Code-Definitionen vor, die in verschiedenen Durchgängen durch das Video verwendet werden.

Redner

Einfache, sich gegenseitig ausschließende Code-Definition, um festzustellen, wer gerade spricht.

Bild

Lexikalisches Kodierungssystem, um den Kamerawinkel, den fokussierten Bereich und die Personen in dem Bild zu ermitteln. Hierfür sind drei miteinander verknüpfte Ebenen mit Codes erforderlich.

Kamerasicht – Fokus – Im Bild

Gesten

Ein Kodierungssystem mit zwei Codes, um alle Sequenzen zu protokollieren, in welchen die Teilnehmer irgendwelche Gesten verwenden.

Sammeln von Beobachtungen

Beim ersten Durchgang beginnen wir mit dem einfach zu beobachtenden Videobild, indem wir uns auf die Kamerasicht fokussieren und den Fokus sowie die Personen, welche aktuell sichtbar sind, festlegen. Für diesen Durchgang benötigen wir den „Lexikalischen“ Kodierungsmodus, denn in diesem können alle Änderungen mit einem LEERZEICHEN erfasst werden. Am Ende eines jeden Schnitts, stoppt das Video und Sie können nun näher bestimmen, was Sie gesehen haben, indem Sie das letzte Ereignis nochmals abspielen (F12). Dadurch haben Sie ausreichend Zeit, um den Fokus sowie die sichtbaren Personen festzulegen.

Beim zweiten Durchgang wählen wir den Kodierungsmodus “Standard”, welcher am besten mit unseren sich gegenseitig ausschließenden „Redner“-Codes funktioniert. Da jeder „Redner“ als ein Code definiert ist, erscheint am Ende eines jeden Ereignisses ein spezieller Kommentardialog, um die Transkriptionen unserer Beobachtungen eingeben zu können. Auch hier können wir das letzte Ereignis abspielen, indem wir auf F12 klicken, und anschließend alles Gesagte eingeben. Bei Monologen ist es am sinnvollsten, das Video nach jedem beendeten Satz zu stoppen.

Analyse

Importieren von Emotionsdaten

Zuerst müssen wir die gemessenen Emotionswerte in Mangold DataView importieren. In diesem Fall ist die Synchronisation einfach, da die Emotionswerte ganz am Anfang des Videos beginnen.

Nach dem erfolgreichen Import der Emotionsdaten und der Auswahl des Layouts mit einem Diagramm pro Person (um die gemessenen Emotionen für beide Teilnehmer zu bündeln), sieht unser Aufbau wie folgt aus:

Identify emotions with INTERACT

Mangold DataView und Mangold INTERACT verbinden sich automatisch miteinander, basierend auf der Zeitinformation des Videos und der gemessenen Werte. Durch das Abspielen des Videos werden die Emotionsdaten synchron ausgeführt. Bei der Wiedergabe eines beliebig ausgewählten Ereignisses werden die dazugehörigen Emotionsdaten automatisch in den Tabellen angezeigt.

Create events in your research study

Extrahieren von emotionalen Ereignissen

Auf Grundlage der gemessenen Werte je Emotionskanal erstellen wir INTERACT-Ereignisse in DataView.

Mit der entsprechenden Skriptroutine können Sie einen Kanal und Schwellwert auswählen. Alle lückenlosen, nachfolgenden Zeilen – in denen der Schwellwert erreicht wird – werden in einem einzigen Ereignis zusammengeführt.

Auf diese Weise können wir ein Ereignis für alle Zeiten erstellen, in welchen der „Happy“-Kanal (Freude) von Frau Merkel auf über 0.4 ansteigt; dasselbe gilt natürlich auch für Herrn Steinbrück.

Die Sequenzen, welche den „Anger“-Kanal (Wut) der Teilnehmer betreffen, sind für unsere Studie ebenso von Interesse. Hier sind diejenigen Sequenzen besonders interessant, bei welchen der Wert über 0.4 liegt:

Behavior coding with INTERACT

Wir können die Klasse und den Verhaltenscode für jede Suche separat bestimmen. Das Generieren aller obigen Sequenzen benötigt nur 4 separate Durchläufe der gleichen Routine mit denselben Einstellungen.

Dafür brauchen Sie nur maximal 5 Minuten!

Nun können wir die Statistiken zu unseren manuell codierten „positiven“ Ausdrücken und die automatisch erfassten Ereignisse für „Happy“ (Freude) in den Gesamtstatistiken miteinander vergleichen.

Wir können ebenso die Ausdrücke überprüfen, indem wir die Ereignisse, die auf Grundlage der gemessenen Werte generiert wurden, nochmals abspielen. Da diese nach Klassen sortiert sind, erhalten wir alle Ereignisse in einer Reihe. Dadurch können wir innerhalb des Videos zu einem beliebigen Zeitpunkt springen und uns diese Sequenzen ansehen.

Time line charts of events

Die Statistik verrät uns, dass Frau Merkel sehr oft als fröhlich eingestuft werden kann. Dieses Verhalten dauert jedoch für gewöhnlich weniger als eine halbe Sekunde an:

statistical charts created automatically

Die Statistik verrät uns zudem, dass obwohl Herr Steinbrück den Anschein macht, häufiger fröhlich zu sein als Frau Merkel - sowohl bezüglich der Häufigkeit als auch der Dauer - Frau Merkel diejenige ist, welche am längsten gelacht hat (maximale Dauer).

Kookkurrenzen

Sogar ohne die Extraktion der automatisch ermittelten Emotionen liefert uns die Auswertung der Zeiten, in denen die Redner gesprochen haben, einige sehr aufschlussreiche Informationen. Mit dem „Trim on code“-Filter erhalten wir zudem nähere Details, wer sonst noch während Steinbrücks und Merkels Redezeiten gesprochen hat:

Kontingenz

Mit der Kontingenzanalyse ist es möglich, dass wir Beziehungen und Latenz zwischen zwei separaten Ereignissen herstellen können. Diese kann dafür verwendet werden, um herauszufinden, welcher Moderator sich im direkten Gespräch mit welchem Politiker befunden hat.

Contingency analysis to identify relations
Contingency analysis to identify latency
Contingency analysis made easy
Contingency analysis to identify relations

Ergebnisse

Zu guter Letzt zeigt Ihnen Mangold INTERACT eine Liste mit Ihren Codes und den entsprechenden Häufigkeiten Ihrer Analyse.

Re-organize your collected data with INTERACT

Der größte Vorteil von Mangold INTERACT liegt darin, dass man die gesammelten Daten neu organisieren, umbenennen und mischen kann, sollten Sie feststellen, dass Ihre ursprüngliche Struktur nicht perfekt ist, um die Antworten zu finden, nach denen Sie suchen.

Kontaktieren Sie uns