Scene-Graph-Based Visual Question Answering

Projektübersicht

Dieses Projekt führt einen neuartigen visuellen Analyseansatz ein, der darauf abzielt, die Interpretierbarkeit von auf Szenengraphen basierenden visuellen Frage-Antwort-Systemen zu verbessern. Das System ist darauf ausgelegt, den Nutzern zu helfen, Probleme mit Vorhersagen zu identifizieren und zu beheben, die aus unzureichenden Szenengraphen resultieren. Durch interaktive Visualisierungen können die Nutzer Einblicke in die Entscheidungsprozesse des Modells gewinnen. Dieses Projekt wurde in Zusammenarbeit mit dem Institut für Maschinelle Sprachverarbeitung (IMS) an der Universität Stuttgart durchgeführt und startete als Masterarbeit: Visual Analytics für Visual-Reasoning-Aufgaben. Der Student entwickelte die erste Version unseres Ansatzes und verfasste die meisten Abschnitte unseres ersten Papers.

Mein Beitrag

Ich habe das Paper überarbeitet, zum Abschnitt über verwandte Arbeiten beigetragen und während des gesamten Prozesses Unterstützung gegeben. Für ein erweitertes Paper übernahm ich die Verantwortung für die Darstellung von Anwendungsfällen und die detaillierte Beschreibung zusätzlicher Funktionen unserer Benutzeroberfläche.

Veröffentlichungen

Die Ergebnisse dieses Projekts sind in dem Paper Visual Analysis of Scene-Graph-Based Visual Question Answering veröffentlicht. Wir wurden anschließend eingeladen, eine erweiterte Version unseres VINCI-Papers für die Zeitschrift Visual Computing for Industry, Biomedicine, and Art einzureichen.