Scene-Graph-Based Visual Question Answering

Projektübersicht

Dieses Projekt stellt einen neuartigen visuellen Analyseansatz vor, der darauf abzielt, die Interpretierbarkeit von auf Szenengraphen basierenden visuellen Frage-Antwort-Systemen zu verbessern. Das System ist darauf ausgelegt, den Nutzern zu helfen, Probleme mit Vorhersagen zu identifizieren und zu beheben, die aus unvollständigen Szenengraphen entstehen. Durch interaktive Visualisierungen können die Nutzer Einblicke in die Entscheidungsprozesse des Modells gewinnen. Dieses Projekt wurde in Zusammenarbeit mit dem Institut für Maschinelle Sprachverarbeitung (IMS) an der Universität Stuttgart durchgeführt und startete als Masterarbeit: Visual Analytics für Visual-Reasoning-Aufgaben. Der Student entwickelte die erste Version unseres Ansatzes und verfasste die meisten Abschnitte unseres ersten Papers.

Mein Beitrag

Ich habe das Paper überarbeitet, zum Abschnitt der verwandten Arbeiten beigetragen und während der gesamten Arbeit Unterstützung gegeben. Für ein erweitertes Paper übernahm ich die Verantwortung für die Darstellung von Anwendungsfällen und die detaillierte Beschreibung zusätzlicher Funktionen unserer Benutzeroberfläche.

Veröffentlichungen

Die Ergebnisse dieses Projekts sind in dem Paper Visual Analysis of Scene-Graph-Based Visual Question Answering veröffentlicht. Wir wurden anschließend eingeladen, eine erweiterte Version unseres VINCI-Papers für die Zeitschrift Visual Computing for Industry, Biomedicine, and Art einzureichen.