Xilin Zhu
KontaktAvailable for work
← Alle Projekte

Masterarbeit · FZI Forschungszentrum Informatik

Handzustandskonditioniertes VLA

Handzustandskonditionierte VLA-Modelle für zeitlich abgestimmte Mensch-Roboter-Kollaboration

2026.09 — 2027.02Laufend

Dieses Projekt läuft noch und hat bisher keine Ergebnisse. Was folgt, ist das Forschungsdesign.

Ein kollaborativer Roboter soll nicht nur wissen, was zu tun ist, sondern auch, wann er zugreifen darf — indem die dreidimensionale Position und Geschwindigkeit der menschlichen Hand als niedrigdimensionaler Zustands-Token in eine VLA-Politik eingespeist wird.

Dauer der Arbeit (Wochen)
26
Go/No-Go-Entscheidung (Woche)
10
Kontrollbedingungen im selben Protokoll
4
Anteil der Versuche mit Zeitstörung
≥30%
Taktrate der Wahrnehmungspipeline
≥10 Hz
Erfasste Versuchspersonen
≥3

Problem

In der kollaborativen Montage muss ein Roboter zugleich entscheiden, was er tut und wann er handelt. Die Kombination aus VLA-Modellen und Action Chunking lernt kollaborative Manipulation durchgängig aus Demonstrationen — die Schwierigkeit entsteht jedoch genau durch das Chunking.

Die Politik sagt jeweils einen zukünftigen Aktionsblock vorher und plant erst nach den ersten TaT_a Aktionen neu. Überspannt ein Block die Grenze zwischen Warten und Assistieren, greift der Roboter zu, bevor der Mensch bereit ist. In der Literatur heißt dieses Versagen Demonstration Action Leakage; es verschärft sich mit wachsendem Ausführungshorizont.

Damit wird TaT_a zu einer Stellgröße, die die Qualität der Zusammenarbeit unmittelbar bestimmt:

  • kleines TaT_a → reaktionsschnell, aber unruhige Bewegung und höhere Inferenzkosten
  • großes TaT_a → glatt und effizient, aber anfällig für verfrühtes Handeln

Diese Arbeit fragt nicht, welcher Punkt auf dieser Kurve der beste Kompromiss ist. Sie fragt, ob sich die Kurve als Ganzes verschieben lässt.

Drei bestehende Ansätze, denen jeweils ein Schritt fehlt

AnsatzWas er leistetWas fehlt
Zeitliche InterventionSteuerung zur Inferenzzeit über die Endeffektorposition; adaptive Horizonte über interne Aufmerksamkeitsgewichte; ein reflektierendes Modul, das um Hilfe bittetKeiner konditioniert die Ausführung auf den kontinuierlichen Zustand des Menschen
Menschliche HinweiseBlick und Gesten bestimmen, welches Objekt manipuliert wird; Handpose als Hilfsziel der VorhersageBehandelt was, nicht wann
BewegungsprognosePrognosen fließen in eine geschlossene MPC-Planung; Handbewegung als eigenständiger Detektor für ÜbergabeabsichtIn der Planung bereits im Einsatz, aber wenn ein VLA-Modell die Laufzeit eines Blocks bestimmt, kommt das Auslösesignal weiterhin aus dem Roboter selbst

Vorgehen

Der Hauptweg ist ein niedrigdimensionaler Zustandskanal. Ein kleines Projektionsnetz bildet den Handzustandsvektor in den Einbettungsraum des Modells ab, als zusätzlichen Token neben den Bild- und Sprach-Token. Das folgt der Art, wie OpenVLA-OFT propriozeptive Roboterzustände einspeist, sodass die Backbone-Architektur unverändert bleibt.

Vier Bedingungen in einem Protokoll

Das ist der Kern der Auswertung: Die drei Einspeisewege entsprechen den Positionen dreier veröffentlichter Arbeiten und wurden bisher nie nebeneinander gemessen.

BedingungVerwendung der HandinformationPosition
Zustands-TokenNiedrigdimensionaler Vektor als ein Eingabe-TokenDiese Arbeit
PixelüberlagerungHandskelett ins Beobachtungsbild gezeichnetZeigt, wo die Hand ist, kann aber keine dreidimensionale Geschwindigkeit kodieren — und genau die unterscheidet Zugreifen von Zurückziehen
HilfsüberwachungHandpose als Hilfsziel, zur Inferenzzeit abgeschaltetEin Trainingssignal, keine Eingabe
Ohne HandinformationGar nichtReferenz

Aufgabe und Daten

Kernaufgabe ist eine zeitkritische Objektübergabe: Der Roboter hält ein Objekt bereit, während die Versuchsperson nach einem randomisierten Zeitskript greift. Das Skript deckt früh, pünktlich, verspätet, Finte und Abbruch mitten in der Bewegung ab.

Diese Störungen leisten zweierlei. Sie erzeugen kontrollierte Mehrdeutigkeit zwischen Beobachtungen, die warten bedeuten sollen, und solchen, die handeln bedeuten sollen. Und sie sind die einzige Möglichkeit, eine gelernte Politik von einer festen Abstandsschwelle zu unterscheiden — eine Schwelle kann mit einem Abbruch nicht umgehen. Eine befehlsgesteuerte Greifaufgabe dient als Kontrollaufgabe.

Aufgezeichnet wird mit 10 Hz: RGB aus mehreren Perspektiven, propriozeptiver Roboterzustand, Aktionen, zeitgestempelter Handzustand und Phasenannotationen. Da Politiken, die auf einer einzigen Person trainiert wurden, laut Literatur bei einem Personenwechsel in feste Muster zurückfallen, deckt das Training mehrere Versuchspersonen ab; ausgewertet wird mit Personen, die im Training nicht vorkamen.

Wahrnehmungspipeline

Handmarken werden über registrierte Tiefendaten in den dreidimensionalen Raum gehoben und in das Roboterbasiskoordinatensystem überführt; die Handgeschwindigkeit ergibt sich aus Positionsdifferenzen über einen kurzen Puffer.

Modell

Als Backbone dient ein mit LoRA feinabgestimmtes π0.5\pi_{0.5}. OpenVLA-OFT+ wird nur für wenige Offline-Kontrollpunkte eingesetzt, um zu prüfen, ob die Schlussfolgerungen von einer einzelnen Architektur abhängen.

Zentrale Hypothese: Beobachtungsaliasing

Verfrühtes Handeln könnte teilweise auf Beobachtungsaliasing an den Phasenübergängen zurückgehen: Im Übergang vom Warten zum Assistieren entsprechen visuell ähnliche RGB-Beobachtungen unvereinbaren Zielaktionen. Eine regressionsbasierte Politik mittelt dann zwischen diesen Labels, was sich als zu frühes Zugreifen zeigt.

Der Handzustand ist ein niedrigdimensionales, aber zeitlich trennscharfes Signal, das beide Fälle auseinanderziehen könnte.

Drei Forschungsfragen

FrageInhaltExperiment
RQ1Reduziert die Konditionierung auf den Handzustand verfrühtes Handeln, und wie hängt der Effekt von TaT_a ab?Gepaarter Horizontdurchlauf. TaT_a ist ein Inferenzparameter, ein Durchlauf erfordert kein Nachtrainieren — zwei Prüfpunkte decken die gesamte Kurve ab
RQ2Wie stark wirkt sich die Art der Verwendung aus?Vier Systeme bei gleichen Daten, gleichem Backbone und gleichem TaT_a
RQ3Falls es eine Verbesserung gibt: Kommt sie aus der Information, aus zusätzlichen Parametern oder aus einer Regel ohne Lernen?Drei Attributionskontrollen

Die drei Attributionskontrollen

Dieser Teil ist mir am wichtigsten, weil er aktiv versucht, die eigene Schlussfolgerung zu widerlegen:

  1. Erweiterung der Wartedaten — der Referenzbedingung wird die gleiche Menge an Wartesequenzen hinzugefügt, um zu prüfen, ob der Gewinn nur aus einer veränderten Datenverteilung stammt
  2. Zeitlich permutierter Handzustand — Architektur und Parameterzahl bleiben exakt gleich, nur die zeitliche Reihenfolge wird zerstört, um zu prüfen, ob der Gewinn von der zeitlichen Struktur abhängt oder nur von zusätzlichen Parametern und statischer Position
  3. Regelbasiertes Gating — eine lernfreie Regel aus Handabstand, Radialgeschwindigkeit, Verweildauer und Hysterese, um zu prüfen, ob eine Regel bereits ausreicht. Die Bedingung mit Zeitstörung entscheidet diese Kontrolle, weil eine Regel einen Abbruch nicht bewältigt

Vorab festgelegte Kriterien

Bestätigung: bei langen Horizonten weniger Fehlzugriffe als in der Referenzbedingung, wobei das Konfidenzintervall der gepaarten Differenz die Null ausschließt; zugleich kein Anstieg von Wartedrift und Reaktionslatenz und kein Rückgang der Erfolgsquote. Der Vorteil sollte unter Zeitstörung deutlicher ausfallen als bei normalem Ablauf.

Widerlegung: die beiden gepaarten Kurven sind statistisch nicht unterscheidbar; oder die Erweiterung der Wartedaten hebt den Gewinn auf; oder die Repräsentationsanalyse zeigt keine Verringerung des Beobachtungsaliasings.

Robustheitsanforderung

Liegt keine verlässliche Handinformation vor, muss der zusätzliche Pfad wirkungslos werden: Während des Trainings wird der Handzustand zufällig ausgelassen, ergänzt um eine eigene Einbettung für den fehlenden Zustand. Ein Szenario mit ausgefallenem Detektor prüft, ob die Politik tatsächlich auf das Referenzverhalten zurückfällt.

Definition der Kennzahlen

KennzahlDefinition
FehlzugriffEine vollständige, aber verfrühte Objektübergabe
WartedriftVom Endeffektor während der Wartephase zurückgelegte Weglänge
ReaktionslatenzZeit vom Bereitschaftssignal des Menschen bis zum Bewegungsbeginn des Roboters
ZielauswahlgenauigkeitTrefferquote in der Dimension welches Objekt

Zeitplan

Experiment- und Schreibphasen überlappen bewusst, der entscheidende Go/No-Go-Test liegt früh.

ArbeitspaketWochen
Handzustandspipeline und Referenzsystem1–5
Datenerhebung3–7
Entscheidender Horizontdurchlauf6–10
Offline-Analyse des Beobachtungsaliasings8–12
Attributionskontrollen und Ablation der Einspeisewege9–14
Informelle Vorversuche und Prüfung des Detektorausfalls13–20
Verfassen der Arbeit1–23
Überarbeitung und Rückmeldung der Betreuung21–26

Vor jeder Aufzeichnung menschlicher Daten werden Datenschutz und Einwilligungsverfahren mit der Betreuung abgestimmt.