Handzustandskonditioniertes VLA

Problem

In der kollaborativen Montage muss ein Roboter zugleich entscheiden, was er tut und wann er handelt. Die Kombination aus VLA-Modellen und Action Chunking lernt kollaborative Manipulation durchgängig aus Demonstrationen — die Schwierigkeit entsteht jedoch genau durch das Chunking.

Die Politik sagt jeweils einen zukünftigen Aktionsblock vorher und plant erst nach den ersten $T_a$ Aktionen neu. Überspannt ein Block die Grenze zwischen Warten und Assistieren, greift der Roboter zu, bevor der Mensch bereit ist. In der Literatur heißt dieses Versagen Demonstration Action Leakage; es verschärft sich mit wachsendem Ausführungshorizont.

Damit wird $T_a$ zu einer Stellgröße, die die Qualität der Zusammenarbeit unmittelbar bestimmt:

• kleines $T_a$ → reaktionsschnell, aber unruhige Bewegung und höhere Inferenzkosten
• großes $T_a$ → glatt und effizient, aber anfällig für verfrühtes Handeln

Diese Arbeit fragt nicht, welcher Punkt auf dieser Kurve der beste Kompromiss ist. Sie fragt, ob sich die Kurve als Ganzes verschieben lässt.

Drei bestehende Ansätze, denen jeweils ein Schritt fehlt

Vorgehen

Der Hauptweg ist ein niedrigdimensionaler Zustandskanal. Ein kleines Projektionsnetz bildet den Handzustandsvektor in den Einbettungsraum des Modells ab, als zusätzlichen Token neben den Bild- und Sprach-Token. Das folgt der Art, wie OpenVLA-OFT propriozeptive Roboterzustände einspeist, sodass die Backbone-Architektur unverändert bleibt.

Vier Bedingungen in einem Protokoll

Das ist der Kern der Auswertung: Die drei Einspeisewege entsprechen den Positionen dreier veröffentlichter Arbeiten und wurden bisher nie nebeneinander gemessen.

Aufgabe und Daten

Kernaufgabe ist eine zeitkritische Objektübergabe: Der Roboter hält ein Objekt bereit, während die Versuchsperson nach einem randomisierten Zeitskript greift. Das Skript deckt früh, pünktlich, verspätet, Finte und Abbruch mitten in der Bewegung ab.

Diese Störungen leisten zweierlei. Sie erzeugen kontrollierte Mehrdeutigkeit zwischen Beobachtungen, die warten bedeuten sollen, und solchen, die handeln bedeuten sollen. Und sie sind die einzige Möglichkeit, eine gelernte Politik von einer festen Abstandsschwelle zu unterscheiden — eine Schwelle kann mit einem Abbruch nicht umgehen. Eine befehlsgesteuerte Greifaufgabe dient als Kontrollaufgabe.

Aufgezeichnet wird mit 10 Hz: RGB aus mehreren Perspektiven, propriozeptiver Roboterzustand, Aktionen, zeitgestempelter Handzustand und Phasenannotationen. Da Politiken, die auf einer einzigen Person trainiert wurden, laut Literatur bei einem Personenwechsel in feste Muster zurückfallen, deckt das Training mehrere Versuchspersonen ab; ausgewertet wird mit Personen, die im Training nicht vorkamen.

Wahrnehmungspipeline

Handmarken werden über registrierte Tiefendaten in den dreidimensionalen Raum gehoben und in das Roboterbasiskoordinatensystem überführt; die Handgeschwindigkeit ergibt sich aus Positionsdifferenzen über einen kurzen Puffer.

Modell

Als Backbone dient ein mit LoRA feinabgestimmtes $\pi_{0.5}$. OpenVLA-OFT+ wird nur für wenige Offline-Kontrollpunkte eingesetzt, um zu prüfen, ob die Schlussfolgerungen von einer einzelnen Architektur abhängen.

Zentrale Hypothese: Beobachtungsaliasing

Verfrühtes Handeln könnte teilweise auf Beobachtungsaliasing an den Phasenübergängen zurückgehen: Im Übergang vom Warten zum Assistieren entsprechen visuell ähnliche RGB-Beobachtungen unvereinbaren Zielaktionen. Eine regressionsbasierte Politik mittelt dann zwischen diesen Labels, was sich als zu frühes Zugreifen zeigt.

Der Handzustand ist ein niedrigdimensionales, aber zeitlich trennscharfes Signal, das beide Fälle auseinanderziehen könnte.

Drei Forschungsfragen

Die drei Attributionskontrollen

Dieser Teil ist mir am wichtigsten, weil er aktiv versucht, die eigene Schlussfolgerung zu widerlegen:

1. Erweiterung der Wartedaten — der Referenzbedingung wird die gleiche Menge an Wartesequenzen hinzugefügt, um zu prüfen, ob der Gewinn nur aus einer veränderten Datenverteilung stammt
2. Zeitlich permutierter Handzustand — Architektur und Parameterzahl bleiben exakt gleich, nur die zeitliche Reihenfolge wird zerstört, um zu prüfen, ob der Gewinn von der zeitlichen Struktur abhängt oder nur von zusätzlichen Parametern und statischer Position
3. Regelbasiertes Gating — eine lernfreie Regel aus Handabstand, Radialgeschwindigkeit, Verweildauer und Hysterese, um zu prüfen, ob eine Regel bereits ausreicht. Die Bedingung mit Zeitstörung entscheidet diese Kontrolle, weil eine Regel einen Abbruch nicht bewältigt

Vorab festgelegte Kriterien

Bestätigung: bei langen Horizonten weniger Fehlzugriffe als in der Referenzbedingung, wobei das Konfidenzintervall der gepaarten Differenz die Null ausschließt; zugleich kein Anstieg von Wartedrift und Reaktionslatenz und kein Rückgang der Erfolgsquote. Der Vorteil sollte unter Zeitstörung deutlicher ausfallen als bei normalem Ablauf.

Widerlegung: die beiden gepaarten Kurven sind statistisch nicht unterscheidbar; oder die Erweiterung der Wartedaten hebt den Gewinn auf; oder die Repräsentationsanalyse zeigt keine Verringerung des Beobachtungsaliasings.

Robustheitsanforderung

Liegt keine verlässliche Handinformation vor, muss der zusätzliche Pfad wirkungslos werden: Während des Trainings wird der Handzustand zufällig ausgelassen, ergänzt um eine eigene Einbettung für den fehlenden Zustand. Ein Szenario mit ausgefallenem Detektor prüft, ob die Politik tatsächlich auf das Referenzverhalten zurückfällt.

Definition der Kennzahlen

Zeitplan

Experiment- und Schreibphasen überlappen bewusst, der entscheidende Go/No-Go-Test liegt früh.

Vor jeder Aufzeichnung menschlicher Daten werden Datenschutz und Einwilligungsverfahren mit der Betreuung abgestimmt.