Le travail à la première personne, y compris quand il rate
Une politique de manipulation généralise à partir de la variété de mains, d'outils et d'échecs qu'elle a vus. Les corpus égocentriques ouverts montrent un procédé fixe dans un intérieur industriel, filmé jusqu'à ce qu'il réussisse.
Le problème
Des jeux égocentriques existent, et ils sont étroits d'une manière qui compte : une usine connue, un outil connu, une séquence connue, répétée. Une politique entraînée dessus apprend que la manipulation, c'est ce qui se passe quand l'outil convient, que la lumière est régulière et que la tâche aboutit.
La matière qui enseignerait le contraire — outils improvisés, pièces usées, prise inhabituelle, tâche entreprise d'une façon et terminée d'une autre — n'a pas d'archive, parce que personne ne l'a filmée. Ce n'est pas un manque de licence qu'on comblerait en libérant des droits sur des images existantes. Il faut la collecter.
Ce que nous y opposons
Captation sur commande, casque et torse, depuis le commerce de marché en plein air, la préparation de nourriture de rue, la réparation de véhicules en bord de route, les ateliers d'artisans et le trafic dense de deux-roues — tournée selon un cahier des charges, du point de vue de l'opérateur lui-même.
Chaque session tourne un second angle synchronisé, calé au clap dans le cadre, parce que la couverture d'un même sujet sous deux angles vaut sensiblement plus que l'un ou l'autre seul. Et chaque plan porte une couche de contexte rédigée décrivant la tâche, l'intention, les objets manipulés et — lorsque cela survient — la séquence dans laquelle quelque chose a échoué et où l'opérateur a changé de méthode. Les échecs sont l'essentiel, et ils sont indexés plutôt que laissés à votre recherche.
Ce à quoi cela doit répondre
| Exigence | Comment elle est satisfaite |
|---|---|
| L'échec et la reprise, pas seulement la réussite propre | Échecs indexés par plan, avec le changement de méthode décrit |
| Une variété d'outils et d'objets hors procédé fixe | Outillage improvisé et pièces usées en usage de travail ordinaire |
| Une couverture multi-angles de la même action | Second angle synchronisé à chaque session, calé au clap dans le cadre |
| L'intention de la tâche, pas seulement des pixels | Couche de contexte rédigée par plan — tâche, intention, objets manipulés |
Ce que vous pouvez vérifier d'abord
- Annotation d'exemple
- Un fichier d'annotation complet publié pour un actif réel, échecs compris
- Spécification de captation
- 3840×2160, 30 i/s (60 en mouvement), H.264, sans HDR
- Autorisations d'image
- Toute personne identifiable sous autorisation ; contributeurs payés, paiement enregistré
- Collecté sur commande
- Commandé selon un cahier des charges plutôt que vendu sur stock
Lignes d'approvisionnement mobilisées
Une solution n'est marquée « en service » que si une ligne qui la porte détient de la matière libérée. Rien de sourcé sur mandat n'est présenté comme un stock.
Cinquante heures livrées au standard de production, deux semaines après validation du cahier des charges.
Autres solutions
Reconnaissance vocale pour les langues que les benchmarks ignorent
Le taux d'erreur sur ce corridor n'est pas un problème de modélisation. C'est un problème de données, et ces données n'ont jamais été collectées.
Post-entraînement et évaluation hors du corpus web
Le web n'est pas un échantillon du monde. Pour ce corridor, c'est un échantillon de ce qui a été écrit en anglais par des gens connectés — et un modèle entraîné dessus hérite de ce manque sous forme d'assurance.
Les documents tels qu'ils sont réellement classés
Un modèle d'extraction qui n'a vu que des gabarits propres n'a pas vu la paperasse de ce corridor — le tampon en travers du champ, la photocopie de troisième génération, le formulaire rempli à deux mains.