Blog

Nov 18, 2023

AI Day 2022 : FSD simplifié

Tesla a organisé son événement AI Day 2022 à Palo Alto, en Californie, plus tôt ce soir,

Tesla a organisé son événement AI Day 2022 à Palo Alto, en Californie, plus tôt dans la soirée, donnant beaucoup de détails sur ses derniers développements dans le monde de l'IA. Une partie de la discussion a porté sur la conduite entièrement autonome (FSD). Elon Musk avait prévenu avant l'événement que cela allait être très technique, et il n'a pas déçu.

Ici, nous allons examiner la section Full Self Driving du Tesla AI Day 2022 tout en essayant de simplifier les concepts.

Tesla a commencé la discussion avec des chiffres. Tesla a jusqu'à présent créé 35 versions avec 281 modèles de formation différents. Le nombre le plus intéressant partagé est le nombre total de demandes d'extraction (nombre total de fois que le code a été fusionné) 18 659.

FSD Beta a utilisé un total de 4,8 millions d'ensembles de données.

Tesla est ensuite passé à un organigramme qui montrerait comment ils couvriraient différents sujets dans le segment Full Self Driving de Tesla AI Day 2022. Les données de formation qui peuvent être des données étiquetées automatiquement, des données simulées ou du moteur de données, sont introduites dans différents réseaux de neurones qui vont à la planification.

Chacun a été couvert plus en profondeur plus tard tout au long de la conférence.

Veuillez activer JavaScript

Ce réseau de neurones décide des choses comme le contrôle des écarts. Imaginez que vous tournez à gauche dans une intersection. Il y a un piéton qui traverse. Quand est-il sécuritaire pour la voiture de partir ? Pensez à la planification comme à la prise de décisions (il y a beaucoup plus que cela, mais nous allons le simplifier).

Tesla utilise quelque chose qu'ils appellent "la recherche d'interaction". Il examine les voies, l'occupation (ce qui se passe dans ces voies) et d'autres objets en mouvement. La première couche du réseau neuronal regarde la voie. Comment est la voie ?

Il se ramifie ensuite (regarde) les graines non obstruées (qui occupent la voie) et se ramifie aux interactions dans les voies; piétons ou objets.

Il prévoit ensuite la probabilité que vous interveniez. Il y a des vérifications qui se produisent telles que vous obtiendrez dans une collision ? Y a-t-il des conflits avec les données ?

Ce réseau calcule les bordures, les voitures, les débris sur la route et juste des prédictions générales sur la direction que prennent les choses. Au lieu d'utiliser simplement un réseau d'objets de base, ce réseau crée une surface pilotable ; où la voiture peut rouler.

Ils utilisent des images d'appareil photo avec des photos brutes, et non RVB standard. Ils extraient les caractéristiques de la photo et créent un module 3D avec des caractéristiques spatiales. Il passe ensuite par "Deconvolution" pour une sortie finale. Tesla voulait une sortie de résolution plus élevée, ils utilisent donc des "sorties interrogeables" et des "NeRF" où ils peuvent créer des environnements 3D avec des images 2D.

Tesla utilise également des ensembles de données étiquetés automatiquement. Chaque seconde, ils capturent 400 000 vidéos. À l'aide de l'extension personnalisée Pytorch (cadre d'apprentissage automatique extrêmement populaire), les données passent du stockage au GPU pour la formation. (Je ne connais pas bien le matériel). Ils vérifient avec la vérité terrain.

Ils doivent utiliser des prédictions car parfois vous ne pouvez pas voir les choses de l'autre côté de l'intersection. Il existe un "composant de vision" qui fournit des données d'entrée. Tesla ajoute ensuite un composant cartographique. Il s'agit de données de carte routière avec des informations topographiques. Ils se sont assurés de noter qu'il ne s'agit pas de cartes HD ; ainsi, par exemple, ils ne sauront pas à l'avance quand la voie se termine. Tesla ajoute ensuite quelque chose appelé le composant "langage". Il s'agit des positions des voies dans l'espace 3D. Le composant de langage a une grille de prédiction qui cartographie toutes les voies dans l'espace 3D donné. Il tourne encore et encore jusqu'à la fin du segment. Cette prédiction de voie est nécessaire, d'autant plus que vous et la Tesla pourriez ne pas voir clairement la route. Vous avez besoin de prédictions.

Tesla est actuellement limité à un cache d'intersection de 500 000 par jour (limites de stockage de données). Ils veulent atteindre 1 milliard d'intersections. De toute évidence, le calcul ne fonctionne pas pour leur objectif par rapport à leurs limites. Ils utilisent désormais la "reconstruction" qui évolue mieux et étiquette plus rapidement que l'approche 2020. Ils utilisent des étiqueteuses automatiques pour presque toutes les tâches de leur planification. Il étiquettera même automatiquement dans différentes conditions météorologiques telles que dans l'obscurité, la pluie ou le brouillard.

Il y a des situations où il est difficile d'obtenir des données du monde réel. C'est là que les simulations sont utilisées. Imaginez que c'est comme créer une scène dans un jeu vidéo, puis utiliser ces données pour résoudre des problèmes obscurs qui se produisent lors de la conduite. Les étapes que Tesla utilise pour créer ces simulations sont ;

Ceux-ci sont tous automatiques et peuvent être configurés en moins de 5 minutes. Cela permet à Tesla d'échanger du matériel ou de changer d'emplacement, créant un nombre infini de scènes pour créer une nouvelle vérité terrain. Créez de nouveaux flux pour faire des prédictions afin de créer des données qui ne peuvent pas être créées à partir du monde réel.

Il y a des cas de défi lors de la conduite. Tesla peut créer un ensemble d'évaluation avec des vidéos de test. Ils peuvent collecter des données spécifiques de la conduite de Tesla qui rencontrent exactement la chose sur laquelle ils travaillent. Ensuite, entraînez-vous, corrigez et testez.

Si vous voulez tous les détails, vous pouvez regarder la présentation AI Day 2022 ci-dessous. La section sur le FSD commence à la 58e minute.