Nouvelles

Nov 18, 2023

Des chercheurs de Stanford présentent Parsel : un cadre d'IA d'intelligence artificielle qui permet la mise en œuvre et la validation automatiques d'algorithmes complexes avec des modèles de langage de grande taille de code LLM

Bien que des progrès récents aient été réalisés dans le raisonnement des grands modèles de langage (LLM),

Bien que des progrès récents aient été réalisés dans le raisonnement des grands modèles de langage (LLM), les LLM ont encore du mal avec les tâches de raisonnement hiérarchique en plusieurs étapes comme le développement de programmes sophistiqués. Les programmeurs humains, contrairement aux autres générateurs de jetons, ont (généralement) appris à décomposer les tâches difficiles en composants gérables qui fonctionnent seuls (modulaires) et fonctionnent ensemble (compositionnels). En prime, si les jetons générés par l'homme causent des problèmes avec une fonction, il devrait être possible de réécrire cette partie du logiciel sans affecter le reste de l'application. En revanche, il est naïvement prévu que les LLM de code produiront des séquences de jetons exemptes d'erreurs.

Cela a incité une étude récente de l'Université de Stanford à se pencher sur l'utilisation des LLM dans la décomposition des problèmes et la construction de solutions de composition. Ils proposent Parsel, un compilateur qui accepte une spécification qui inclut des descriptions de fonctions écrites en langage naturel et des contraintes qui définissent le comportement souhaité des fonctions implémentées. En utilisant Parsel, les codeurs peuvent écrire des programmes en langage clair qui peuvent résoudre les problèmes de codage au niveau de la concurrence, surpassant les SoTA précédents de plus de 75 %.

Un code LLM reçoit la description d'une fonction et les signatures des fonctions dont elle dépend et est invité à générer des implémentations de la fonction. Lorsqu'une contrainte est ajoutée, le compilateur examine les combinaisons d'implémentation possibles jusqu'à ce qu'il en trouve une qui fonctionne.

Des études antérieures ont montré que, contrairement aux humains, les modèles de langage codé ne pouvaient pas développer des programmes qui exécutent séquentiellement de nombreuses petites tâches. Parsel élimine le problème en partitionnant les processus de décomposition et d'implémentation. Alors qu'ils avaient l'intention de permettre le codage en langage naturel, ils ont découvert que les LLM excellaient également dans le codage Parsel.

Décomposer un plan abstrait jusqu'à ce qu'il puisse être résolu automatiquement est un schéma courant du raisonnement humain reflété dans la génération et l'implémentation de Parsel ; cette structure de composition est également utile pour les modèles de langage. Dans cette étude, l'équipe démontre que les LLM peuvent créer Parsel à partir d'un petit nombre d'instances et que leurs solutions surpassent les méthodes de pointe sur les problèmes de compétition à partir de l'ensemble de données APPS. Les plans écrits par les LLM utilisant Parsel pour produire des plans robotiques étape par étape à partir de travaux de haut niveau sont, de manière passionnante, plus des deux tiers aussi précis qu'une ligne de base de planificateur zéro coup.

Pour évaluer l'efficacité de Parsel, Gabriel Poesia, un codeur compétitif expérimenté, l'a utilisé pour résoudre une multitude de défis APPS généralement rencontrés dans les compétitions de codage. En 6 heures, il a trouvé des solutions à 5 problèmes sur 10, dont 3 sur lesquels GPT-3 avait précédemment échoué.

Les chercheurs montrent que Parsel peut être utilisé pour la démonstration de théorèmes et d'autres activités nécessitant un raisonnement algorithmique en le formulant comme un cadre à usage général.

Ils prévoient de mettre en œuvre la génération de tests unitaires autonomes dans un avenir proche. Ils mentionnent qu'une approche consisterait à rechercher des situations particulières et à voir si le groupe de fonctions qui sont d'accord sur tous les tests existants est également d'accord sur les nouveaux tests. L'évolution exponentielle des combinaisons d'implémentation est évitée, ce qui pourrait rendre possible une décomposition automatique. Ils visent également à ajuster le "seuil de confiance" du modèle linguistique, car il est nécessaire de garder des descriptions claires et concises pour les programmes ou sections de programmes plus cruciaux, il est nécessaire de s'assurer que les descriptions sont claires et concises.

VérifiezPapier,Github,etPage du projet. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de vous inscrirenotre sous-reddit 13k+ ML,Chaîne discorde, etCourriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d'IA sympas, et plus encore.

Tanushree Shenwai est consultante stagiaire chez MarktechPost. Elle poursuit actuellement son B.Tech de l'Indian Institute of Technology (IIT), Bhubaneswar. Elle est une passionnée de la science des données et a un vif intérêt pour le champ d'application de l'intelligence artificielle dans divers domaines. Elle est passionnée par l'exploration des nouvelles avancées technologiques et leur application dans la vie réelle.