Ce nouveau système conçoit non seulement des modèles Lego qui correspondent aux descriptions textuelles (invites), mais garantit également qu’ils peuvent être construits brique par brique dans le monde réel, que ce soit à la main ou avec une assistance robotique, comme l’indique Ars Technica.
Comment fonctionne LegoGPT ?
L’outil s’appuie sur la technologie des grands modèles de langage (LLM), similaire à celle utilisée par des chatbots comme ChatGPT. À l’instar de la solution d’IA d’OpenAI qui prédit le mot suivant, LegoGPT anticipe la prochaine brique à assembler pour générer des plans de montage étape par étape. L’équipe s’est appuyée sur le modèle Llama-3.2-1B-Instruct du géant Meta pour parvenir à ce résultat, entraînant LegoGPT sur un jeu de données de plus de 47 000 structures Lego, comprenant 28 000 composants 3D distincts.
La véritable prouesse de LegoGPT réside dans son respect des lois de la physique grâce à une méthode baptisée « physics-aware rollback ». Si le système détecte qu’une pièce pourrait compromettre la stabilité de la structure, il identifie la brique instable, la retire ainsi que toutes celles posées après elle, puis explore une nouvelle approche. Cette approche permet au modèle IA de revendiquer un taux de stabilité de plus de 98 %.
We’ve released the code for LegoGPT. This autoregressive model generates physically stable and buildable designs from text prompts, by integrating physics laws and assembly constraints into LLM training and inference.
This work is led by PhD students @AvaLovelace0, @kangle_deng,… pic.twitter.com/wdhkF5NBgC
— Jun-Yan Zhu (@junyanz89) May 9, 2025
Outre la solidité, LegoGPT prend également en compte l’esthétique, offrant des options de texture et de couleur. Pour valider leurs créations virtuelles, les chercheurs ont mis LegoGPT à l’épreuve du réel en faisant appel à des robots à double bras, équipés de capteurs de force. Ces derniers ont assemblé les modèles en suivant les instructions de l’IA et des testeurs humains ont aussi construit certains des designs à la main. Ils ont ainsi pu confirmer que les modèles sont non seulement stables, mais aussi réalisables par l’homme.
LegoGPT a encore des limitations
Bien que prometteuse, la version actuelle de LegoGPT se limite à un espace de construction de 20x20x20 et n’utilise que huit types de briques standard parmi les 21 catégories d’objets sur lesquelles elle a été entraînée. L’équipe de Carnegie Mellon prévoit cependant d’étendre la bibliothèque de briques (en y incluant des pentes et des tuiles) et d’enrichir sa base de données d’entraînement.
La bonne nouvelle pour tous les passionnés de briques est que LegoGPT est accessible gratuitement. Les chercheurs (Ava Pun, Kangle Deng, Ruixuan Liu, Deva Ramanan, Changliu Liu et Jun‑Yan Zhu) ont partagé leur jeu de données, leur code et leurs modèles sur leur site web de projet et sur GitHub.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
