„LegoGPT“ verwandelt Text in Klemmbaustein-Modelle zum Nachbauen

Am Donnerstag hat ein Forscherteam der Carnegie Mellon University „LegoGPT“ vorgestellt. Das Sprachmodell gibt auf Basis eines geschriebenen Prompts einen Bauplan für Lego-Steine aus.

Physikalische Checks sorgen dafür, sodass das gewünschte Objekt tatsächlich in der Realität umsetzbar ist. Um das zu beweisen, ließen die Forscherinnen und Forscher mehrere KI-generierte Baupläne von Menschen sowie von 2 Roboter-Armen nachbauen.

Training mit bestehenden Bauplänen

LegoGPT wurde mit 28.000 bestehenden Lego-Bauplänen aus 21 verschiedenen Kategorien trainiert. Diese umfassen Einrichtungsgegenstände, etwa Bett, Bücherregal, Sessel, Sofa oder Tisch, sowie Fahrzeuge wie Auto, Bus, Zug oder Schiff.

➤ Mehr lesen: Dieser McLaren besteht aus Lego und fährt 65 km/h

Für Gegenstände außerhalb dieser Kategorien seien die Baupläne deshalb möglicherweise weniger gut, so die Forscherinnen und Forscher. Wie das aussieht, zeigt ein kurzer futurezone-Test: Der Prompt „an oldschool camera with large lens and external flash on top“ (eine altmodische Kamera mit großem Objektiv und externem Blitz obenauf) erzeugt ein Objekt, das nicht unbedingt als Kamera zu erkennen ist, obwohl „camera“ eine der 21 Trainingskategorien ist.

LegoGPT funktioniere ähnlich wie ein Sprachmodell. Statt des nächsten Wortes sagt es den nächsten zu steckenden Klemmbaustein voraus.

Mögliche Baupläne noch limitiert

Als Beispiel zeigt das Forscherteam u.a. Renderings von „einer klassische Gitarre“ oder „einer Bank ohne Rückenlehne mit Armlehnen“. Das Modell kann diese auch mit verschiedenen Farben oder Texturen darstellen, darunter Holz, Stoff oder Stein. Mit der öffentlich verfügbaren Demoversion ist dies jedoch nicht möglich.

Das Modell ist außerdem auf eine Größe von 20 × 20 × 20 Bausteinen begrenzt und kann derzeit nur mit rechteckigen Bausteinen umgehen. In Zukunft sollen auch abgeschrägte Bausteine oder Kacheln in LegoGPT verarbeitet werden können.

➤ Mehr lesen: ESA macht Lego-Stein aus 4,5 Milliarden Jahre altem Meteoritenstaub