paint-brush
Kreatives Potenzial freisetzen: Erkunden latenter Räume im generativen 3D-Designvon@tomascbzn
291 Lesungen

Kreatives Potenzial freisetzen: Erkunden latenter Räume im generativen 3D-Design

von Tomas Cabezon Pedroso5m2024/08/28
Read on Terminal Reader

Zu lang; Lesen

„Browsing the Latent Space“ (BLS) ist ein interaktives Tool, das das Potenzial der Visualisierung und Interpolation latenter Räume in 3D-generativen Systemen nutzt. Durch die Visualisierung und Interaktion mit diesem Raum können Designer wertvolle Einblicke in die Art und Weise gewinnen, wie das generative System ihre Eingaben interpretiert, was zu fundierteren und kreativeren Designentscheidungen führt.
featured image - Kreatives Potenzial freisetzen: Erkunden latenter Räume im generativen 3D-Design
Tomas Cabezon Pedroso HackerNoon profile picture
0-item

Im kreativen Prozess des Designs ging es schon immer darum, Grenzen zu überschreiten, neue Wege zu erkunden und sich neu vorzustellen, was möglich ist. Während wir weiterhin fortschrittliche Computermethoden in den Design-Workflow integrieren, ist die Erforschung latenter Räume innerhalb generativer Systeme ein besonders spannender Ansatz. Latente Räume, die abstrakten Bereiche, in denen generative Modelle funktionieren, bieten Designern beispiellose Möglichkeiten, sich auf neue und interaktive Weise mit ihren Kreationen auseinanderzusetzen.


In diesem Artikel stelle ich „Browsing the Latent Space“ (BLS) vor, ein interaktives Tool, das das Potenzial der Visualisierung und Interpolation latenter Räume in 3D-generativen Systemen nutzt. Dieses Tool, das im Rahmen einer umfassenderen Forschungsinitiative entwickelt wurde, verbessert den Design-Explorationsprozess, indem es Designern intuitive und leistungsstarke Möglichkeiten bietet, neue Designs zu verstehen, zu bearbeiten und zu generieren.


Neudefinition der Design-Exploration mit Latent Spaces

Generative Systeme haben in verschiedenen kreativen Bereichen, von Kunst und Musik bis hin zu Design und Architektur, erheblich an Bedeutung gewonnen. Die Interaktion mit diesen Systemen beschränkt sich jedoch häufig auf einen eher zufälligen und unvorhersehbaren Prozess: Man führt ein Modell aus, wartet auf eine Ausgabe und hofft, dass diese mit der Absicht des Designers übereinstimmt. Aber was wäre, wenn es eine Möglichkeit gäbe, tiefer in die Mechanik dieser Systeme einzudringen, um zu verstehen und sogar zu steuern, wie sie ihre Ausgaben generieren?


Abbildung 1: Vergleich der Pipeline herkömmlicher generativer Systeme mit der in dieser Demonstration vorgeschlagenen Pipeline.


Hier kommt das Konzept der latenten Räume ins Spiel. Ein latenter Raum ist eine niedrigdimensionale Darstellung der Daten, die ein generatives Modell während seines Trainingsprozesses gelernt hat. Er erfasst die zugrunde liegenden Muster und Strukturen in den Daten, die manipuliert werden können, um neue Designs zu erstellen. Durch die Visualisierung und Interaktion mit diesem Raum können Designer wertvolle Einblicke gewinnen, wie das generative System ihre Eingaben interpretiert, was zu fundierteren und kreativeren Designentscheidungen führt.


Experimentieren mit generativen Systemen: Der Fall der 3D-Stühle

In unserer Forschung haben wir uns auf Stühle als Fallstudie zur Erforschung der kreativen Möglichkeiten latenter Räume konzentriert. Stühle, ein Grundbestandteil der Designpraxis, bieten einen reichen Boden für Experimente, insbesondere im Kontext generativer Systeme. Inspiriert von der Kultur des Remixing und des iterativen Designs wollten wir den kreativen Prozess verbessern, indem wir Designern Werkzeuge zur Verfügung stellten, mit denen sie latente Räume erkunden, remixen und neue Stuhldesigns erstellen können.

Abbildung 2: Diagramm der Stuhlgenerierung im GET3D ML-Modell.


Wir haben das generative Modell GET3D verwendet – ein leistungsstarkes Tool, mit dem sich hochwertige 3D-Modelle erstellen lassen. Indem wir den latenten Raum dieses Modells nutzten, konnten wir die Merkmale, die die Stühle ausmachen, visualisieren und bearbeiten. Dieser Ansatz vermittelt Designern nicht nur ein besseres Verständnis des generativen Systems, sondern ermöglicht auch die Erstellung völlig neuer Designs, die zwischen den bereits vorhandenen im latenten Raum liegen.


Abbildung 3: Diagramm der Erzeugung der Elemente im latenten Raum für diese Demonstration.


Visualisierung latenter Räume: Von abstrakten Daten zu greifbaren Designs

Eine der wichtigsten Neuerungen unseres Ansatzes ist die Visualisierung des latenten Raums. Hochdimensionale Daten, wie sie beispielsweise von generativen Modellen erzeugt werden, können schwierig zu interpretieren und zu navigieren sein. Um diese Herausforderung zu bewältigen, haben wir eine Technik zur Dimensionsreduzierung eingesetzt, um den latenten Raum in eine zweidimensionale Karte zu projizieren. Diese Karte bietet eine visuelle Darstellung der Verteilung verschiedener Stuhldesigns basierend auf ihren Merkmalen wie Textur und Form.

Abbildung 4: Diagramm zur Generierung und Visualisierung des latenten Raums in einer zweidimensionalen Karte


Die Visualisierung ermöglicht es Designern, den latenten Raum interaktiv zu vergrößern, zu schwenken und zu erkunden. Sie können sehen, wie ähnliche Designs gruppiert sind, wodurch die zugrunde liegende Struktur sichtbar wird, die das generative Modell gelernt hat. Dies hilft nicht nur beim Verständnis des Verhaltens des Modells, sondern eröffnet auch neue Möglichkeiten für kreative Erkundungen.

Interpolation: Aus bestehenden Designs neue erstellen

Neben der Visualisierung enthält das BLS-Tool auch eine Interpolationsfunktion, mit der Designer neue Stuhldesigns erstellen können, indem sie vorhandene kombinieren. Bei der Interpolation im latenten Raum werden neue Punkte zwischen bekannten Datenpunkten (in diesem Fall vorhandenen Stuhldesigns) generiert und die resultierenden Designs beobachtet. Mit diesem Prozess können Designer fließende Übergänge zwischen verschiedenen Designmerkmalen erkunden, was zur Erstellung innovativer und einzigartiger Ergebnisse führt.


Abbildung 5: Diagramm des Interpolationsprozesses im latenten Raum zwischen 4 verschiedenen Stuhlmodellen.


Ein Designer kann beispielsweise zwei oder mehr Stühle aus dem latenten Raum auswählen und mithilfe des Interpolationstools Zwischenentwürfe erstellen, die die Eigenschaften der ausgewählten Stühle vereinen. Dieser Prozess ist vergleichbar mit der Navigation durch eine riesige Designlandschaft, in der jeder Schritt neue Möglichkeiten und Kombinationen offenbart, die zuvor unerforscht waren.

Ein neues Paradigma für die Design-Erkundung

Das Tool „Browsing the Latent Space“ stellt einen bedeutenden Fortschritt in der Interaktion von Designern mit generativen Systemen dar. Indem wir einen intuitiven Zugriff auf den latenten Raum ermöglichen, ermöglichen wir es Designern, über die Grenzen traditioneller Methoden der Design-Erkundung hinauszugehen. Dieser Ansatz fördert nicht nur die Kreativität, sondern bietet auch ein tieferes Verständnis der Funktionsweise generativer Modelle, was zu fundierteren und innovativeren Designpraktiken führt.


Abbildung 6: Links: Latenter Raum-Visualisierung. Mitte: Interpolation von vier Stuhlmodellen. Rechts: Ansicht des resultierenden 3D-Stuhls.


Wir verfeinern und erweitern dieses Tool ständig und gehen davon aus, dass es zu einem wesentlichen Bestandteil des Toolkits des Designers wird. Zukünftige Iterationen könnten Cloud-basierte Modellinferenz in Echtzeit, ausgefeiltere Algorithmen zur Dimensionsreduzierung und die Anwendung dieses Ansatzes auf andere generative Systeme jenseits von 3D-Stühlen umfassen.

Fazit: Die Zukunft der kreativen Erkundung

Die Integration der latenten Weltraumforschung in den Designprozess markiert eine neue Ära der Kreativität und Innovation. Indem sie das Potenzial generativer Systeme freisetzen, können Designer die Grenzen des Möglichen erweitern und Designs erstellen, die nicht nur neuartig sind, sondern auch stark von der zugrunde liegenden Mechanik der von ihnen verwendeten Modelle geprägt sind.


Abbildung 7: Resultierende Stühle der linearen Interpolation zwischen Stuhldesigns im latenten Raum.


Die Zukunft des Designs liegt in unserer Fähigkeit, diese fortschrittlichen Computertools zu nutzen, und das Tool „Browsing the Latent Space“ ist nur der Anfang. Während wir diese Technologien weiter erforschen und verfeinern, sind die Möglichkeiten für kreatives Experimentieren grenzenlos.

Wenn Sie das BLS-Tool praktisch ausprobieren oder mehr über die zugrunde liegende Forschung erfahren möchten, besuchen Sie die Projektwebsite unter [Link hier einfügen] oder lesen Sie den vollständigen Forschungsartikel mit dem Titel „Browsing the Latent Space: A New Approach to Interactive Design Exploration for Volumetric Generative Systems“.

Weitere Einzelheiten oder die Möglichkeit, mit dem BLS-Tool zu interagieren, finden Sie auf der Projektwebsite:
https://tcabezon.github.io/ls-exploration-tool/ oder den Forschungsartikel: „Browsing the Latent Space: A New Approach to Interactive Design Exploration for Volumetric Generative Systems“, der den gesamten Forschungsprozess hinter diesem Projekt beschreibt.