Les estampes hallucinées – IA Génératives & estampes de mode

IA Génératives et musées

Les Intelligences Artificielles Génératives (GenAI) défraient la chronique depuis près d’un an, avec la mise à disposition du grand public de ChatGPT fin novembre 2022, une GenAI conversationnelle, et de Midjourney, dès juillet 2022, cette dernière étant une GenAI de « text-to-image » : création d’image à partir d’une instruction textuelle, appelée prompt.

Sans nul doute, ce type de technologie, au-delà de ses implications dans les domaines de la création, sera amené aussi à transformer l’expérience muséale aussi bien que la gestion des musées et collections. Les applications de l’IA et de la GenAI sont et seront nombreuses, par exemple dans les domaines de l’accessibilité, la catégorisation et le catalogage, l’analyse comportementale et de l’affluence, la sécurité, l’interaction personnalisée en temps réel… et bien évident la création de contenu pour les expositions.

Dès mars 2023, le MSU Museum, musée de l’Université d’Etat du Michigan, organisait un évènement et une exposition autour des questions soulevées par la GenAI. L’évènement « Prompt Response: Exploring Generative Artificial Intelligence » visait à examiner les derniers développements dans la technologie émergente de l’IA, tels que DALL-E 2 et ChatGPT d’OpenAI, qui ont suscité des débats sur les implications éthiques et professionnelles des modèles génératifs dans les domaines créatifs. L’expérience était participative et proposait de soumettre au musée des images créées à partir de GenAI, retransmises ensuite sur des moniteurs disposés sur le campus de l’université.

Estampes de mode et IA Génératives

Les estampes de mode habillés, en tant qu’objets physiques constitués d’une estampe de mode habillée de tissus et encadrée sous-verre, ne peuvent – pas encore… – faire l’objet d’une génération par une IA.

Néanmoins, nous avons expérimenté, il y a quelques temps déjà, la création d’illustrations de type « estampe de mode » et « estampe de mode habillée », au moyen de Midjourney. Nous vous proposons une présentation de nos résultats, obtenus très rapidement, et sans connaissance préalable des instructions de prompting propres à Midjourney. Il ne s’agit donc pas de prompting « professionnel », mais de ce que tout un chacun pourrait produire.

Dans un deuxième temps, nous regarderons dans les détails les images produites pour mettre certaines limitations – actuelles, ou d’alors – de ces outils.

Essais de génération d’estampes habillées

Dans un premier temps, nous avons essayé de produire une illustration qui serait composée d’une estampe de mode, enrichie d’habillage en tissus. Midjourney propose par défaut quatre variation pour un même prompt.

Les résultats visibles ci-dessus, ne correspondent pas aux attentes, du fait sans doute de l’inexpérience en matière de prompting spécifique à Midjourney, mais aussi, possiblement, du fait des données d’entraînement de cette IA.

En effet, les GenAI sont entraînées sur des grands jeux de données labellisés. Le concept d’estampe de mode habillée, n’ayant même pas encore de terme officiel, et l’objet étant relativement « confidentiel », c’est à dire peu connu, il peut sans doute difficilement avoir été présent dans les jeux de données. Ce déficit d’entraînement peu donc possiblement expliquer certaines difficultés rencontrées à faire saisir le concept d’estampe de mode habillée : dressed fashion print, adorned fashion print, en anglais.

Néanmoins, il faut reconnaître que, à première vue, le résultat est bluffant, en termes de qualité visuelle, pour une création générée en « deux minutes chrono ».

Cette image mets en valeur la nécessaire maîtrise de l’art du prompting pour arriver à un résultat précis. dans notre cas, la formulation n’était probablement pas suffisamment précise, et les termes « fashion » (mode) et « print » (impression, estampe…) présent dans l’expression anglaise « fashion print » (estampe de mode) ont ainsi été interprétés séparément et la composition proposée par Midjourney représente une image réaliste, comme précisé dans le prompt (photorealistic) avec des jeunes filles habillées à la mode du 19e (19th century fashion), occupées à lire des imprimés (print). Mais ce qui nous occupait était d’obtenir un image photoréaliste d’une estampe de mode habillée…

Néanmoins, le résultat est ici particulièrement attrayant, avec une certaine atmosphère de mystère – quel est donc ce mystérieux écrit qui retient l’attention de ces jeunes filles ?

L’IA Générative permet aussi d’affiner une image, et d’étendre, ou de « révéler », son arrière-plan, comme visible ci-dessous.

Incompréhension et serendipité

Cette autre image propose une jeune fille habillée à la mode du 19e, et entourée de feuilles imprimées… Là encore le résultat est assez réussi, même s’il ne correspond pas à la demande (maladroite).

Une des variations proposées prends même le contrepied de ce qui est recherché : au lieu de tissu rajouté par dessus une robe dessinée sur une estampe en papier, c’est une robe dont les plis sont constitués de papier qui nous est proposée.

Une fois de plus, le résultat, même s’il ne correspond pas à la demande initiale, offre un résultat aussi réussi qu’inattendu (bien que l’on note une différence de contraste entre les personnages)

Ainsi, et de manière imprévue, l’imperfection dans la formulation de prompt associée à la duplicité du langage naturel ouvre de nouvelles perspectives créatives, et de sérendipité, faisant de l’outil non plus seulement un moyen, mais un acteur dans le processus de création.

Essais de génération d’illustration d’estampes de mode

Après ce premier essai, et quelques recherches dans les créations Midjourney, il nous est apparu qu’une formulation assez pertinente pour obtenir une simili-estampe de mode était d’utiliser la formulation suivante comme prompt : « a <year> women fashion print » en donnant comme année (variable <year>) une de celle de la fin du 19e. Par exemple « a 1890 women fashion print » (une estampe de mode féminine de 1890). Les résultats ci-dessous sont assez encourageants.

Midjourney permet de retravailler et affiner ses créations en lui demandant des variations de l’une des images ci-dessus.

Et là-encore, il est possible d’itérer, explorer des alternatives et ajouter des détails, un arrière plan…

Les estampes de mode hallucinées

Le titre de ce dernier paragraphe fait référence plus particulièrement aux hallucinations auxquelles sont sujettes les GenAI, l’une de leurs limitations – et aussi à un fameux roman de l’auteur H.P. Lovecraft, connu en français comme « Les montagnes hallucinées » (At the mountains of madness). Le problème des hallucinations fait l’objet de recherches actives et la qualité des productions s’améliore progressivement.

Néanmoins, si nous regardons dans le détail les images générées ci-dessus nous pouvons noter plusieurs types d’incohérences dans les images générées par la version d’alors de Midjourney (fin juillet 2023).

Mains incohérentes

Le rendu réaliste des mains avait été rapidement identifié comme un problème pour les IA Génératives, les doigts surnuméraires étant par exemple un problème fréquent. Les détails ci-dessous montrent des positions anatomiques peu cohérentes, un manque de finition, une fusion entre la main et son arrière plan, etc.

Positions et détails anatomiques incohérents

Bras gauche à la place du droit

Bras inversé et « flottant »

Divers problèmes de rendu et réalisme anatomique.

Personnages incohérents et difformes

Le personnage d’arrière-plan, ci-dessous présente un curieux « chapeau-cerf-volant » et des anomalies anatomiques en fonction des versions.

Son pendant à la droite de la même image, un personnage avec un monocle à la main, fusionne parfois un autre personnage d’arrière plan selon la version de l’image.

Hallucinations diverses

Objets flottants ou suspendus, fini non réaliste, etc.

Conclusions

Les IA Génératives de nouvelle génération, en gestation depuis 2017, date de la publication d’une publication révolutionnaire sur le mécanisme d’attention et l’architecture dite de « Transformer » –Attention Is All You Need -, en sont encore à leur début.

Les résultats obtenus avec ces nouveaux outils sont d’ors et déjà surprenants, et vont très certainement avoir un impact dans de nombreux domaines de l’activité muséale.

Comme nous l’avons vu, ces technologies offrent même des occasions de sérendipité, créatrices au travers des incompréhensions qui peuvent surgir dans le dialogue entre l’homme et son extension : la machine.

Références

• Exploring generative AI with the MSU Museum, MSU Museum, 24 mars 2023
• Explore AI Generative Art at the MSU Museum and Across Campus, 15 mars 2023, Exhibition and Programs, MSU Museum.
• Midjourney, midjourney.com
• A. Vaswani et al. , Attention Is All You Need, arXiv:1706.03762, 12 juin 2017

#EstampesDeModeHabillees #mode #fashion #DressedFashionPrint #GenAI #GenerativeAI #Midjourney