Qwen-Image d'Alibaba: L'IA insère du texte haute fidélité dans les images

Alibaba a dévoilé Qwen-Image, un modèle d’intelligence artificielle sophistiqué de 20 milliards de paramètres conçu pour générer du texte haute fidélité directement dans les images. Cette nouvelle offre représente un bond significatif dans le domaine de la génération d’images sensibles au texte, promettant une intégration naturelle des éléments textuels dans divers contextes visuels.

Les développeurs de Qwen-Image affirment sa polyvalence remarquable, capable de gérer un large éventail de styles visuels. Des scènes d’anime dynamiques ornées de multiples enseignes de magasins aux diapositives PowerPoint méticuleusement structurées et remplies de contenu complexe, le modèle démontre une compréhension aiguë des nuances stylistiques. De plus, Qwen-Image est conçu pour une applicabilité mondiale, supportant parfaitement le texte bilingue et basculant sans effort entre les langues au sein d’une seule sortie visuelle.

Au-delà de ses capacités fondamentales de génération de texte, Qwen-Image dispose d’une suite complète d’outils d’édition. Les utilisateurs peuvent modifier intuitivement les styles visuels, introduire ou supprimer des objets, et même ajuster les poses des personnes représentées dans les images. Le modèle étend également ses fonctionnalités pour englober des tâches de vision par ordinateur traditionnelles, telles que l’estimation précise de la profondeur d’image ou la génération de nouvelles perspectives à partir de visuels existants, démontrant sa solide compréhension des relations spatiales.

La fondation architecturale de Qwen-Image est tripartite, intégrant des composants avancés pour des performances optimales. Qwen2.5-VL sert de colonne vertébrale à la compréhension texte-image, interprétant l’interaction complexe entre les informations visuelles et linguistiques. Un Auto-encodeur Variationnel compresse efficacement les données d’image, rationalisant le traitement, tandis qu’un Transformeur de Diffusion Multimodal est responsable de la production des sorties visuelles finales de haute qualité. Une innovation clé qui sous-tend la précision du modèle dans le placement du texte est MSRoPE (Multimodal Scalable RoPE). Contrairement aux méthodes conventionnelles qui pourraient traiter le texte comme une simple séquence linéaire, MSRoPE organise spatialement les éléments de texte le long d’une diagonale dans l’image. Cette approche novatrice permet au modèle de positionner le texte avec une plus grande précision sur différentes résolutions d’image, assurant un alignement supérieur entre le contenu textuel et visuel.

La méthodologie d’entraînement de Qwen-Image privilégie la qualité et l’authenticité. L’équipe Qwen a méticuleusement organisé un ensemble de données d’entraînement catégorisé en quatre domaines principaux : images naturelles (55 %), contenu de conception tel que des affiches et des diapositives (27 %), représentations de personnes (13 %), et une plus petite portion de données synthétiques (5 %). Crucialement, le pipeline d’entraînement a délibérément exclu les images générées par l’IA, se concentrant plutôt sur le texte créé via des processus contrôlés et fiables. Un système de filtrage multi-étapes a été mis en œuvre pour identifier et supprimer le contenu de faible qualité, signalant les valeurs aberrantes avec une luminosité, une saturation ou un flou extrêmes pour un examen supplémentaire. Pour diversifier davantage l’ensemble d’entraînement, trois stratégies de rendu distinctes ont été employées : le rendu pur pour le texte simple sur des arrière-plans, le rendu compositionnel pour l’intégration de texte dans des scènes réalistes, et le rendu complexe pour des mises en page structurées complexes comme les diapositives de présentation.

Lors des évaluations compétitives, Qwen-Image a démontré ses prouesses face aux modèles commerciaux établis. Une “plateforme d’arène” a facilité plus de 10 000 comparaisons anonymes d’utilisateurs, où Qwen-Image a notablement obtenu la troisième position globale, surpassant des concurrents tels que GPT-Image-1 et Flux.1 Context. Les résultats des benchmarks corroborent ces découvertes ; dans le test GenEval pour la génération d’objets, Qwen-Image a atteint un score de 0,91 après un entraînement supplémentaire, surpassant tous les autres modèles. Le modèle présente un net avantage dans le rendu des caractères chinois et égale les performances de ses concurrents dans la génération de texte anglais.

Les chercheurs envisagent Qwen-Image comme une étape pivot vers le développement d’“interfaces utilisateur vision-langage”, où les fonctionnalités de texte et d’image sont intégrées de manière transparente. L’engagement continu d’Alibaba dans ce domaine est évident dans sa poursuite de plateformes unifiées pour la compréhension et la génération d’images, s’appuyant sur des succès récents comme le modèle Qwen VLo, également reconnu pour ses solides capacités textuelles. Qwen-Image est actuellement disponible en accès libre sur GitHub et Hugging Face, avec une démo en direct proposée pour les tests publics.