Google Dévoile Gemma 3 270M : L'IA Miniature pour Performances Embarquées

Pendant des années, les plus grands acteurs de l’industrie technologique se sont livrés une course à l’armement, développant des modèles d’intelligence artificielle toujours plus grands qui exigent de vastes ressources informatiques et sont généralement fournis sous forme de services cloud. Pourtant, une nouvelle tendance émerge : la recherche d’une IA compacte et efficace. Google a récemment dévoilé une version minuscule de son modèle ouvert Gemma, conçue spécifiquement pour l’exécution sur des appareils locaux. Cette nouvelle itération, baptisée Gemma 3 270M, promet des performances remarquables et une facilité de réglage malgré son empreinte exceptionnellement petite.

Plus tôt cette année, Google a introduit ses premiers modèles ouverts Gemma 3, dont le nombre de paramètres variait de 1 milliard à 27 milliards. Dans le domaine de l’IA générative, les paramètres représentent les variables apprises qui dictent comment un modèle traite une entrée pour générer une sortie. Généralement, un nombre de paramètres plus élevé est corrélé à des performances améliorées. Cependant, Gemma 3 270M brise ce moule avec seulement 270 millions de paramètres, ce qui lui permet de fonctionner de manière transparente sur des appareils quotidiens comme les smartphones ou même directement dans un navigateur web.

L’exécution d’un modèle d’IA localement offre des avantages significatifs, notamment une confidentialité améliorée et une latence réduite. Le Gemma 3 270M a été conçu en tenant compte de ces cas d’utilisation spécifiques. Lors de tests sur un Pixel 9 Pro, ce nouveau modèle Gemma a démontré une capacité impressionnante à gérer 25 conversations simultanées sur la puce Tensor G4 de l’appareil tout en ne consommant que 0,75 % de la batterie. Cela en fait, de loin, le modèle Gemma le plus efficace sorti à ce jour.

Bien que les développeurs doivent modérer leurs attentes concernant ses performances par rapport aux modèles dotés de milliards de paramètres, Gemma 3 270M conserve néanmoins une utilité considérable. Google a utilisé le benchmark IFEval, un test standard pour évaluer les capacités d’un modèle à suivre les instructions, pour illustrer ses surprenantes prouesses. Gemma 3 270M a obtenu un score de 51,2 % à ce test, surpassant plusieurs autres modèles légers qui possèdent un plus grand nombre de paramètres. Prévisiblement, il est en deçà des modèles plus grands comme Llama 3.2, qui affichent plus d’un milliard de paramètres, mais son écart de performance est remarquablement plus petit que ce que son nombre fractionnaire de paramètres pourrait suggérer.

Google affirme que Gemma 3 270M excelle à suivre les instructions dès la sortie de la boîte, mais s’attend à ce que les développeurs affinent le modèle pour leurs applications uniques. Son nombre modeste de paramètres facilite un processus d’affinage rapide et rentable. Google envisage que le nouveau Gemma soit employé pour des tâches telles que la classification de texte et l’analyse de données, qu’il peut accomplir rapidement sans exiger de lourdes ressources computationnelles.

Google qualifie ses modèles Gemma d’“ouverts”, un terme qui, bien que non synonyme de “code source ouvert”, partage de nombreuses similitudes pratiques. Les développeurs peuvent télécharger le nouveau Gemma gratuitement, et ses poids de modèle sont facilement disponibles. Crucialement, il n’y a pas d’accord de licence commerciale séparé, permettant aux développeurs de modifier, publier et déployer des dérivés de Gemma 3 270M au sein de leurs propres outils. Cependant, tous les utilisateurs des modèles Gemma sont liés par des conditions d’utilisation spécifiques, qui interdisent d’entraîner les modèles pour générer des sorties nuisibles ou de violer intentionnellement les réglementations en matière de confidentialité. Les développeurs sont également obligés de détailler toute modification apportée et de fournir une copie des conditions d’utilisation pour toutes les versions dérivées, qui héritent de la licence personnalisée de Google.

Gemma 3 270M est désormais accessible sur des plateformes telles que Hugging Face et Kaggle, disponible en versions pré-entraînées et ajustées par instruction. Il peut également être testé au sein de Google Vertex AI. Pour démontrer davantage les capacités du modèle, Google a mis en avant un générateur d’histoires entièrement basé sur un navigateur, construit sur Transformer.js, offrant une démonstration tangible même pour ceux qui ne sont pas directement impliqués dans le développement de modèles légers.