Skip to main content

Embeddings multimodaux (Multimodal Embeddings / CLIP)

POUR AGENT IAChatGPTClaude

Technologie permettant de projeter différents types de médias (texte, images, audio) dans un espace vectoriel multidimensionnel commun à l'aide d'architectures telles que OpenAI CLIP ou Google SigLIP. Elle permet de rechercher des photographies par descriptions textuelles ou de trouver une musique similaire à partir d'une image.

1. Vue d'ensemble du concept et de sa finalité

Auparavant, pour retrouver une photo dans une base de données volumineuse (par exemple, sur un site e-commerce de vêtements), chaque image devait être annotée manuellement par un humain : ajout de tags comme « rouge », « été », « robe », « soie ». Si l'annotateur oubliait le tag « tenue de soirée », la photographie devenait invisible aux yeux des acheteurs.

En 2021, OpenAI a présenté l'architecture CLIP (Contrastive Language-Image Pre-training), qui a introduit le concept des Embeddings Multimodaux (Multimodal Embeddings) :

  • Le texte et les images ne vivent plus dans des univers séparés.
  • Ils sont projetés dans un espace sémantique commun.
  • Une photo d'une tasse de café et le mot écrit « americano » obtiennent des coordonnées numériques quasi identiques !

Modèle mental : un traducteur universel entre la vision et le langage : vous pouvez montrer une image à l'ordinateur et poser des questions en langage naturel, ou décrire une ambiance textuelle et trouver des centaines de photos correspondantes.

2. Comment texte et image convergent vers un même point

┌─────────────────────────────────────────────────────────────┐
│                 ESPACE COMMUN DES EMBEDDINGS (CLIP)         │
├─────────────────────────────────────────────────────────────┤
│   🖼️ [ PHOTO DU LEVER DE SOLEIL SUR LA MER ]               │
│          │                                                  │
│          ▼ (Encodeur visuel Vision Transformer)             │
│   Vecteur : [ 0.84, -0.12, 0.45, 0.91 ... ]                │
│          ▲                                                  │
│          │ (Similarité cosinus > 0.94 - Quasi-correspondance!)│
│          ▼                                                  │
│   Vecteur : [ 0.82, -0.11, 0.48, 0.89 ... ]                │
│          ▲ (Encodeur textuel)                               │
│          │                                                  │
│   ✍️ [ TEXTE : « Rayons matinaux sur l'eau » ]              │
└─────────────────────────────────────────────────────────────┘

3. Applications concrètes de la recherche multimodale

  1. E-commerce intelligent : un client télécharge une capture d'écran de baskets aperçues dans un film, et la boutique trouve instantanément des modèles similaires en stock, sans avoir besoin de connaître la marque.
  2. Recherche dans les archives vidéo : localiser un moment précis d'un film via la phrase « explosion d'une voiture sportive rouge sur un pont » en 1 seconde parmi 10 000 heures de contenu vidéo.
  3. Modération de contenu : blocage immédiat d'images interdites ou dangereuses grâce à des règles textuelles, éliminant la nécessité d'une revue manuelle de chaque visuel par un modérateur.

4. Conclusion pratique

Le RAG moderne n'est plus limité aux fichiers textuels. Grâce aux vecteurs multimodaux, vous pouvez construire une base de connaissances d'entreprise unifiée capable de rechercher avec la même aisance des informations dans des contrats PDF, des diapositives de présentation et des plans techniques.

/ Questions fréquentesSchema.org FAQPage

FAQ: Embeddings multimodaux (Multimodal Embeddings / CLIP)

Le modèle CLIP a été entraîné sur des centaines de millions de paires « image + légende ». Il a appris à générer le même vecteur de coordonnées pour la photo d'un chat blanc et duveteux et pour la chaîne de texte « cute white kitten sitting on carpet ».
/ Liens internes

Termes associés

Tous les termes
Prompts & RAG

Embeddings expliqués (Comment le texte devient des nombres)

Technologie fondamentale de transformation de mots, phrases ou images en listes multidimensionnelles de nombres (vecteurs). Permet à l'ordinateur de mesurer mathématiquement la proximité sémantique entre différentes idées et concepts.

Lire le terme
Modèles & Inférence

Modèles de langage visuel (Vision Language Models / VLM)

Des modèles multimodaux qui combinent la capacité à percevoir des images visuelles (via une segmentation en patches) avec l'intelligence textuelle des LLM. Ils permettent de reconnaître des objets sur les photos, d'analyser des graphiques complexes, de lire des reçus et de comprendre les interfaces.

Lire le terme
Prompts & RAG

Recherche sémantique (recherche par sens, et non par caractères)

Technologie de recherche d'information basée sur le contenu conceptuel de la requête, plutôt que sur une correspondance exacte des lettres ou des mots-clés. Elle comprend les synonymes, les reformulations, les fautes de frappe et les questions abstraites en langage naturel.

Lire le terme