Article réservé aux abonnésL'IA évolue-t-elle vers des modèles plus petits ?
Libre Eco week-end | Comment expliquer le succès des modèles simplifiés ? Une chronique de Roald Sieberath, entrepreneur, investisseur pour Noshaq, professeur invité à l'UCLouvain et l'UNamur et président de l'Agence du Numérique (Digital Wallonia).
- Publié le 18-01-2024 à 14h28
- Mis à jour le 18-01-2024 à 14h27
En 2023, le monde a été pris par la vague de ChatGPT : pour le grand public, c'était "enfin une intelligence artificielle qui me parle", assez littéralement. Pour la première fois, voilà un type d'outil qui semble comprendre nos demandes, qui y formule des réponses, qui se souvient de l'historique de la conversation, qui peut rephraser en cas de besoin, etc. Des capacités bien au-delà de ce qui était attendu même par les experts ne serait-ce qu'un an ou deux plus tôt.
Ces capacités étaient rendues possibles par les avancées considérables dans ce que l'on a appelé les LLM, Large Language Models, de gigantesques constructions informatique à plus de cent milliards de paramètres (GPT 3.5 a été annoncé à 175 B - pour "Billion" - milliards de paramètres).
Il y avait là quelque chose de quasi magique : des propriétés dites "émergentes" apparaissaient avec l'augmentation des paramètres et, soudain, l'IA devenait capable de résoudre correctement certains types de problèmes dont GPT 2 avec ses 1.5 B était bien incapable…
Course à la puissance pure
Ceci a lancé les grands acteurs (OpenAI, Google, Microsoft, Meta mais aussi des start-up largement financées comme Anthropic, Mistral…) dans la course à la puissance pure : on estimait en dizaines de millions le coût des infrastructures nécessaires pour développer de tels giga modèles.
D'un autre côté, depuis quelque mois, on trouve beaucoup de vertus à des modèles simplifiés, "élagués" en quelque sorte.
On voit ainsi qu'il est possible de faire des versions de bons modèles généralistes à 70 B et, même, de descendre à 7 B en préservant en grande partie les performances des modèles.
On estime en dizaines de millions le coût des infrastructures nécessaires pour développer ds giga modèles d'IA
Il devient à présent possible (et intéressant) de concevoir des SLM (Small Language Models), surtout s'ils sont dédiés à un domaine ou une classe d'applications spécifiques.
On en arrive ainsi à des modèles qui peuvent tourner sur des ordinateurs de bureau, voire sur des smartphones, sans avoir besoin de se connecter au réseau, pour des réponses plus rapides, plus spécifiques, ou plus confidentielles…