DeepSeek dévoile Ngram : une technique révolutionnaire de mémoire IA réduit drastiquement les coûts de formation

Auteur : clarus.news Source : clarus.news

Résumé exécutif

DeepSeek, une startup IA chinoise, a présenté cette semaine une technique révolutionnaire appelée Ngram, qui change fondamentalement la manière dont les grands modèles IA utilisent la mémoire informatique. L'innovation sépare la logique IA des bases de données de connaissances et permet un traitement plus efficace sur du matériel moins coûteux plutôt que sur des processeurs graphiques onéreux. Les tests ont montré des résultats impressionnants : dans les tests de contexte long, Ngram a atteint une précision de 97% par rapport à 84% pour les modèles traditionnels. Selon les analyses d'IBM, cette évolution pourrait réduire les coûts de pré-entraînement des modèles et rendre le développement IA accessible aux petites entreprises. DeepSeek prévoit de publier son modèle V4 à la mi-février avec une spécialisation dans les capacités de codage.

Personnes

• Lianwen Feng (Fondateur de DeepSeek)

Thèmes

• Technologie Ngram
• Optimisation de la mémoire IA
• Réduction des coûts de formation IA
• Annonce du modèle V4
• Concurrence entre la Chine et les États-Unis dans le développement de l'IA

Résumé détaillé

Mardi, DeepSeek a annoncé la technologie Ngram, une innovation fondamentale dans l'architecture mémoire des modèles IA. La technique crée un système de fichiers plus efficace qui traite les faits IA séparément des opérations numériques complexes, libérant ainsi la capacité de traitement de l'ordinateur pour des tâches plus difficiles.

L'innovation résout un goulot d'étranglement critique dans le développement IA : les modèles traditionnels nécessitent des quantités massives de données d'entraînement de haute qualité et une énorme puissance de calcul pour traiter des informations simples, gaspillant déjà une capacité de traitement considérable pour des opérations triviales. La solution de DeepSeek sépare la logique IA de son réservoir de connaissances et permet le traitement de données en masse sur du matériel standard moins coûteux plutôt que sur des processeurs spécialisés onéreux.

Les résultats des tests pratiques démontrent la supériorité de cette approche. Sur un modèle de 27 billions de paramètres, Ngram a montré une amélioration de trois à quatre points dans les activités à fort contenu scientifique et des augmentations encore plus fortes dans les benchmarks de calcul. Les résultats sont particulièrement impressionnants dans les tests de contexte long, qui mesurent la capacité des systèmes IA à mémoriser les informations au fil des longues conversations : Ngram a atteint une précision de 97% contre 84% pour les modèles traditionnels.

L'article technique a été dirigé personnellement par le fondateur de DeepSeek, Lianwen Feng, et co-écrit avec des chercheurs de l'Université de Pékin. L'annonce intervient dans un contexte d'attentes croissantes concernant le prochain grand lancement produit de DeepSeek : l'entreprise a annoncé qu'elle publierait son modèle V4 à la mi-février, spécialisé dans les capacités de codage.

OpenAI a reconnu l'importance de l'élan de DeepSeek. Selon le South China Morning Post, l'équipe d'intelligence d'OpenAI a déclaré qu'une autre grande percée technologique provenant de Chine pourrait être imminente. Il a été noté que tandis que les États-Unis continuent à offrir les meilleurs modèles de pointe, la Chine a maintenant construit un large portefeuille de modèles quasi-frontière qui sont agressivement peu coûteux et plus faciles à mettre en œuvre.

L'importance de Ngram dépasse les réalisations techniques. Selon l'analyse d'IBM, cette innovation pourrait réduire les coûts de pré-entraînement des modèles et rendrait le développement IA puissant accessible aux petites entreprises et aux développeurs individuels qui ne pouvaient auparavant se permettre ces capacités. La technique pourrait révolutionner la façon dont l'IA est mise à l'échelle dans l'ensemble de l'industrie – par une conception intelligente plutôt que par une puissance de calcul brute.

Points clés

• Ngram sépare la logique IA des bases de données de connaissances et permet un traitement plus efficace sur du matériel bon marché
• Dans les tests de contexte long, Ngram a atteint une précision de 97% par rapport à 84% pour les modèles traditionnels
• L'innovation pourrait réduire drastiquement les coûts de développement IA et donner accès aux petites entreprises à des capacités avancées
• DeepSeek prévoit de publier son modèle V4 à la mi-février avec une spécialisation en codage
• La Chine construit un large portefeuille de modèles quasi-frontière concurrentiels, moins coûteux et plus faciles à déployer que les solutions américaines

Métadonnées