Nvidia affirme que son nouveau SDK TensorRT 8 peut réduire de moitié le temps d’inférence de l’IA pour les requêtes linguistiques

TensorRT 8, AI, logiciel d'intelligence artificielle pour chatbot, recherche en Inde, fonctionnalités Nvidia TensorRT 8, TensorRT 8TensorRT permettra aux entreprises de doubler ou tripler la taille de leur modèle pour améliorer la précision. (Image .)

Nvidia, le géant de la technologie, propose un logiciel d’intelligence artificielle, TensorRT 8, qui serait deux fois plus puissant et précis que ses prédécesseurs et qui peut réduire de moitié le temps d’interférence pour les requêtes linguistiques. TensorRT 8 peut être utilisé pour les moteurs de recherche, les chatbots et les recommandations publicitaires.

Siddharth Sharma, chef de l’équipe de marketing produit pour le logiciel d’IA de Nvidia, a en outre informé que TensorRT est utilisé par des sociétés comme American Express, LG Ford, KLA, Verizon, USPS, GE Healthcare et a été téléchargé plus de 2,5 millions de fois. TensorRT 8 peut désormais déployer l’intégralité de Bert-Large, l’un des modèles à base de transformateur les plus utilisés au monde, en 1,2 milliseconde, a-t-il ajouté.

Détaillant ses fonctionnalités, Sharma a déclaré que TensorRT 8 peut réduire considérablement la quantité de calcul et de mémoire requise pour exécuter des applications. TensorRT 8 vise à diriger une nouvelle génération d’applications d’IA conversationnelles, a déclaré Sharma.

Parmi ses autres spécifications, Sharma a déclaré que TensorRT 8 permettra aux entreprises de doubler ou tripler la taille de leur modèle pour améliorer la précision. Il a en outre ajouté que l’interférence de l’IA de TensorRT 8 a été rendue possible grâce à la parcimonie et à la quantification.

Selon Greg Estates, vice-président des programmes de développement chez Nvidia, citant l’augmentation mondiale de la demande d’applications en temps réel utilisant l’IA, TensorRT 8 permettra aux entreprises de fournir des applications d’IA conversationnelles à leurs clients « avec un niveau de qualité et de réactivité qui était jamais possible auparavant. Il a en outre ajouté qu’il peut être déployé dans des plates-formes de produits embarqués ou automobiles et des centres de données à grande échelle.

Plus de 350 000 développeurs dans 27 500 entreprises ont utilisé TensorRT, a indiqué la société.

L’un des clients de TensorRT 8, GE Healthcare, a déclaré que le logiciel était utilisé dans les applications de vision par ordinateur pour les ultrasons et que l’outil était essentiel pour aider les médecins et le personnel clinique à aller plus vite.

Selon Erik Steen, ingénieur en chef de l’échographie cardiovasculaire chez GE Healthcare, l’algorithme de reconnaissance de la vue cardiaque de TensorRT 8 aide à sélectionner les images appropriées pour l’analyse du mouvement de la paroi cardiaque et, grâce à ses capacités d’inférence en temps réel, améliore les performances de l’algorithme de détection de vue, raccourcissant ainsi leur temps.

Obtenez les cours boursiers en direct de l’ESB, de la NSE, du marché américain et de la dernière valeur liquidative, du portefeuille de fonds communs de placement, consultez les dernières nouvelles sur les IPO, les meilleures introductions en bourse, calculez votre impôt à l’aide de la calculatrice de l’impôt sur le revenu, connaissez les meilleurs gagnants, les meilleurs perdants et les meilleurs fonds d’actions du marché. Aimez-nous sur Facebook et suivez-nous sur Twitter.

Financial Express est maintenant sur Telegram. Cliquez ici pour rejoindre notre chaîne et rester à jour avec les dernières nouvelles et mises à jour de Biz.

Share