Les technologies d'IA ont un impact majeur sur une variété de secteurs
Quelle que soit la taille ou l'échelle de vos déploiements d'IA, les CPU pour serveur AMD EPYC vous offrent une base haute performance et économe en énergie pour les applications d'IA d'entreprise et les charges de travail générales.
Pourquoi les CPU constituent le cœur de l'IA d'entreprise
Bien que les GPU soient souvent mis en avant, les CPU sont les moteurs de l'inférence d'IA depuis des années. Les CPU pour serveur AMD EPYC offrent efficacité énergétique, prix abordable et compatibilité pour la plupart des déploiements d'IA d'entreprise réels.
Dell et AMD propulsent l'intelligence artificielle de nouvelle génération
Dell Technologies et AMD apportent une puissante assistance à l'IA pour les entreprises avec de nouveaux serveurs et des PC grand public dotés de l'IA. Grâce à ces solutions, les entreprises peuvent évoluer plus rapidement et tirer davantage parti de l'IA générative.
Découvrez pourquoi les CPU pour serveur AMD EPYC sont les meilleurs pour l'IA d'entreprise9
Les CPU pour serveur AMD EPYC de 5e génération répondent aux exigences de l'IA avec des options qui incluent un nombre de cœurs ou une fréquence élevés, une grande quantité de mémoire et de bande passante d'E/S, et la prise en charge des instructions AVX-512. Les technologies de sécurité intégrées d'AMD Infinity Guard vous aident à protéger vos données jusqu'au niveau même du silicium.7
Comment créer des centres de données pour l'IA
Pour construire un centre de données prêt pour l'IA, vous aurez besoin d'une base de calcul polyvalente conçue pour la sécurité, complétée par des GPU, selon les besoins, pour répondre à vos exigences en matière de performances et de charge de travail. Voici comment optimiser votre prochain centre de données pour qu'il devienne un véritable moteur multitâche capable d'utiliser l'IA.
Consolidez les serveurs existants
L'espace et la puissance de votre centre de données sont limités. En remplaçant les serveurs anciens par de nouveaux CPU à haute densité, vous pouvez consolider vos serveurs, réduire la consommation d'énergie associée et libérer de l'espace pour l'IA.
Consolidation de 8 à 1
Passez des serveurs « Cascade Lake » Intel® de 2020 aux serveurs propulsés par des CPU AMD EPYC de 5e génération.
Quatorze serveurs propulsés par des CPU AMD EPYC 9965 peuvent offrir les mêmes performances de calcul d'entiers que 100 anciens serveurs équipés de CPU Intel Xeon Platinum 8280.
Obtenez des performances supérieures à celles des derniers CPU Intel® Xeon® 6
Les CPU AMD EPYC 9965 de 5e génération surpassent les nouveaux CPU Intel Xeon 6 6980P avec des « cœurs de performances ».
Utilisez des CPU pour prendre en charge de nouvelles charges de travail d'IA
De nombreuses charges de travail d'inférence s'exécutent sur les CPU et n'ont pas besoin de hardware d'accélération spécifique. Si vous prévoyez d'exécuter des modèles de petite ou moyenne taille ou d'effectuer occasionnellement des tâches d'IA, les CPU pour serveur EPYC de 5e génération avec un grand nombre de cœurs peuvent répondre à vos besoins en matière de performance.
Les CPU AMD EPYC 9965 surpassent les CPU Intel Xeon 6 6980P en termes de performances sur TPCxAI.
Complétez avec des GPU au besoin
Vous aurez peut-être besoin d'une accélération d'IA dédiée pour l'entraînement, l'inférence sur des modèles volumineux, des déploiements à grande échelle ou des cas d'utilisation à faible latence. Commencez par des CPU pour serveur AMD EPYC 9005 à haute fréquence en tant que CPU hôte pour profiter de la fréquence de cœur élevée et de la grande capacité de mémoire. Ajoutez des GPU tels que les accélérateurs AMD Instinct™, disponibles dans un format PCIe.
Tirez parti des fonctions de sécurité intégrées
La protection des données doit être prise en compte dans chaque déploiement d'IA. Les CPU pour serveur AMD EPYC sont conçus dans un souci de sécurité, pour résister à de nombreuses attaques sophistiquées. Intégrée au niveau du silicium, AMD Infinity Guard7 vous permet de vous défendre contre les menaces internes et externes pour conserver vos données en toute sécurité.
Créez la combinaison adéquate de solutions sur site et cloud
Assurez-vous de pouvoir évoluer rapidement avec une infrastructure d'IA flexible qui dispose de la bonne combinaison de ressources, sur site et dans le cloud. Vous pouvez trouver des CPU pour serveur AMD EPYC sur des centaines d'options de hardware et plus d'un millier d'instances de cloud public.
Commencez à vous préparer à l'IA grâce aux CPU pour serveur AMD EPYC
Foire aux questions
Avant d'investir dans du hardware d'IA, les architectes de centres de données doivent évaluer leurs charges de travail d'IA et leurs exigences en matière de performances. Dans certains cas, lesCPU pour serveur AMD EPYC universels peuvent fournir des performances suffisantes pour l'inférence, évitant ainsi d'avoir à acheter des GPU.
En général,les CPU pour serveur AMD EPYC offrent des performances suffisantes pour les modèles jusqu'à 20 milliards de paramètres. Cela inclut de nombreux grands modèles de langage (LLM) à succès et d'autres applications d'IA générative.
Les CPU pour serveur AMD EPYC conviennent parfaitement à de nombreux cas d'utilisation d'inférence : machine learning classique, vision par ordinateur, analyses graphiques gourmandes en mémoire, systèmes de recommandation, traitement du langage naturel et modèles d'IA génératifs petits à moyens, notamment les LLM, etc. Ils sont également parfaits pour les agents d'IA réglés par des experts et le prétraitement collaboratif basé sur des invites, qui sont très prisés pour la génération augmentée de récupération (RAG).
Les CPU pour serveur AMD EPYC de 5e génération offrent des performances d'IA de bout en bout 70 % supérieure à celle des Intel Xeon 6.4 Ils offrent également des performances de chatbot jusqu'à 89 % supérieures sur DeepSeek avec AMD EPYC 9965 par rapport à Intel Xeon 6980P8, ainsi que performances impressionnantes pour les LLM.
Si vous devez respecter les exigences de localisation des données ou de confidentialité, ou si vous avez des exigences strictes en matière de faible latence, envisagez d'exécuter l'IA sur site. Vous avez besoin de flexibilité pour évoluer rapidement ? Le cloud est un excellent choix pour les ressources à la demande.
Choisir le bon CPU pour l'IA
Avec les CPU pour serveur AMD EPYC, vous pouvez choisir parmi toute une gamme d'options de cœur, de fréquence, de mémoire et d'alimentation. Vous obtiendrez les meilleurs résultats en associant le CPU aux charges de travail d'IA que vous prévoyez d'exécuter le plus fréquemment.
CPU à nombre de cœurs élevé
En plus de l'informatique généraliste, ces outils polyvalents peuvent facilement gérer l'inférence LLM sur les modèles de petite et moyenne taille. Ils excellent dans d'autres tâches de données qui composent le flux de travail IA de bout en bout, y compris la transformation des données, le prétraitement et le post-traitement, et le machine learning classique.
CPU haute fréquence
Les CPU pour serveur haute fréquence AMD EPYC de 5e génération sont le cerveau qui optimise les performances de vos plateformes GPU. En tant que CPU hôtes, ils assurent une gestion exceptionnelle du stockage et de la mémoire, le prétraitement et le déplacement des données, la gestion de la planification des ressources et du GPU, des résultats et du post-traitement, ainsi que la gestion des erreurs. Ils prennent également en charge la communication nœud à nœud rapide. Vous obtiendrez ainsi un excellent rendement et une efficacité optimale du système.
Obtenez des performances supérieures pour les workflows d'IA de bout en bout
Pour les applications d'IA et de machine learning dans le monde réel, AMD EPYC 9965 surpasse le processeur Intel Xeon 6980P.
Performances de CPU impressionnantes pour les grands modèles de langage (LLM)
Déployez en toute confiance des chatbots, des agents de recherche intelligents et d'autres applications d'IA générative avec des performances pouvant atteindre plusieurs milliards de paramètres pour les LLM. L'AMD EPYC 9965 surpasse le processeur Intel Xeon 6980P.
AMD alimente l'ensemble du spectre de l'intelligence artificielle
Adaptez vos besoins en infrastructure à vos ambitions en matière d'IA. AMD offre le portefeuille d'IA le plus vaste, des plateformes basées sur des normes ouvertes et un écosystème puissant, le tout soutenu par un leadership en matière de performances.
SoC adaptatifs AMD Versal™
Cette plateforme de calcul hautement intégrée pour applications embarquées combine des cœurs CPU temps réel, une logique programmable et un Network on Chip (NoC), ainsi que des moteurs d'IA dédiés au machine learning, offrant des performances système exceptionnelles pour les cas d'usage nécessitant du hardware personnalisé.
Options de déploiement AMD EPYC
Vaste écosystème pour l'IA sur site
Trouvez du hardware d'IA d'entreprise auprès de nos partenaires OEM, y compris des serveurs avec un nombre de cœurs élevé et des CPU haute fréquence, une gamme de GPU haut de gamme et des solutions de mise en réseau interopérables.
Faites évoluer l'IA sur le cloud
Tirez le meilleur parti de votre cloud en choisissant des machines virtuelles (VM) basées sur la technologie AMD pour les charges de travail d'IA.
Ressources
S'abonner aux informations sur les centres de données d'AMD
Demandez à être contacté par un expert commercial AMD EPYC
Notes de bas de page- 9xxTCO-019[DM1] [MK2] : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.53 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 391 000 unités de performances SPECrate2017_int_base en date du 30 septembre 2025. Cette analyse compare un serveur équipé d'un CPU 2P AMD 192 cœurs EPYC_9965 avec un score SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf ; à un serveur 2P Intel Xeon 128 cœurs Xeon_6980P avec un score SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf ; par rapport à un serveur traditionnel 2P Intel Xeon 28 cœurs Platinum_8280 avec un score SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf Les estimations de l'impact environnemental ont été réalisées à partir du rapport 2025 International Country Specific Electricity Factors et sont disponibles à l'adresse suivante : https://www.carbondi.com/# electricity-factors/ et l'outil de calcul des équivalences de gaz à effet de serre de l'Agence de protection de l'environnement des États-Unis utilisé dans cette analyse a été obtenu le 04/09/2024 et est consultable à l'adresse suivante : https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Pour obtenir plus de détails, consultezhttps://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A : comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 09/05/2025 :www.spec.org. 2P AMD EPYC 9965 (3230 SPECrate®2017_int_base, 384 cœurs au total Cores, 500 W de TDP, prix de CPU de 14 813 $), 6,460 SPECrate®2017_int_base/W de CPU, 0,218 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html ) 2P AMD EPYC 9755 (2840 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 984 $), 5,680 SPECrate®2017_int_base/W de CPU, 0,219 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html ) 2P Intel Xeon 6980P (2510 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 460 $) 5,020 SPECrate®2017_int_base/W de CPU, 0,201 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous surwww.spec.org pour plus d'informations. Vous trouverez le TDP et les prix des CPU Intel sur le sitehttps://ark.intel.com/ en date du 17/04/2025.
- 9xx5-134 : Comparaison SPECpower_ssj® 2008 basée sur les scores publiés à l'adresse suivante le 30/04/2025 :www.spec.org. 2P AMD EPYC 9965 (35 920 ssj_ops/watt, 384 cœurs au total,https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) 2P AMD EPYC 9755 (29 950 ssj_ops/watt, 256 cœurs au total,https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) 2P Intel Xeon 6980P (21 679 ssj_ops/watt, 256 cœurs au total,https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® et SPECpower® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous surwww.spec.org pour plus d'informations.
- 9xx5-151 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 01/04/2025 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI. 2P AMD EPYC 9965 (6 067,53 AIUCpm au total, 384 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P AMD EPYC 9755 (4 073,42 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P Intel Xeon 6980P (3 550,50 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de production, DDR5-6400 1,5 To 24x64 Go, Broadcom NetXtreme BCM5719 4 x 1 GbE, Gigabit Ethernet PCIe, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu 24.04 LTS 6.13, SMT activé, biais de performances, atténuations activées) Les résultats peuvent varier en fonction de facteurs tels que, sans s'y limiter, les configurations système, les versions software et les paramètres du BIOS. TPC, TPC Benchmark et TPC-H sont des marques commerciales du Transaction Processing Performance Council.
- 9xx5-169 : résultats du débit sous contrainte de latence (goodput) de Llama‑3.3‑70B, basés sur les tests internes d'AMD en date du 14/05/2025. Configurations : Llama-3.3-70B, serveur API vLLM v1.0, jeu de données : Sonnet3,5-SlimOrcaDedupCleaned, TP8, 512 demandes max. (création de lot dynamique), temps de latence limité jusqu'au premier jeton (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, résultats en jetons/s. 2P AMD EPYC 9575F (128 cœurs au total, TDP 400 W, système de production, 1,5 To de DDR5‑6400 — 24×64 Go — fonctionnant à 6000 MT/s, 2 x 25 GbE ConnectX‑6 Lx MT2894, 4 x SSD Samsung MZWLO3T8HCLS‑00A07 de 3,84 To ; NVMe Micron 7450 MTFDKCC800TFS de 800 Go pour l’OS, Ubuntu 22.04.3 LTS, kernel 5.15.0-117-generic, BIOS 3.2, SMT désactivé, déterminisme = alimentation, atténuations désactivées) associé à 8 x NVIDIA H100. 2P Intel Xeon 8592+ (128 cœurs au total, TDP de 350 W, système de production, 1 To 16 x 64 Go de DDR5-5600, 2 x 25 GbE ConnectX-6 Lx (MT2894), 4 x 3,84 To Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT désactivé, biais de performances, atténuations désactivées) avec 8 x NVIDIA H100. Résultats : CPU 300 400 500 600 ; 8592+ 0 126,43 1565,65 1987,19 ; 9575F 346,11 2326,21 ; 2531,38 2572,42 ; NA relatif 18,40 1,62 1,29. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS. Informations TDP de ark.intel.com
- 9xx5-013 : score d'inférence MLPerf™ officiel v4.1 Llama2-70B-99.9 jetons de serveur/s et résultats de jetons hors ligne/s récupérés à partir de https://mlcommons.org/benchmarks/inference-datacenter/ le 01/09/2024, à partir des entrées suivantes : 4.1-0070 (aperçu) et 4.1.0022. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Toute utilisation non autorisée est strictement interdite. Rendez-vous sur www.mlcommons.org pour plus d'informations.
- GD-183A : les fonctionnalités d'AMD Infinity Guard varient selon les générations et/ou les séries de processeurs EPYC™. Pour être exécutées, les fonctionnalités de sécurité d'Infinity Guard doivent être activées par les OEM des serveurs, et/ou par les fournisseurs de services cloud. Demandez à votre OEM ou à votre fournisseur si ces fonctionnalités sont prises en charge. Pour en savoir plus sur Infinity Guard, rendez-vous surhttps://www.amd.com/fr/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A : résultats du débit Deepseek-R1-671B basés sur les tests internes d'AMD en date du 28/01/2025. Configurations : framework llama.cpp, quantification 1,58 bits (UD_IQ1_S, MoE à 1,56 bits), tailles de lot 1 et 4, instances 16 cœurs, configurations des jetons d'entrée/sortie du cas d'utilisation : [Chatbot = 128/128, Essai = 128/1024, Résumé = 1024/128, Réécriture = 1024/1024]. 2P AMD EPYC 9965 (384 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT activé, déterminisme = puissance, atténuations activées 2P AMD EPYC 9755 (256 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=activé, déterminisme=puissance, atténuations=activées) 2P Intel Xeon 6980P (256 cœurs au total, TDP de 500 W, système de production, 3 To 24 x 64 Go DDR5-6400, Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 4 x 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT activé, biais de performances, atténuations activées) Résultats : BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Essai 42,97 56,04 61,608 1,304 1,434 Résumé 44,99 59,39 62,304 1,32 1,385 Réécriture 41,8 68,44 55,08 1,637 1,318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Essai 67,89 93,68 116,064 1,38 1,71 Résumé 70,88 103,39 99,96 1,459 1,41 Réécriture 65 87,9 78,12 1,352 1,202 Les résultats peuvent varier en fonction des configurations du système, des versions software et des paramètres du BIOS.
- comparaison basée sur la densité des threads, les performances, les fonctionnalités, la technologie de processus et les fonctionnalités de sécurité intégrées au 10/10/2024. Les CPU de la série EPYC 9005 offrent la plus forte densité de threads [EPYC-025B], sont à la pointe du secteur avec plus de 500 records mondiaux de performance [EPYC-023F], atteignent des records mondiaux de performance en termes d'opérations Java®/s en entreprise [EPYCWR-20241010-260], dominent le secteur HPC en termes de performances de calcul de débit en virgule flottante [EPYCWR-2024-1010-381], offrent des performances TPCx-AI d'IA de bout en bout [EPYCWR-2024-1010-525] et obtiennent les scores d'efficacité énergétique les plus élevés [EPYCWR-20241010-326]. La série EPYC de 5e génération offre également 50 % de canaux de mémoire DDR5 en plus [EPYC-033C] avec 70 % de bande passante mémoire supplémentaire [EPYC-032C], prend en charge 70 % de voies PCIe® Gen5 en plus pour le débit d'E/S [EPYC-035C], offre jusqu'à 5 fois plus de cache L3 par cœur [EPYC-043C] pour un accès plus rapide aux données, utilise une technologie avancée 3-4 nm, et comporte les fonctionnalités de sécurité Secure Memory Encryption + Secure Encrypted Virtualization (SEV) + SEV Encrypted State + SEV-Secure Nested Paging. Consultez le livre blanc sur l'architecture AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) pour plus d'informations.
- 9xx5-164 : résultats de débit FAISS (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations FAISS : v1.8.0, jeu de données sift1m, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, Biais de performances) Résultats : débit relatif 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-162 : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations XGBoost : v1.7.2, jeu de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances) Résultats : débit relatif du CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-156 : résultats du débit Llama3.1-8B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.1-8B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS 6.8, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=52, ZenDNN 5.0.1 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées Biais de performances), IPEX 2.6.0 Résultats : CPU 6980P 9755 9965 Résumé 1 n/a 1,093 Traduction 1 1,062 1,334 Essai 1 n/a 1,14 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-158 : résultats du débit GPT-J-6B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations GPT-J-6B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12 AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9755 9965 Résumé 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduction 1 1,021 0,93 Essai 1 0,978 1,108 Légende 1 0,913 1,12 Général 1 0,983 1,114 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-166 : résultats du débit Llama3.2-1B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.3-1B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12, Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9965 Résumé 1 1,213 Traduction 1 1,364 Essai 1 1,271 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.
- 9xxTCO-019[DM1] [MK2] : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.53 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 391 000 unités de performances SPECrate2017_int_base en date du 30 septembre 2025. Cette analyse compare un serveur équipé d'un CPU 2P AMD 192 cœurs EPYC_9965 avec un score SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf ; à un serveur 2P Intel Xeon 128 cœurs Xeon_6980P avec un score SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf ; par rapport à un serveur traditionnel 2P Intel Xeon 28 cœurs Platinum_8280 avec un score SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf Les estimations de l'impact environnemental ont été réalisées à partir du rapport 2025 International Country Specific Electricity Factors et sont disponibles à l'adresse suivante : https://www.carbondi.com/# electricity-factors/ et l'outil de calcul des équivalences de gaz à effet de serre de l'Agence de protection de l'environnement des États-Unis utilisé dans cette analyse a été obtenu le 04/09/2024 et est consultable à l'adresse suivante : https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Pour obtenir plus de détails, consultezhttps://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A : comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 09/05/2025 :www.spec.org. 2P AMD EPYC 9965 (3230 SPECrate®2017_int_base, 384 cœurs au total Cores, 500 W de TDP, prix de CPU de 14 813 $), 6,460 SPECrate®2017_int_base/W de CPU, 0,218 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html ) 2P AMD EPYC 9755 (2840 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 984 $), 5,680 SPECrate®2017_int_base/W de CPU, 0,219 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html ) 2P Intel Xeon 6980P (2510 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 460 $) 5,020 SPECrate®2017_int_base/W de CPU, 0,201 SPECrate®2017_int_base/prix de CPU,https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous surwww.spec.org pour plus d'informations. Vous trouverez le TDP et les prix des CPU Intel sur le sitehttps://ark.intel.com/ en date du 17/04/2025.
- 9xx5-134 : Comparaison SPECpower_ssj® 2008 basée sur les scores publiés à l'adresse suivante le 30/04/2025 :www.spec.org. 2P AMD EPYC 9965 (35 920 ssj_ops/watt, 384 cœurs au total,https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) 2P AMD EPYC 9755 (29 950 ssj_ops/watt, 256 cœurs au total,https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) 2P Intel Xeon 6980P (21 679 ssj_ops/watt, 256 cœurs au total,https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® et SPECpower® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous surwww.spec.org pour plus d'informations.
- 9xx5-151 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 01/04/2025 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI. 2P AMD EPYC 9965 (6 067,53 AIUCpm au total, 384 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P AMD EPYC 9755 (4 073,42 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de référence AMD, DDR5-6400 1,5 To 24x64 Go, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu® 24.04 LTS 6.13, SMT activé, déterminisme = alimentation, atténuations activées) 2P Intel Xeon 6980P (3 550,50 AIUCpm au total, 256 cœurs au total, TDP de 500 W, système de production, DDR5-6400 1,5 To 24x64 Go, Broadcom NetXtreme BCM5719 4 x 1 GbE, Gigabit Ethernet PCIe, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, noyau Ubuntu 24.04 LTS 6.13, SMT activé, biais de performances, atténuations activées) Les résultats peuvent varier en fonction de facteurs tels que, sans s'y limiter, les configurations système, les versions software et les paramètres du BIOS. TPC, TPC Benchmark et TPC-H sont des marques commerciales du Transaction Processing Performance Council.
- 9xx5-169 : résultats du débit sous contrainte de latence (goodput) de Llama‑3.3‑70B, basés sur les tests internes d'AMD en date du 14/05/2025. Configurations : Llama-3.3-70B, serveur API vLLM v1.0, jeu de données : Sonnet3,5-SlimOrcaDedupCleaned, TP8, 512 demandes max. (création de lot dynamique), temps de latence limité jusqu'au premier jeton (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, résultats en jetons/s. 2P AMD EPYC 9575F (128 cœurs au total, TDP 400 W, système de production, 1,5 To de DDR5‑6400 — 24×64 Go — fonctionnant à 6000 MT/s, 2 x 25 GbE ConnectX‑6 Lx MT2894, 4 x SSD Samsung MZWLO3T8HCLS‑00A07 de 3,84 To ; NVMe Micron 7450 MTFDKCC800TFS de 800 Go pour l’OS, Ubuntu 22.04.3 LTS, kernel 5.15.0-117-generic, BIOS 3.2, SMT désactivé, déterminisme = alimentation, atténuations désactivées) associé à 8 x NVIDIA H100. 2P Intel Xeon 8592+ (128 cœurs au total, TDP de 350 W, système de production, 1 To 16 x 64 Go de DDR5-5600, 2 x 25 GbE ConnectX-6 Lx (MT2894), 4 x 3,84 To Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT désactivé, biais de performances, atténuations désactivées) avec 8 x NVIDIA H100. Résultats : CPU 300 400 500 600 ; 8592+ 0 126,43 1565,65 1987,19 ; 9575F 346,11 2326,21 ; 2531,38 2572,42 ; NA relatif 18,40 1,62 1,29. Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS. Informations TDP de ark.intel.com
- 9xx5-013 : score d'inférence MLPerf™ officiel v4.1 Llama2-70B-99.9 jetons de serveur/s et résultats de jetons hors ligne/s récupérés à partir de https://mlcommons.org/benchmarks/inference-datacenter/ le 01/09/2024, à partir des entrées suivantes : 4.1-0070 (aperçu) et 4.1.0022. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Toute utilisation non autorisée est strictement interdite. Rendez-vous sur www.mlcommons.org pour plus d'informations.
- GD-183A : les fonctionnalités d'AMD Infinity Guard varient selon les générations et/ou les séries de processeurs EPYC™. Pour être exécutées, les fonctionnalités de sécurité d'Infinity Guard doivent être activées par les OEM des serveurs, et/ou par les fournisseurs de services cloud. Demandez à votre OEM ou à votre fournisseur si ces fonctionnalités sont prises en charge. Pour en savoir plus sur Infinity Guard, rendez-vous surhttps://www.amd.com/fr/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A : résultats du débit Deepseek-R1-671B basés sur les tests internes d'AMD en date du 28/01/2025. Configurations : framework llama.cpp, quantification 1,58 bits (UD_IQ1_S, MoE à 1,56 bits), tailles de lot 1 et 4, instances 16 cœurs, configurations des jetons d'entrée/sortie du cas d'utilisation : [Chatbot = 128/128, Essai = 128/1024, Résumé = 1024/128, Réécriture = 1024/1024]. 2P AMD EPYC 9965 (384 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT activé, déterminisme = puissance, atténuations activées 2P AMD EPYC 9755 (256 cœurs au total, TDP de 500 W, système de référence, 3 To 24x128 Go DDR5-6400, Mellanox CX-7 (MT2910) 2 x 40 GbE, NVMe Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=activé, déterminisme=puissance, atténuations=activées) 2P Intel Xeon 6980P (256 cœurs au total, TDP de 500 W, système de production, 3 To 24 x 64 Go DDR5-6400, Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe 4 x 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 3,84 To, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT activé, biais de performances, atténuations activées) Résultats : BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Essai 42,97 56,04 61,608 1,304 1,434 Résumé 44,99 59,39 62,304 1,32 1,385 Réécriture 41,8 68,44 55,08 1,637 1,318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Essai 67,89 93,68 116,064 1,38 1,71 Résumé 70,88 103,39 99,96 1,459 1,41 Réécriture 65 87,9 78,12 1,352 1,202 Les résultats peuvent varier en fonction des configurations du système, des versions software et des paramètres du BIOS.
- comparaison basée sur la densité des threads, les performances, les fonctionnalités, la technologie de processus et les fonctionnalités de sécurité intégrées au 10/10/2024. Les CPU de la série EPYC 9005 offrent la plus forte densité de threads [EPYC-025B], sont à la pointe du secteur avec plus de 500 records mondiaux de performance [EPYC-023F], atteignent des records mondiaux de performance en termes d'opérations Java®/s en entreprise [EPYCWR-20241010-260], dominent le secteur HPC en termes de performances de calcul de débit en virgule flottante [EPYCWR-2024-1010-381], offrent des performances TPCx-AI d'IA de bout en bout [EPYCWR-2024-1010-525] et obtiennent les scores d'efficacité énergétique les plus élevés [EPYCWR-20241010-326]. La série EPYC de 5e génération offre également 50 % de canaux de mémoire DDR5 en plus [EPYC-033C] avec 70 % de bande passante mémoire supplémentaire [EPYC-032C], prend en charge 70 % de voies PCIe® Gen5 en plus pour le débit d'E/S [EPYC-035C], offre jusqu'à 5 fois plus de cache L3 par cœur [EPYC-043C] pour un accès plus rapide aux données, utilise une technologie avancée 3-4 nm, et comporte les fonctionnalités de sécurité Secure Memory Encryption + Secure Encrypted Virtualization (SEV) + SEV Encrypted State + SEV-Secure Nested Paging. Consultez le livre blanc sur l'architecture AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) pour plus d'informations.
- 9xx5-164 : résultats de débit FAISS (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations FAISS : v1.8.0, jeu de données sift1m, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, Biais de performances) Résultats : débit relatif 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-162 : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 08/04/2025. Configurations XGBoost : v1.7.2, jeu de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation) NPS=1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go (à 6 000 MT/s), carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, noyau Linux 5.15, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1 2P Xeon 6980P (256 cœurs au total), DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances) Résultats : débit relatif du CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-156 : résultats du débit Llama3.1-8B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.1-8B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS 6.8, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=52, ZenDNN 5.0.1 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées Biais de performances), IPEX 2.6.0 Résultats : CPU 6980P 9755 9965 Résumé 1 n/a 1,093 Traduction 1 1,062 1,334 Essai 1 n/a 1,14 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-158 : résultats du débit GPT-J-6B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations GPT-J-6B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12 AMD EPYC 9755 (256 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.4 LTS, Linux RVOT1004A.0-52-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9755 9965 Résumé 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduction 1 1,021 0,93 Essai 1 0,978 1,108 Légende 1 0,913 1,12 Général 1 0,983 1,114 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-166 : résultats du débit Llama3.2-1B basés sur les tests internes d'AMD en date du 08/04/2025. Configurations Llama3.3-1B : BF16, taille de lot 32, instances 32C, cas d'utilisation configurations de jetons d'E/S : [Résumé = 1 024/128, Chatbot = 128/128, Traduction = 1 024/1 024, Essai = 128/1 024]. 2P AMD EPYC 9965 (384 cœurs au total), DDR5-6400 1,5 To 24x64 Go, carte réseau 1,0 Gbit/s, Samsung MZWLO3T8HCLS-00A07 3,84 To, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT désactivé, atténuations activées, déterminisme = alimentation), NPS=1, ZenDNN 5.0.1 2P, Python 3.10.12, Xeon 6980P (256 cœurs au total), AMX activé, DDR5-8800 MRDIMM 1,5 To 24x64 Go, contrôleur Ethernet X710 1,0 Gbit/s pour 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 To, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT désactivé, atténuations activées, biais de performances), IPEX 2.6.0, Python 3.12.3 Résultats : CPU 6980P 9965 Résumé 1 1,213 Traduction 1 1,364 Essai 1 1,271 Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.