英偉達Tesla A100 40G/80G訓練推理運算加速顯卡

Tesla A100計算卡采用了7nm工藝的GA100 GPU，這款GPU擁有6912 CUDA核心和432張量核心。GPU封裝尺寸為826mm2，集成了540億個晶體管。

該卡支持第三代NVLINK，與服務器的雙向帶寬為4.8 TB/s, GPU到GPU的互連帶寬為600 GB/s。Tesla A100擁有40GB的HBM2顯存，顯存位寬為5120-bit，TDP為400W。

A100 PCIe的TDP為250W，而之前發布的SXM版本TDP為400W。對此，NVIDIA表示，盡管PCIe型號的TDP較低，但兩種型號的峰值功率是相同的，只是在持續負載下，PCIe版的性能會比基于SXM的型號低10%到50%。

　

GPU加速計算

　　NVIDIA A100 Tensor Core GPU 可針對 AI、數據分析和高性能計算 (HPC)，在各種規模上實現出色的加速，應對極其嚴峻的計算挑戰。作為 NVIDIA 數據中心平臺的引擎，A100 可以高效擴展，系統中可以集成數千個 A100 GPU，也可以利用 NVIDIA 多實例 GPU (MIG) 技術將每個 A100 劃分割為七個獨立的 GPU 實例，以加速各種規模的工作負載。第三代 Tensor Core 技術為各種工作負載的更多精度水平提供加速支持，縮短獲取洞見以及產品上市時間。

功能強大的端到端 AI 和 HPC 數據中心平臺

　　A100 是完整的 NVIDIA 數據中心解決方案堆棧的一部分，該解決方案堆棧包括來自 NGC (NVIDIA GPU Cloud) 的硬件、網絡、軟件、庫以及優化的 AI 模型和應用程序構建模塊。它為數據中心提供了強大的端到端 AI 和 HPC 平臺，使研究人員能夠大規模地交付真實的結果，并將解決方案大規模部署到生產環境中。

AI 數據中心的基本組成部分

深度學習推理

　　A100 引入了突破性的新功能優化推理工作負載。它通過全系列精度(從 FP32、FP16、INT8 一直到 INT4)加速，實現了強大的多元化用途。MIG 技術支持多個網絡同時在單個 A100 GPU 運行，從而優化計算資源的利用率。在 A100 其他推理性能提升的基礎上，結構化稀疏支持將性能再提升兩倍。

　　NVIDIA 提供市場領先的推理性能，在第一項專門針對推理性能的行業級基準測試 MLPerf Inference 0.5中全面制勝的結果充分證明了這一點。A100 則再將性能提升 10 倍，在這樣的領先基礎上進一步取得了發展。

高性能計算

　　為了點燃下一代新發現的火花，科學家們希望通過模擬更好地理解復雜分子結構以支持藥物發現，通過模擬物理效果尋找潛在的新能源，通過模擬大氣數據更好地預測極端天氣狀況并為其做準備。

　　A100 引入了雙精度 Tensor Cores, 繼用于 HPC 的 GPU 雙精度計算技術推出至今，這是非常重要的里程碑。利用 A100，原本在 NVIDIA V100 Tensor Core GPU 上需要 10 小時的雙精度模擬作業如今只要 4 小時就能完成。HPC 應用還可以利用 A100 的 Tensor Core，將單精度矩陣乘法運算的吞吐量提高 10 倍之多。

數據分析

　　客戶需要能夠分析和可視化龐大的數據集，并將其轉化為寶貴洞見。但是，由于這些數據集分散在多臺服務器上，橫向擴展解決方案往往會陷入困境。

　　搭載 A100 的加速服務器可以提供必要的計算能力，并利用第三代 NVLink 和 NVSwitch 1.6TB/s 的顯存帶寬和可擴展性，妥善應對這些龐大的工作負載。結合 Mellanox InfiniBand、Magnum IO SDK、GPU 加速的 Spark 3.0 和 NVIDIA RAPIDS NVIDIA 數據中心平臺能夠以出色的性能和效率加速這些大規模工作負載。

企業級利用率

　　A100 的 多實例 GPU (MIG) 功能使 GPU 加速的基礎架構利用率大幅提升，達到前所未有的水平。MIG 支持將 A100 GPU 安全分割到多達七個獨立實例中，這些 A100 GPU 實例可供多名用戶使用，以加速應用和開發項目。此外，數據中心管理員可以利用基于虛擬化技術帶來的管理、監控和操作方面的優勢，發揮 NVIDIA 虛擬計算服務器 ( vComputeServer) 的動態遷移和多租戶功能。A100 的 MIG 功能可以使基礎架構管理員對其 GPU 加速的基礎架構作標準化處理，同時以更精確的粒度提供 GPU 資源，從而為開發者提供正確的加速計算量，并確保其所有 GPU 資源得到充分利用。

將深度學習的強大功能應用于數據

　　云計算通過實現數據中心的大眾化和徹底改變企業的運作方式，引發了行業變革。如今，您最重要的資產位于您的首選提供商提供的云服務中。然而，要從數據中充分獲取見解，您需要合適的高性能計算解決方案。

GPU 加速云容器

　　NVIDIA GPU 云 (NGC) 可以通過 GPU 加速的容器為人工智能科學家和研究人員賦予強大能力。NGC 提供 TensorFlow、PyTorch、MXNet 等容器化深度學習框架，它們都經過 NVIDIA 的調試、測試和驗證，可以在參與計劃的云服務提供商的最新 NVIDIA GPU 上運行。NGC 還包含用于 HPC 應用的第三方管理容器以及用于 HPC 可視化的 NVIDIA 容器。

適用于邊緣 AI 的解決方案

　　打造更高效、更智能的世界

　　AI 在邊緣蓬勃發展。AI 和云原生應用程序、物聯網及其數十億的傳感器以及 5G 網絡現已使得在邊緣大規模部署 AI 成為可能。但它需要一個可擴展的加速平臺，能夠實時推動決策，并讓各個行業都能為行動點(商店、制造工廠、醫院和智慧城市)提供自動化智能。這將人、企業和加速服務融合在一起，從而使世界變得“更小”、更緊密。

英偉達A100顯卡詳細規格參數