Het chipbedrijf Tenstorrent, onder leiding van Jim Keller, heeft zijn volgende generatie Wormhole-processor voor AI-toepassingen uitgebracht. Het bedrijf verwacht dat deze processor goede prestaties zal leveren tegen een betaalbare prijs.Het bedrijf biedt momenteel twee extra PCIe-kaarten aan die plaats bieden aan één of twee Wormhole-processors, evenals TT-LoudBox- en TT-QuietBox-werkstations voor softwareontwikkelaars. Alle aankondigingen van vandaag zijn gericht op ontwikkelaars, niet op degenen die Wormhole-kaarten gebruiken voor commerciële toepassingen.
"Het is altijd fijn om meer van onze producten in handen van ontwikkelaars te krijgen. Release-ontwikkelingssystemen die gebruikmaken van onze Wormhole™-kaarten kunnen ontwikkelaars helpen bij het schalen en ontwikkelen van AI-software voor meerdere chips", aldus Jim Keller, CEO van Tenstorrent.Naast deze lancering zijn we ook erg enthousiast over de voortgang die we boeken met de tape-out en de opstart van ons product van de tweede generatie, Blackhole.”
Elke Wormhole-processor bevat 72 Tensix-cores (waarvan vijf RISC-V-cores in verschillende dataformaten ondersteunen) en 108 MB SRAM, goed voor 262 FP8 TFLOPS bij 1 GHz met een thermisch vermogen van 160 W. De Wormhole n150-kaart op één chip is uitgerust met 12 GB GDDR6-videogeheugen en heeft een bandbreedte van 288 GB/s.
Wormhole-processors bieden flexibele schaalbaarheid om te voldoen aan de uiteenlopende behoeften van workloads. In een standaard workstationconfiguratie met vier Wormhole n300-kaarten kunnen de processors worden gecombineerd tot één enkele eenheid die in de software verschijnt als een uniform, breed Tensix-corenetwerk. Deze configuratie stelt de accelerator in staat om dezelfde workload te verwerken, verdeeld over vier ontwikkelaars, of om tot acht verschillende AI-modellen gelijktijdig uit te voeren. Een belangrijk kenmerk van deze schaalbaarheid is dat deze lokaal kan worden uitgevoerd zonder virtualisatie. In een datacenteromgeving gebruiken Wormhole-processors PCIe voor interne uitbreiding of Ethernet voor externe uitbreiding.
Qua prestaties behaalde de Wormhole n150-kaart van Tenstorrent met één chip (72 Tensix-cores, 1 GHz-frequentie, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandbreedte) 262 FP8 TFLOPS bij 160 W, terwijl de Wormhole n300-kaart met twee chips (128 Tensix-cores, 1 GHz-frequentie, 192 MB SRAM, gecombineerd 24 GB GDDR6, 576 GB/s bandbreedte) tot 466 FP8 TFLOPS levert bij 300 W.
Om 300W met 466 FP8 TFLOPS in perspectief te plaatsen, vergelijken we het met wat AI-marktleider Nvidia biedt met dit thermische vermogen. Nvidia's A100 ondersteunt geen FP8, maar wel INT8, met een piekprestatie van 624 TOPS (1.248 TOPS bij sparse). Ter vergelijking: Nvidia's H100 ondersteunt FP8 en bereikt een piekprestatie van 1.670 TFLOPS bij 300W (3.341 TFLOPS bij sparse), wat aanzienlijk verschilt van Tenstorrent's Wormhole n300.
Er is echter één groot probleem. De Wormhole n150 van Tenstorrent kost $999, terwijl de n300 voor $1.399 wordt verkocht. Ter vergelijking: een enkele Nvidia H100 grafische kaart kost $30.000, afhankelijk van het aantal. Natuurlijk weten we niet of vier of acht Wormhole-processors daadwerkelijk de prestaties van een enkele H300 kunnen leveren, maar hun TDP's zijn respectievelijk 600W en 1200W.
Naast de kaarten biedt Tenstorrent ook kant-en-klare werkstations voor ontwikkelaars, waaronder de betaalbare TT-LoudBox met actieve koeling (op basis van Xeon) met 4 n300-kaarten en de geavanceerde TT-QuietBox met vloeistofkoeling (op basis van een EPYC-chip).
Geplaatst op: 29 juli 2024