Het door Jim Keller geleide chipbedrijf Tenstorrent heeft zijn nieuwe generatie Wormhole-processor voor AI-workloads uitgebracht, waarvan het verwacht dat deze goede prestaties zal bieden tegen een betaalbare prijs.Het bedrijf biedt momenteel twee extra PCIe-kaarten aan die plaats bieden aan één of twee Wormhole-processors, evenals TT-LoudBox- en TT-QuietBox-werkstations voor softwareontwikkelaars. Alle aankondigingen van vandaag zijn gericht op ontwikkelaars, niet op degenen die Wormhole-boards gebruiken voor commerciële werklasten.
“Het geeft altijd voldoening om meer van onze producten in handen van ontwikkelaars te krijgen. Release-ontwikkelsystemen die onze Wormhole™-kaarten gebruiken, kunnen ontwikkelaars helpen om AI-software met meerdere chips te schalen en te ontwikkelen”, aldus Jim Keller, CEO van Tenstorrent.Naast deze lancering zijn we verheugd om de vooruitgang te zien die we boeken met het uitbrengen en opstarten van ons tweede generatie product, Blackhole.”
Elke Wormhole-processor bevat 72 Tensix-cores (waarvan er vijf RISC-V-cores in verschillende dataformaten ondersteunen) en 108 MB SRAM, die 262 FP8 TFLOPS levert op 1 GHz met een thermisch ontwerpvermogen van 160 W. De Wormhole n150-kaart met één chip is uitgerust met 12 GB GDDR6-videogeheugen en heeft een bandbreedte van 288 GB/s.
Wormgatprocessors bieden flexibele schaalbaarheid om aan de uiteenlopende behoeften van workloads te voldoen. In een standaard werkstationopstelling met vier Wormhole n300-kaarten kunnen de processors worden gecombineerd tot één enkele eenheid die in de software verschijnt als een verenigd, breed Tensix-kernnetwerk. Met deze configuratie kan de accelerator dezelfde werklast aan, verdeeld over vier ontwikkelaars of tegelijkertijd tot acht verschillende AI-modellen uitvoeren. Een belangrijk kenmerk van deze schaalbaarheid is dat deze lokaal kan worden uitgevoerd zonder de noodzaak van virtualisatie. In een datacenteromgeving gebruiken Wormhole-processors PCIe voor uitbreiding binnen de machine, of Ethernet voor externe uitbreiding.
In termen van prestaties behaalde Tenstorrent's Wormhole n150-kaart met één chip (72 Tensix-cores, 1 GHz-frequentie, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandbreedte) 262 FP8 TFLOPS bij 160 W, terwijl het Dual-chip Wormhole n300-bord (128 Tensix-cores, 1 GHz-frequentie, 192 MB SRAM, geaggregeerd 24 GB GDDR6, 576 GB/s bandbreedte) levert tot 466 FP8 TFLOPS bij 300 W.
Om 300 W van 466 FP8 TFLOPS in context te plaatsen, vergelijken we het met wat AI-marktleider Nvidia te bieden heeft met dit thermische ontwerpvermogen. Nvidia's A100 ondersteunt geen FP8, maar wel INT8, met piekprestaties van 624 TOPS (1.248 TOPS wanneer schaars). Ter vergelijking: Nvidia's H100 ondersteunt FP8 en bereikt piekprestaties van 1.670 TFLOPS bij 300W (3.341 TFLOPS bij schaars), wat aanzienlijk verschilt van Tenstorrent's Wormhole n300.
Er is echter één groot probleem. Tenstorrent's Wormhole n150 is te koop voor $ 999, terwijl de n300 voor $ 1.399 wordt verkocht. Ter vergelijking: een enkele Nvidia H100 grafische kaart kost $30.000, afhankelijk van de hoeveelheid. We weten natuurlijk niet of vier of acht Wormhole-processors daadwerkelijk de prestaties van een enkele H300 kunnen leveren, maar hun TDP's zijn respectievelijk 600W en 1200W.
Naast de kaarten biedt Tenstorrent kant-en-klare werkstations voor ontwikkelaars, waaronder 4 n300-kaarten in de meer betaalbare Xeon-gebaseerde TT-LoudBox met actieve koeling, en de geavanceerde TT-QuietBox met EPYC-gebaseerde Xiaolong) vloeistofkoelingsfunctie).
Posttijd: 29 juli 2024