Jim Keller-geleide chipbedrijf Tenstorrent heeft zijn volgende generatie Wormhole-processor vrijgegeven voor AI-workloads, die verwacht goede prestaties te bieden tegen een betaalbare prijs.Het bedrijf biedt momenteel twee extra PCIe-kaarten die geschikt zijn voor een of twee wormgat-processors, evenals TT-Loudbox en TT-Quietbox-werkstations voor softwareontwikkelaars. Alle aankondigingen van vandaag zijn gericht op ontwikkelaars, niet die wormgatborden gebruiken voor commerciële werklast.
"Het is altijd verheugend om meer van onze producten in handen van ontwikkelaars te krijgen. Release-ontwikkelingssystemen met behulp van onze Wormhole ™ -kaarten kunnen ontwikkelaars helpen bij het schalen en ontwikkelen van Multi-Chip AI-software," zei Jim Keller, CEO van Tenstorrent.Naast deze lancering zijn we verheugd om de vooruitgang te zien die we maken met de tape uit en power-up van ons product van de tweede generatie, Blackhole. ”
Elke wormgatprocessor bevat 72 tensix-kernen (waarvan vijf RISC-V-kernen ondersteunen in verschillende gegevensformaten) en 108 MB SRAM, die 262 FP8 Tflops levert op 1 GHz met een thermisch ontwerpvermogen van 160 W. De single-chip wormgat N150-kaart is uitgerust met 12 GB GDDR6-video-geheugen en heeft een bandbreedte van 288 GB/s.
Wormhole -processors bieden flexibele schaalbaarheid om te voldoen aan de diverse behoeften van workloads. In een standaard werkstation -opstelling met vier Wormhole N300 -kaarten kunnen de processors worden gecombineerd tot een enkele eenheid die in de software verschijnt als een uniform, breed tensix -kernnetwerk. Met deze configuratie kan de Accelerator dezelfde werklast verwerken, verdeeld tussen vier ontwikkelaars of maximaal acht verschillende AI -modellen tegelijkertijd draaien. Een belangrijk kenmerk van deze schaalbaarheid is dat deze lokaal kan worden uitgevoerd zonder virtualisatie. In een datacenteromgeving zullen wormgatprocessors PCIe gebruiken voor uitbreiding in de machine, of Ethernet voor externe expansie.
In termen van prestaties, tenstorrent's single-chip wormhole N150-kaart (72 tensix cores, 1 GHz frequentie, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandbreedte) behaalde 262 fp8 Tflops op 160W, terwijl de dual-chip wormhole N300-board (128 Tensix frequentie, 192 MB, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB SRAM, 192 MB. GB GDDR6, 576 GB/s bandbreedte) levert tot 466 FP8 TFLOPS op 300W.
Om 300 W van 466 FP8 Tflops in context te plaatsen, zullen we het vergelijken met wat AI -marktleider Nvidia aanbiedt bij dit thermische ontwerpkracht. NVIDIA's A100 ondersteunt FP8 niet, maar ondersteunt wel INT8, met piekprestaties van 624 tops (1.248 tops wanneer schaars). Ter vergelijking: NVIDIA's H100 ondersteunt FP8 en bereikt piekprestaties van 1.670 TFLOPS bij 300W (3.341 Tflops op schaar), wat aanzienlijk verschilt van het wormgat N300 van Tenstorrent.
Er is echter één groot probleem. Het wormgat van Tenstorrent N150 is te koop voor $ 999, terwijl de N300 verkoopt voor $ 1.399. Ter vergelijking: een enkele NVIDIA H100 -grafische kaart verkoopt voor $ 30.000, afhankelijk van de hoeveelheid. Natuurlijk weten we niet of vier of acht wormgatprocessors de prestaties van een enkele H300 kunnen leveren, maar hun TDP's zijn respectievelijk 600W en 1200W.
Naast de kaarten biedt Tenstorrent vooraf gebouwde werkstations voor ontwikkelaars, waaronder 4 N300-kaarten in de meer betaalbare Xeon-gebaseerde TT-Loudbox met actieve koeling, en de geavanceerde TT-quietbox met EPYC-gebaseerde Xiaolong) vloeistofkoelfunctie).
Posttijd: JUL-29-2024