AMD、推論向けチップ新興企業Taalasの買収で合意

Advanced Micro Devicesは木曜日、トロントの新興企業Taalasを金額非公表で買収すると発表した。これにより、従来型GPUでトークン生成を制約しているメモリー移動のボトルネックを回避するよう設計された、モデル特化型のAI推論技術を取り込む。Taalasはモデルの重みをシリコンに直接焼き込むため、同社初のチップHC1はMetaのLlama 3.1 8B専用であり、他のベースモデルには対応しない。 同社によると、この設計はモデルの重みをメモリーと演算部の間で繰り返し転送する必要をなくすことで、速度を大幅に高める。Taalasは、HC1がユーザー当たり毎秒約17,000トークンを生成するとしており、EE Timesは公開デモで15,000超を確認したと報じた。Taalasの自社試験では、これをエヌビディアのBlackwellハードウエア上の約350と比較した。同社はまた、HBMや高度なパッケージング、液冷を必要としないため、システムの構築コストは20分の1、消費電力は10分の1になるとしているが、これらの数値は依然として同社見積もりである。 その代償は柔軟性である。別のモデルに切り替えるには、新たなチップを作る必要がある。Taalasによると、設計の大半は変更せずに済み、新しいモデルを符号化するために修正が必要なのはごく一部のみで、TSMCは改良版を約2カ月で製造できる。CEOのLjubisa Bajic氏はEE Timesに対し、同社は「経済性と速度のために、柔軟性で痛みを伴うトレードオフを行った」と語った。 AMDは推論を主要な成長機会と位置付けており、訓練済みモデルを実行する市場は年率80%超で成長する可能性があると見込んでいる。Taalasは、推論ソフトウエア企業MK1と2つの小規模スタートアップに続く、11月以降でAMDにとって4件目の推論関連案件であり、この技術はAMDのラックスケールAIシステム「Helios」に組み込まれる見通しである。Microsoftは先月、最先端モデルの推論を実行するため、AzureにHeliosを導入することで合意した。今回の買収はまた、AI訓練で優位を築き、専用推論ハードウエアでも独自の動きを進めてきたエヌビディアとの競争激化を浮き彫りにしている。