2019年9月,半導(dǎo)體企業(yè)Cerebras Systems發(fā)布了世界最大芯片“WSE”(晶圓級引擎),臺積電16nm工藝制造,面積達(dá)46225平方毫米,內(nèi)部集成了1.2萬億個(gè)晶體管、40萬個(gè)AI核心、18GB SRAM緩存,支持9PB/s內(nèi)存帶寬、100Pb/s互連帶寬,而功耗也高達(dá)15千瓦,主要用于AI加速計(jì)算。
美國能源部就看中了它,打造了兩套計(jì)算系統(tǒng)CS-1,每臺250萬美元,用來搭配超級計(jì)算機(jī),同步進(jìn)行AI和增強(qiáng)計(jì)算。
Cerebras今天宣布了第二代WSE-2,制造工藝升級為臺積電7nm,面積維持在46225平方毫米,因?yàn)槿绱她嫶蟮男酒?,一塊300mm晶圓也只能造出一塊,制造和封裝工藝直接決定了芯片面積。
得益于工藝升級,集成晶體管數(shù)量達(dá)到了恐怖的4.6萬億個(gè),密度也達(dá)到每平方毫米5624.6萬,均增加了1.17倍,因此核心數(shù)量增至85萬個(gè),增加了1.13倍,另外SRAM緩存容量增至40GB,內(nèi)存帶寬來到20PB/s,互連帶寬來到220Pb/s,都增加了1.22倍。
作為對比,作為曾經(jīng)最大的臺積電7nm工藝芯片,NVIDIA A100的面積也不過826平方毫米,緩存才40MB。
Cerebras還設(shè)計(jì)了一套系統(tǒng),可以繞過任何制造缺陷,保證100%的良品率,畢竟壞掉一顆,就直接廢掉一塊晶圓。
事實(shí)上,Cerebras最初設(shè)計(jì)了1.5%的核心冗余,也就是允許壞掉12750個(gè),但是后來發(fā)現(xiàn)臺積電7nm工藝已經(jīng)相當(dāng)成熟,根本不需要浪費(fèi)這么多額外核心。
WSE-2 85萬個(gè)核心通過2D Mesh平面網(wǎng)格布局互連,輔以FMAC數(shù)據(jù)路徑,并定制了編譯器,便于開發(fā)應(yīng)用。
與美國能源部合作的第二代CS-2系統(tǒng),整體設(shè)計(jì)基本不變,而在各項(xiàng)規(guī)格翻了一番還多之后,整體功耗基本不變,今年第三季度投用。