Dojo是特斯拉用于云端訓(xùn)練AI模型的超級計(jì)算機(jī)。名字來源于日語，寓意為“道場”，象征著它作為訓(xùn)練AI的地方。Dojo的核心是特斯拉自主設(shè)計(jì)制造的神經(jīng)網(wǎng)絡(luò)訓(xùn)練芯片D1以及基于該芯片構(gòu)建的訓(xùn)練模塊、系統(tǒng)托盤和ExaPOD集群。

讓我們深入了解一下Dojo所具備的重要組件。首先是D1芯片，它是一種專門用于AI訓(xùn)練的加速器。采用臺(tái)積電7納米工藝制造，這款芯片集成了500億個(gè)晶體管，并擁有354個(gè)訓(xùn)練節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)都包含一個(gè)處理器核心、一個(gè)高速緩存、一個(gè)高帶寬內(nèi)存和一個(gè)高速互連。D1芯片的峰值算力高達(dá)362 TFLOPS，帶寬達(dá)到36 TB/s。

為了進(jìn)一步提高計(jì)算能力，特斯拉通過將25顆D1芯片進(jìn)行無縫連接，形成一個(gè)訓(xùn)練模塊。每個(gè)訓(xùn)練模塊的峰值算力可達(dá)9 PFLOPS，帶寬為900 GB/s。這些訓(xùn)練模塊構(gòu)建了一個(gè)高密度、高性能、高可靠的系統(tǒng)托盤，每個(gè)托盤可容納10個(gè)訓(xùn)練模塊，并配備相應(yīng)的電源、冷卻和網(wǎng)絡(luò)設(shè)備。每個(gè)系統(tǒng)托盤的峰值算力達(dá)到90 PFLOPS，帶寬為9 TB/s。

最后，基于系統(tǒng)托盤，特斯拉構(gòu)建了一個(gè)ExaPOD集群。每個(gè)集群由10個(gè)系統(tǒng)托盤組成，安裝在一個(gè)機(jī)柜中。這樣一個(gè)ExaPOD集群的峰值算力高達(dá)900 PFLOPS，帶寬為90 TB/s。

Dojo的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)超高效、超可擴(kuò)展、超低成本的AI訓(xùn)練平臺(tái)。它可以處理大量的視頻訓(xùn)練數(shù)據(jù)，并有效運(yùn)行具有多個(gè)參數(shù)、內(nèi)存和內(nèi)核的超高帶寬超稀疏陣列。理論上來說，Dojo沒有性能和規(guī)模的上限，通過特斯拉自研的編譯器和傳輸協(xié)議，實(shí)現(xiàn)對整個(gè)系統(tǒng)的簡化管理和優(yōu)化調(diào)度。

Dojo的應(yīng)用場景主要是為特斯拉的全自動(dòng)駕駛（FSD）系統(tǒng)提供強(qiáng)大的AI訓(xùn)練支持。該系統(tǒng)采用純視覺方案，只使用車輛上的攝像頭進(jìn)行環(huán)境感知，并不依賴于雷達(dá)和激光等其他傳感器。這種方案需要大量的視頻數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以提高其視覺感知的準(zhǔn)確性和魯棒性。因此，Dojo可以為FSD系統(tǒng)提供快速、高質(zhì)量和低成本的AI訓(xùn)練服務(wù)，從而實(shí)現(xiàn)更復(fù)雜、更智能和更安全的自動(dòng)駕駛功能。