Berwawasan ke depan: Kita mendekati titik di mana interkoneksi tembaga tradisional tidak akan mampu membawa cukup data untuk menjaga GPU dan chip khusus lainnya tetap digunakan sepenuhnya. Pasar AI sangat membutuhkan solusi generasi berikutnya untuk mengatasi hambatan interkoneksi ini, dan Broadcom tampaknya tengah mengerjakan solusi berbasis optik yang lebih mendekati chip itu sendiri.
Broadcom tengah mengembangkan teknologi fotonik silikon baru yang ditujukan untuk meningkatkan bandwidth yang tersedia bagi GPU dan akselerator AI lainnya secara signifikan. Dengan memanfaatkan optik co-packaged (CPO), produsen chip fabless ini bertujuan untuk mengintegrasikan komponen konektivitas optik langsung ke dalam GPU, yang memungkinkan kecepatan data yang lebih tinggi sekaligus mengurangi kebutuhan daya.
Perusahaan ini telah menggarap solusi CPO selama beberapa tahun dan memamerkan kemajuan terbarunya di konvensi Hot Chips baru-baru ini. “Mesin optik” Broadcom dilaporkan memberikan total bandwidth interkoneksi sebesar 1,6 TB/detik, setara dengan 6,4 Tbit/detik atau 800 GB/detik di setiap arah.
Koneksi baru ini dapat menyediakan transfer data “bebas kesalahan” ke satu chiplet, mencapai tingkat kinerja yang sebanding dengan NVLink Nvidia dan solusi pusat data khusus lainnya. Namun, Broadcom belum memasukkan interkoneksi optiknya ke dalam GPU yang siap dipasarkan, seperti A100 atau MI250X. Sebagai gantinya, ia menggunakan chip uji yang dirancang untuk meniru GPU asli untuk tujuan demonstrasi.
Menurut Manish Mehta, wakil presiden divisi sistem optik Broadcom, sambungan tembaga mulai rusak setelah lima meter. Meskipun komunikasi optik telah lama dianggap sebagai solusi untuk masalah penurunan sinyal ini, komunikasi ini secara tradisional membutuhkan daya yang jauh lebih besar daripada teknologi berbasis tembaga.
Misalnya, Nvidia memperkirakan bahwa sistem NVL72 bertenaga optik akan memerlukan tambahan 20 kilowatt per rak, di samping 120 kilowatt yang sudah dikonsumsi sistem.
Broadcom berhasil mengurangi konsumsi daya dengan penggunaan optik co-packaged, yang menempatkan masing-masing transceiver dalam kontak langsung dengan GPU. Perusahaan tersebut memanfaatkan teknologi pengemasan chip-on-wafer-on-substrate (CoWoS) milik TSMC untuk mengikat sepasang tumpukan memori bandwidth tinggi ke die komputasi. Komponen logika dan memori chip tersebut berada pada interposer silikon, sementara mesin optik Broadcom terletak pada substrat.
Mehta menjelaskan bahwa teknologi CPO dapat menghubungkan hingga 512 GPU individual di delapan rak, yang memungkinkan seluruh pengaturan berfungsi sebagai satu sistem. Sebagai perbandingan, NVL72 Nvidia dapat mencapai kemampuan komputasi terpadu yang serupa dengan “hanya” 72 GPU, yang menunjukkan bahwa solusi Broadcom pada akhirnya dapat menawarkan keunggulan kompetitif untuk beban kerja AI generasi berikutnya.
