
ROOT: Robust Orthogonalized Optimizer for Neural Network Training
Guida a ROOT optimizer: che cos’è, perché è interessante, panoramica risultati ROOT è un nuovo optimizer progettato dal Huawei Noah’s Ark Lab per rendere l’addestramento di Large Language Models più stabile ed efficiente, partendo dalle idee di Muon ma correggendone alcune fragilità. In particolare punta a risolvere due problemi: la sensibilità della procedura di orthogonalization […]
