SCAO — Optimizer
I built a 2nd-order optimizer for LLMs.
SCAO — Optimizer이란?
54% faster LLM training. SCAO is a sparse, second-order PyTorch optimizer designed as a high-throughput, drop-in replacement for AdamW. - whispering3/scao
스크린샷
?
아직 댓글이 없어요. 가장 먼저 남겨보세요!
SCAO — Optimizer에 대한 X의 실제 대화
X에 게시