Entusiasta reduz tamanho do modelo de linguagem GLM-5.2 de 1,4 TB para 980 GB
Um entusiasta conseguiu reduzir o tamanho do modelo de linguagem GLM-5.2 de 1,4 TB para 980 GB sem alterar seu conteúdo, utilizando uma nova abordagem de gerenciamento de pesos.
Entusiasta reduz tamanho do modelo de linguagem GLM-5.2 de 1,4 TB para 980 GB
Um entusiasta reduziu o tamanho do modelo de linguagem GLM-5.2 de 1,4 TB para 980 GB sem modificar seu conteúdo.
Segundo ele, o método não utiliza quantização, ajuste fino (fine-tuning) ou qualquer outra modificação no modelo.
Afirma-se que o modelo permanece idêntico bit a bit ao original, e a redução de tamanho é alcançada por meio de uma nova abordagem no tratamento dos pesos. Em vez de pré-expandir o modelo completo, os pesos são armazenados em forma comprimida diretamente na VRAM, evitando a necessidade de restaurá-los antes de realizar os cálculos.
Por que isso importa
AnáliseEste método reduz significativamente o footprint dos modelos de linguagem, potencialmente diminuindo custos de armazenamento e processamento, tornando as tecnologias de IA mais acessíveis.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores