Enthusiast komprimiert GLM-5.2-Sprachmodell von 1,4 TB auf 980 GB
Ein Entwickler hat die Größe des GLM-5.2-Sprachmodells ohne inhaltliche Änderungen von 1,4 TB auf 980 GB reduziert. Dies gelang durch einen neuartigen Ansatz im Gewichtsmanagement, der Quantisierung und Fine-Tuning ausschließt.
Enthusiast komprimiert GLM-5.2-Sprachmodell von 1,4 TB auf 980 GB
Ein enthusiastischer Entwickler hat die Dateigröße des GLM-5.2-Sprachmodells von 1,4 TB auf 980 GB reduziert, ohne den Inhalt des Modells zu verändern.
Laut seinen Angaben verwendet das Verfahren weder Quantisierung noch Fine-Tuning oder andere Modifikationen am Modell selbst.
Es wird behauptet, dass das Modell bitgenau mit dem Original identisch bleibt und die Größenreduzierung durch einen neuen Ansatz bei der Handhabung der Gewichte erreicht wird. Anstatt das vollständige Modell vorab zu expandieren, werden die Gewichte direkt im VRAM in komprimierter Form gespeichert. Dies vermeidet die Notwendigkeit, sie vor der Durchführung von Berechnungen wiederherzustellen.
Warum das wichtig ist
AnalyseDiese Methode könnte die Speicher- und Verarbeitungskosten für große Sprachmodelle erheblich senken und damit KI-Technologien breiter zugänglich machen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern