Thinking Machines udostępnia Inkling 2 Mini z otwartymi wagami i lokalnymi wersjami GGUF
Thinking Machines udostępnia Inkling 2 Mini z otwartymi wagami i lokalnymi wersjami GGUF
Nowy model ma 26,4 mld parametrów, cykliczną architekturę transformera i trzy skwantyzowane kompilacje GGUF do lokalnego uruchamiania.
Thinking Machines udostępniło Inkling 2 Mini, model językowy z otwartymi wagami, dostępny na Hugging Face: thinkingmachines/Inkling-2-Mini.
Model opiera się na cyklicznej architekturze transformera, w której środkowe warstwy przetwarzają każdy token trzykrotnie. Ma 26,4 mld parametrów i można go uruchomić lokalnie na laptopie z 12 GB pamięci.
Według not release’owych wskaźnik odmów w testach spadł z 100% do 0%, a model zachował 98% pierwotnej dokładności w benchmarku MMLU.
Programiści opublikowali również trzy skwantyzowane wersje w formacie GGUF, o rozmiarach od 8,67 GB do 16,53 GB. Niefiltrowane kompilacje GGUF są dostępne tutaj: AtomicChat/Inkling-2-Mini-Uncensored-GGUF.
Dlaczego to ważne
AnalizaModele z otwartymi wagami i wersjami GGUF ułatwiają lokalne uruchamianie dużych modeli językowych, ale warianty niefiltrowane wymagają starannej oceny bezpieczeństwa przed wdrożeniem.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Thinking Machines wydało Inkling 2 Mini — model z otwartymi wagami do lokalnego kodowania
Thinking Machines udostępniło Inkling 2 Mini, model z otwartymi wagami i cykliczną architekturą transformera, który działa lokalnie na Macu i pozwala programować bez internetu.
Rodzina modeli Llama (Meta Llama)
Seria fundamentalnych, otwartych modeli językowych od Meta (Llama 3, 3.1, 3.3), które stały się standardem branżowym dla ekosystemu Open Weights, lokalnej sztucznej inteligencji oraz korporacyjnego fine-tuning.
Meta Llama (Główny otwarty standard sztucznej inteligencji)
Flagowa seria otwartych modeli językowych firmy Meta (Llama 3, 3.3). Dostępna do bezpłatnego pobierania, modyfikacji i lokalnego uruchamiania na własnych serwerach bez ograniczeń i cenzury.
Thinking Machines wydało zapętlony transformer Inkling 2 Mini
Thinking Machines, startup założony przez Mirę Murati, wydał Inkling 2 Mini — lokalny model AI oparty na architekturze looped transformer, który powtarza środkowe warstwy, aby pogłębić rozumowanie bez zwiększania liczby parametrów.