Skip to main content

Mechanizm samouwagi (Self-Attention)

DLA AGENTÓW AIChatGPTClaude

Kluczowy mechanizm matematyczny architektury Transformer, który umożliwia każdemu słowu w zdaniu dynamiczne ważenie znaczenia wszystkich pozostałych słów. Dzięki temu model rozróżnia homonimy i poprawnie przypisuje zaimki („on”, „ona”, „to”) do odpowiednich rzeczowników.

1. Przegląd koncepcji i przeznaczenia

Przyjrzyjmy się dwóm prostym zdaniom:

  1. «Zwierzę nie przeszło przez ulicę, ponieważ ono było zbyt zmęczone».
  2. «Zwierzę nie przeszło przez ulicę, ponieważ ono było zbyt szerokie».

Dla człowieka jest oczywiste: w pierwszym zdaniu słowo „ono” odnosi się do zwierzęcia, a w drugim – do ulicy. Jednak dla komputera stanowiło to nierozwiązywalną zagadkę przez dziesięciolecia.

Self-Attention (Samouważność) to matematyczny aparat sensoryczny modelu. Oblicza niewidzialne linie połączeń między każdym słowem a wszystkimi innymi słowami w tekście, przypisując każdej parze współczynnik siły uwagi.

W praktyce inżynierskiej jest to cyfrowe podświetlenie: czytając zaimek „ono”, model automatycznie kieruje reflektor na słowo „zwierzę” lub „ulica”.

2. Jak reflektory uwagi łączą słowa

Zdanie: „Zwierzę nie przeszło przez ulicę, ponieważ było zmęczone”

         [Zwierzę] <════════════════════ (Siła uwagi: 88%)
             │
         [ulica]  <── (Siła uwagi: 4%)
             │
           [ponieważ]
             │
          [ono] ─── Reflektor uwagi szuka: kim dokładnie jest „ono”?
             │
        [zmęczone] <════════════════════ (Wskazówka przymiotnika: 92%)

3. Dlaczego ten mechanizm uczynił AI bardziej ludzki

  • Rozumienie sarkazmu i ironii: jeśli na końcu zdania znajduje się emotikon lub specyficzne słowo, uwaga natychmiast odwraca znaczenie wcześniejszych pochwał na przeciwne.
  • Długie zależności: bohater powieści może pojawić się na stronie 1, a na stronie 50 model połączy frazę „podniósł kapelusz” właśnie z jego imieniem.
  • Elastyczność tłumaczenia: mechanizm uwzględnia fakt, że w języku niemieckim czasownik może znajdować się na samym końcu zdania, i nie czeka na niego, lecz patrzy naprzód.

4. Praktyczna konkluzja

Gdy piszesz prompt, pamiętaj: im dalej rozstawione są powiązane ze sobą słowa lub im więcej w tekście niejednoznacznych zaimków („on zrobił to dla tego”), tym trudniej mechanizmowi uwagi się skupić. Wyraźne rzeczowniki i konkretne sformułowania pomagają uwadze modelu pracować na maksimum.

/ Najczęściej zadawane pytaniaSchema.org FAQPage

FAQ: Mechanizm samouwagi (Self-Attention)

Jeśli w zdaniu występują słowa „rzeka”, „piasek” i „brzeg”, mechanizm Self-Attention przypisze maksymalną wagę kontekstowi geograficznemu. Jeśli natomiast obok siebie znajdą się słowa „procenty”, „kredyt” i „karta”, waga uwagi przełączy się na instytucję finansową. Słowo jest to samo, ale powiązania kontekstowe są różne.
/ Linki wewnętrzne

Powiązane pojęcia

Wszystkie hasła
Modele i inferencja

Architektura Transformer

Architektura sieci neuronowej przedstawiona przez badaczy Google w 2017 roku w artykule „Attention Is All You Need”. Stanowi podstawę wszystkich współczesnych modeli językowych (GPT, Claude, Gemini, Llama), zastępując wolne sieci rekurencyjne i umożliwiając równoległą jednoczesną obróbkę całego tekstu.

Czytaj hasło
Modele i inferencja

Przewidywanie następnego tokenu (Next-Token Prediction)

Fundamentalny mechanizm autoregresyjnych dużych modeli językowych (LLM). Obliczanie logitów, funkcja Softmax, wpływ temperatury i próbkowania (Top-P/Top-K). Wyjaśnienie, dlaczego generowanie tekstu jest sekwencyjnym procesem O(N) oraz jak analizować prawdopodobieństwa przez API.

Czytaj hasło
Prompty i RAG

Embeddingi w pigułce (Jak tekst staje się liczbami)

Fundamentalna technologia przekształcania słów, zdań lub obrazów w wielowymiarowe listy liczb (wektory). Umożliwia komputerowi matematyczne mierzenie semantycznej bliskości między różnymi myślami i koncepcjami.

Czytaj hasło