Przejdź do treści
ZroZoom AI
Baza wiedzy

Modele językowe i multimodalne

Jak działają duże modele językowe i multimodalne

Tokeny, okno kontekstu, trening i dostrajanie. Wyjaśniamy, co dzieje się między Twoim pytaniem a odpowiedzią modelu.

Poziom: średniozaawansowany

To wstępna, zweryfikowana redakcyjnie wersja materiału, ale będzie jeszcze rozwijana.

Fakty — mamy źródłaWnioski redakcjiHipotezy do sprawdzenia

Tokeny i przewidywanie

Fakty — mamy źródła.

Model językowy dzieli tekst na — fragmenty słów — i na każdym kroku przewiduje kolejny token. Odpowiedź powstaje token po tokenie.Źródła ↓

określa, ile tokenów model może jednocześnie „widzieć”: polecenie, historię rozmowy i załączone dokumenty.Źródła ↓

Modele multimodalne

Fakty — mamy źródła.

Modele przyjmują lub generują więcej niż jeden rodzaj danych, np. tekst i obraz. Pozwala to opisać zdjęcie, odczytać wykres lub porozmawiać głosowo.Źródła ↓

Dlaczego modele się mylą

Wnioski redakcji.

Model optymalizuje prawdopodobieństwo, a nie prawdziwość. — pewnie brzmiące, ale błędne odpowiedzi — są konsekwencją tej konstrukcji. Ryzyko zmniejsza podawanie źródeł w kontekście i prośba o wskazanie niepewności.

Hipotezy redakcji

Hipotezy do sprawdzenia.

Spodziewamy się, że w edukacji większe znaczenie niż sama wielkość modelu będzie miało umiejętne łączenie modeli z wiarygodnymi źródłami. To teza do sprawdzenia w naszych eksperymentach.

Źródła i dalsza lektura

  1. 1.
  2. 2.

Powiązane materiały