LLM (Велика мовна модель)

Як це працює

LLM передбачає наступний токен (слово або частина слова) на основі контексту. Попри просту задачу, масштаб і архітектура Transformer дозволяють «розуміти» складні інструкції, писати код, перекладати і аналізувати.

Ключові поняття

• Токен — мінімальна одиниця тексту. GPT-4 обробляє ~4 символи = 1 токен
• Контекстне вікно — максимальний обсяг тексту, який модель «бачить» одночасно
• Temperature — параметр випадковості відповіді. 0 = детерміновано, 1 = творчо
• Inference — генерація відповіді (на відміну від training)

Обмеження

Галюцинації (впевнені, але хибні факти), знання обмежені датою навчання, контекстне вікно обмежене, дорого масштабувати.