LLM (Большая языковая модель)

Как это работает

LLM предсказывает следующий токен (слово или часть слова) на основе контекста. Несмотря на простую задачу, масштаб и архитектура Transformer позволяют «понимать» сложные инструкции, писать код, переводить и анализировать.

Ключевые понятия

• Токен — минимальная единица текста. GPT-4 обрабатывает ~4 символа = 1 токен
• Контекстное окно — максимальный объём текста, который модель «видит» одновременно
• Temperature — параметр случайности ответа. 0 = детерминировано, 1 = творчески
• Inference — генерация ответа (в отличие от training)

Ограничения

Галлюцинации (уверенные, но ложные факты), знания ограничены датой обучения, контекстное окно ограничено, дорого масштабировать.