Компоненты
- Filebeat / Fluentd — агент на каждом сервере, читает лог-файлы и отправляет дальше
- Logstash — парсинг, фильтрация, трансформация логов (можно заменить Fluentd или Vector)
- Elasticsearch — индексирует и хранит логи. Предоставляет полнотекстовый поиск
- Kibana — веб-интерфейс для поиска по логам, дашборды, алерты
Альтернативы
- Grafana Loki — легче, хранит только метки и строки (не индексирует содержимое)
- Datadog, Splunk — облачные SaaS-решения
Структурированные логи
Логируйте JSON вместо plain text. Тогда Elasticsearch автоматически индексирует поля и можно искать: level:error AND service:payments AND duration:>1000.