Настройка Kafka и Logstash для SIEM

15 апреля 2026 | Linux, SIEM, Kafka

Введение

Пайплайн логов: Kafka как брокер сообщений, Logstash для парсинга, OpenSearch/ClickHouse для хранения. Установка на Ubuntu 22.04.

Установка Kafka

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 /opt/kafka
sudo useradd kafka -r
sudo chown -R kafka:kafka /opt/kafka

Конфиг Logstash (/etc/logstash/conf.d/siem.conf)

input {
  kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["syslog"]
  }
}
filter {
  grok { match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{HOSTNAME:host} %{DATA:service}: %{GREEDYDATA:log}" } }
}
output {
  opensearch {
    hosts => ["localhost:9200"]
    index => "siem-%{+YYYY.MM.dd}"
  }
}

Запуск и мониторинг

systemctl enable kafka logstash
tail -f /var/log/logstash/logstash-plain.log

Тестируйте: logger -p user.info "Test SIEM log".