Škálovatelný IoT datový pipeline pro analýzu v reálném čase

O projektu

Klient působí v oblasti IoT, kde miliony zařízení nepřetržitě odesílají senzorová data vyžadující okamžité zpracování a analýzu. Jejich obchodní úspěch závisí na přesných datech v reálném čase pro sledování podmínek, detekci anomálií a automatizované reakce. Jakékoliv zpoždění nebo ztráta dat by mohly mít zásadní provozní i finanční dopady proto, stabilita a nízká latence byly klíčové.

‍

Co jsme udělali

Navrhli jsme čtyřstupňový event-driven pipeline:

1. High-Concurrency Ingestion (Rust) – využívá Axum a Tokio pro MQTT a HTTP připojení s minimální zátěží CPU a paměti.
2. Durable Buffering (Apache Kafka) – implementováno jako trvalá message queue, zajišťující spolehlivé doručení i při částečných výpadcích.
3. Stream Processing (Rust) – konzumuje data z Kafka, zpracovává je v reálném čase a využívá Redis pro cache a alerting.
4. Optimized Storage & API (PostgreSQL & NestJS) – navrhli jsme PostgreSQL schéma pro dotazy nad časovými řadami a REST API pro dashboardy a analýzy.

Celý systém je kontejnerizovaný v Dockeru, což zjednodušuje nasazení, replikaci a horizontální škálování napříč prostředími.

‍

‍

Hodnocení klienta

‍

„Tento systém nám umožnil zpracovávat miliony IoT připojení v reálném čase bez výpadků nebo ztráty dat. Nová architektura je rychlá, stabilní a připravená na budoucnost. Je to obrovský posun oproti tomu, co jsme používali dříve.“

‍