Podsumowanie
- Kolejki komunikatów są mechanizmami umożliwiającymi komunikację pośrednią i asynchroniczną przez partycjonowanie i przechowywanie komunikatów w brokerach. Umożliwia to łatwe skalowanie w poziomie warstwy obsługi komunikatów.
- Kafka jest kolejką komunikatów wielosubskrybenta opracowaną w firmie LinkedIn. Użytkownicy tej kolejki mogą subskrybować tematy, a kolejka gwarantuje odbieranie komunikatów w kolejności wysłania.
- Systemy przetwarzania strumieniowego działają w oparciu o nieskończenie długi, często szybko zmieniający się zestaw rekordów wejściowych, np. dane wyjściowe kolejki komunikatów. Aby zmniejszyć opóźnienie, ten system mógłby działać zgodnie z zestawem prostych reguł.
- Zadania przetwarzania strumieniowego mogą być bezstanowe (mogą po prostu polegać na zastosowaniu wstępnie zdefiniowanych reguł do danych wejściowych) lub stanowe (mogą polegać na zastosowaniu stale zmieniających się reguł w oparciu o wcześniejsze dane i bieżący stan).
- Samza to platforma przetwarzania strumieniowego opracowana w firmie LinkedIn. Domyślnie platforma Samza uruchamia kontenery cgroups zaplanowane za pośrednictwem platformy YARN i odczytuje ze strumienia Kafka, dzięki czemu programiści mogą używać niestandardowego interfejsu API do definiowania zadań przesyłania strumieniowego. Gdy jest potrzebny stan lokalny, zostaje użyte osadzone wystąpienie bazy danych RocksDB.
- Architektury lambda i kappa to dwie metody pracy z potokami danych o różnych wymaganiach w zakresie opóźnień.