Sammanfattning

Slutförd
  • Meddelandeköer är kommunikationsmekanismer som används för att möjliggöra indirekt, asynkron kommunikation och lagra meddelanden i asynkrona meddelandeköer. Detta möjliggör enkel horisontell skalning av meddelandelagret.
  • Kafka är en meddelandekö för flera prenumeranter utvecklat på LinkedIn. Konsumenter av den här kön kan välja att prenumerera på ett eller flera ämnen och kön tar garanterat emot meddelanden i den ordning de skickas.
  • Dataströmbearbetningssystem körs på en ofta snabbrörlig uppsättning indataposter med obestämd längd, till exempel utdata från en meddelandekö. För att förkorta svarstiden finns en uppsättning enkla regler som den här typen av system kan följa.
  • Dataströmbearbetningsjobb kan vara tillståndslösa (med tillämpning av fördefinierade regler på indata) eller tillståndskänsliga (med tillämpning av ständigt ändrade regler på tidigare data och aktuell status).
  • Samza är ett dataströmbearbetningsramverk som har utvecklats på LinkedIn. Som standard kör Samza cgroups-containrar schemalagda via YARN och läser från en Kafka-ström, vilket gör att programmerare kan använda ett anpassat API för att definiera strömningsuppgifter. När lokalt tillstånd behövs används en inbäddad RocksDB-instans.
  • Lambda- och Kappa-arkitekturen är två metoder för att arbeta med datapipeliner med olika svarstidskrav.