了解数据流

  • 5 分钟

数据流由一系列永久数据组成，通常与特定时间点事件相关。 例如，数据流可能包含提交给社交媒体微博网站的消息的详细信息，或包含由连接 Internet 的天气传感器记录的一系列环境测量值。 流数据分析最常用于更好地了解随时间的变化。 例如，营销组织可能会对社交媒体消息进行情绪分析，以查看广告活动是否会导致对公司或其产品的更积极评价，或者农业企业可能会监视温度和降雨趋势以优化灌溉和作物收割。

流分析的共同目标包括

  • 持续分析数据以报告问题或趋势。
  • 了解各种条件下的组件或系统行为，以帮助规划未来的增强功能。
  • 发生特定事件或超出阈值时触发特定操作或警报。

流处理解决方案的特征

流处理解决方案通常具有以下特征：

A diagram showing a stream of data including a date and time field being processed, aggregated by day, and visualized and stored.

  1. 源数据流是无边界限制的 - 数据会永久添加到流中。
  2. 流中的每个数据记录都包含临时（基于时间）数据，指示与记录相关的事件何时发生（或被记录）。
  3. 流数据的聚合是在临时窗口上执行的 - 例如，记录每分钟社交媒体帖子的数量或每小时的平均降雨量。
  4. 流式数据处理的结果可用于支持实时（或准实时）自动化或可视化，或保存在分析存储中以与其他数据结合以进行历史分析。 许多解决方案结合这些方法来支持实时和历史分析。