streaming_pipeline_wrapper 模块

流式处理场景中最终管道的包装器。

StreamingPipelineWrapper

流式处理场景中最终管道的包装器。

此包装器旨在实现以下目标:

  1. 将 FeaturizationInfoProvider 公开为运行的最终管道的 pipeline.steps[0]。 在非流式处理场景中公开记录了此 API 预期,我们添加它以进行奇偶校验。

  2. 为最终管道对象启用 pipeline.fit() 和 pipeline.transform()。 FeaturizationInfoProvider 本身不能直接作为 Nimbus 管道的组件(我们会遇到各种与 Nimbus 相关的特定错误)。 我们改为在内部构建一个 Nimbus 管道 (self._pipeline),并使用它进行操作。