데이터 변환 - 필터
중요
Machine Learning Studio(클래식)에 대한 지원은 2024년 8월 31일에 종료됩니다. 해당 날짜까지 Azure Machine Learning으로 전환하는 것이 좋습니다.
2021년 12월 1일부터 새로운 Machine Learning Studio(클래식) 리소스를 만들 수 없습니다. 2024년 8월 31일까지는 기존 Machine Learning Studio(클래식) 리소스를 계속 사용할 수 있습니다.
- ML Studio(클래식)에서 Azure Machine Learning으로 기계 학습 프로젝트 이동에 대한 정보를 참조하세요.
- Azure Machine Learning에 대한 자세한 정보.
ML Studio(클래식) 설명서는 사용 중지되며 나중에 업데이트되지 않을 수 있습니다.
이 문서에서는 Machine Learning Studio(클래식)에서 필터 모듈을 사용하여 디지털 데이터를 변환하는 방법을 설명합니다. 이 Machine Learning Studio(클래식) 도구 그룹의 모듈은 디지털 신호 처리 기술을 위해 개발된 필터를 기반으로 합니다.
필터는 일반적으로 데이터 처리 단계 또는 전처리 단계의 데이터에 적용됩니다. 필터는 기계 학습에 사용되는 신호의 명확성을 향상시킵니다. 예를 들어 Machine Learning Studio(클래식)에서 이러한 처리 작업에 필터 모듈을 사용할 수 있습니다.
- 음성 인식에 사용되는 파형을 정리합니다.
- 불필요한 항목이 많은 영업 또는 경제 데이터에서 추세를 검색하거나 계절 관련 영향을 제거합니다.
- 원격 분석 신호에서 패턴 또는 아티팩트 분석
이러한 모듈은 잘 연구된 알고리즘을 사용하여 파형 데이터를 수학적으로 변환하여 필터를 쉽게 구성합니다. 데이터에 적용할 올바른 계수를 이미 확인한 경우에는 사용자 지정 필터를 만들 수도 있습니다.
관련 작업
행별로 데이터 세트에서 데이터를 제외하거나, 누락된 값을 제거하거나, 데이터 세트의 크기를 줄이는 등의 작업을 수행해야 하는 경우 다음 모듈을 대신 사용합니다.
- 누락된 데이터 정리: 누락된 값을 제거하거나 누락된 값을 자리 표시자로 바꿉 있습니다.
- 파티션 및 샘플: 날짜 범위, 특정 값 또는 정규식과 같은 조건을 사용하여 데이터 세트를 나누거나 필터링합니다.
- 클립 값: 값 범위를 설정하고 해당 범위 내에 값만 유지합니다.
디지털 신호 처리의 필터
조명을 보정하거나 특수 효과를 만들기 위해 필터를 카메라에 연결할 수 있는 것처럼 기계 학습에 사용하는 데이터에 필터를 적용할 수 있습니다. 필터는 신호의 선명도를 향상시키거나, 흥미로운 특성을 캡처하거나, 노이즈를 줄이는 데 도움이 될 수 있습니다.
이상적인 필터는 모든 노이즈를 제거하고 원하는 신호에 대한 균일한 민감도를 갖습니다. 그러나 꽤 좋은 필터를 디자인하는 데는 많은 반복이나 기술의 조합이 걸릴 수 있습니다. 유효 필터를 디자인하는 데 성공하면 새 데이터를 변환할 때 다시 사용할 수 있도록 필터를 저장하는 것이 좋습니다.
일반적으로 필터링은 파형 분석 원칙을 기준으로 합니다. 필터를 디자인할 때 신호의 일부를 억제하거나 증폭하거나, 기본 추세를 노출하거나, 노이즈 및 간섭을 줄이거나, 인식되지 않을 수 있는 데이터 값을 식별하는 방법을 찾습니다.
실제 데이터 값을 만드는 개별 추세 또는 파형 구성 요소를 분해하기 위해 다양한 기술이 적용됩니다. 일련의 값은 삼각 함수를 사용하여 개별 파형을 식별하고 격리하여 분석할 수 있습니다. 이 값은 에코노메트릭 계열이든 오디오 신호의 복합 주파수이든 마찬가지입니다. 필터를 이러한 파형에 적용하여 노이즈를 제거하거나, 일부 웨이브를 증폭하거나, 대상 구성 요소를 제거할 수 있습니다.
불필요한 항목이 많은 계열에 필터링을 적용하여 각 구성 요소를 구분할 때는 작업할 주파수 대역을 지정해 제거하거나 강조할 주파수를 지정할 수 있습니다.
Machine Learning Studio의 디지털 필터(클래식)
Machine Learning Studio(클래식)에서 지원되는 필터 유형은 다음과 같습니다.
- 파형 분해를 기반으로 하는 필터입니다. 예를 들어 FIR(유한 임펄스 응답) 및 IIR(무한 임펄스 응답) 필터가 있습니다. 이러한 필터는 전체 시리즈에서 특정 구성 요소를 제거하여 작동합니다. 그런 다음 간소화된 파형을 보고 조사할 수 있습니다.
- 이동 평균 또는 중앙값 기반 필터. 이러한 필터는 시간 기간별 평균을 계산하여 데이터 계열의 변형을 평준화합니다. 고정 창 또는 이동 창을 사용할 수 있으며 기간의 형태도 각기 다를 수 있습니다. 예를 들어 삼각형 창에서는 현재 데이터 요소가 최고점에 배치되며(현재 값에 더 높은 가중치가 부여됨) 해당 데이터 요소 앞과 뒤의 데이터는 더 낮은 지점에 배치됩니다(이전 값과 다음 값에는 낮은 가중치가 부여됨).
- 사용자 정의 또는 사용자 지정 필터. 데이터 계열에 적용해야 하는 변환을 이미 알고 있는 경우 사용자 정의 필터를 만들 수 있습니다. 데이터 계열을 변환하기 위해 적용되는 숫자 계수를 제공합니다. 사용자 지정 필터는 FIR 또는 IIR 필터를 에뮬레이트할 수 있습니다. 그러나 사용자 지정 필터를 사용하면 계열의 각 지점에서 적용할 값을 더 많이 제어할 수 있습니다.
필터 용어
다음 목록에는 필터의 매개 변수 및 속성에 사용되는 용어에 대한 간단한 정의가 포함되어 있습니다.
- 통과 대역: 감쇠되거나 약화되지 않고 필터를 통과할 수 있는 주파수 범위입니다.
- 중지 밴드: 신호가 전달되지 않는 지정된 제한 사이의 빈도 범위입니다. 차단 주파수를 설정하여 저지 대역을 정의합니다.
- 높은 주파수 통과: 높은 주파수만 통과하도록 합니다.
- 낮은 주파수 통과: 지정된 구분 값 미만의 주파수만 허용합니다.
- 코너: 중지 대역과 패스밴드 빈도 사이의 경계를 정의합니다. 일반적으로는 절점이 대역에 포함되는지 아니면 대역에서 제외되는지를 결정하는 옵션이 제공됩니다. 첫 번째 순서 필터는 모서리 빈도까지 점진적 감쇠를 발생합니다. 그 후 필터는 지수 감쇠를 발생합니다. 상위 필터(예: 버터워스 및 체비셰프 필터)는 코너 빈도 이후 가파른 경사면을 갖습니다. 상위 필터는 중지 밴드의 값을 훨씬 더 빠르고 완벽하게 감쇠합니다.
- Bandstop 필터 ( 밴드 거부 필터 또는 노치 필터라고도 함): 중지 밴드가 하나만 있습니다. 높은 컷오프 빈도와 낮은 컷오프 빈도라는 두 가지 빈도를 지정하여 중지 밴드를 정의합니다. 대역폭 필터에는 일반적으로 두 개의 중지 밴드가 있습니다. 하나는 원하는 구성 요소의 양쪽에 있습니다.
- 리플: 주기적으로 발생하는 작고 원치 않는 변형입니다. Machine Learning IIR 필터 디자인에서 매개 변수의 일부로 허용할 리플의 양을 지정할 수 있습니다.
팁
자세한 정보가 필요하신가요? 디지털 신호 처리를 접하는 경우 디지털 신호 처리 소개를 참조하세요. 이 웹 사이트는 기본 용어 및 개념을 설명하는 정의 및 유용한 시각 보조 기능을 제공합니다.
모듈 목록
다음 모듈은 데이터 변환 - 필터 범주에 포함됩니다.
- 필터 적용: 데이터 세트의 지정된 열에 필터를 적용합니다.
- FIR 필터: 신호 처리를 위한 FIR 필터를 만듭니다.
- IIR 필터: 신호 처리를 위한 IIR 필터를 만듭니다.
- 중앙값 필터: 추세 분석을 위해 데이터를 부드럽게 하는 데 사용되는 중앙값 필터를 만듭니다.
- 이동 평균 필터: 추세 분석을 위해 데이터를 부드럽게 하는 이동 평균 필터를 만듭니다.
- 임계값 필터: 값을 제한하는 임계값 필터를 만듭니다.
- 사용자 정의 필터: 사용자 지정 FIR 또는 IIR 필터를 만듭니다.