데이터 세트 및 DataFrame 기반 조인 명령에서 기울이기 힌트를 지정하는 방법

또는 개체를 사용 하 여 명령을 수행 하는 경우 joinDataFrameDatasetjoin로 인해 적은 수의 태스크를 완료 하는 데 쿼리가 중단 되는 경우 메서드를 사용 하 여 기울이기 힌트를 지정할 수 있습니다 hint("skew")df.hint("skew") . 기울기 조인 최적화 힌트를 지정 하는에 대해 수행 됩니다 skew .

기본 힌트 뿐만 아니라 hint 열 이름, 열 이름 목록, 열 이름 및 기울이기 값과 같은 매개 변수 조합을 사용 하 여 메서드를 지정할 수 있습니다.

  • DataFrame 열 이름입니다. 기울이기 조인 최적화는의 지정 된 열에 대해 수행 됩니다 DataFrame .

    df.hint("skew", "col1")
    
  • DataFrame 및 여러 열 의 여러 열에 대해 기울이기 조인 최적화가 수행 됩니다 DataFrame .

    df.hint("skew", ["col1","col2"])
    
  • DataFrame, 열 이름 및 기울이기 값이 있습니다. 기울이기 조인 최적화는 열에서 기울이기 값을 사용 하 여 데이터에 대해 수행 됩니다.

    df.hint("skew", "col1", "value")
    

예제

이 예에서는 작업에 관련 된 여러 개체에 대해 기울이기 힌트를 지정 하는 방법을 보여 줍니다 DataFramejoin .

val joinResults = ds1.hint("skew").as("L").join(ds2.hint("skew").as("R"), $"L.col1" === $"R.col1")