Azure AI 검색이란?

Azure AI Search(이전의 "Azure Cognitive Search")는 기존의 생성형 AI 검색 애플리케이션에서 사용자 소유 콘텐츠보다 대규모로 보안 정보 검색을 제공합니다.

정보 검색은 텍스트와 벡터를 표시하는 모든 앱의 기초입니다. 일반적인 시나리오에는 카탈로그 또는 문서 검색, 데이터 탐색 및 독점 접지 데이터에 대한 채팅 스타일 앱이 포함됩니다. 검색 서비스를 만들 때 다음 기능을 사용합니다.

구조적으로 검색 서비스는 인덱싱되지 않은 데이터를 포함하는 외부 데이터 저장소와 검색 인덱스에 쿼리 요청을 보내고 응답을 처리하는 클라이언트 앱 사이에 배치됩니다.

Azure AI Search architecture

클라이언트 앱에서 검색 환경은 Azure AI 검색의 API를 통해 정의되며 관련성 튜닝, 의미 체계 순위 지정, 자동 완성, 동의어 일치, 유사 일치, 패턴 일치, 필터링 및 정렬이 이 환경에 포함될 수 있습니다.

Azure 플랫폼에서 Azure AI 검색은 Azure 데이터 원본에서 데이터 수집/검색을 자동화하는 인덱서 형태, 이미지 및 자연어 처리와 같은 Azure AI 서비스의 소모성 AI 또는 Azure Machine Learning에서 만들거나 Azure Functions 내부에서 래핑하는 사용자 지정 AI를 통합하는 기술 세트 형태의 다른 Azure 서비스와 통합할 수 있습니다.

검색 서비스 내부

검색 서비스 자체의 두 가지 기본 워크로드는 인덱싱쿼리입니다.

  • 인덱싱은 콘텐츠를 검색 서비스에 로드하여 검색 가능하게 만드는 유입 프로세스입니다. 내부적으로 인바운드 텍스트는 토큰으로 처리되고 반전된 인덱스에 저장되며 인바운드 벡터는 벡터 인덱스에 저장됩니다. Azure AI 검색에서 인덱싱할 수 있는 문서 형식은 JSON입니다. 어셈블한 JSON 문서를 업로드하거나 인덱서를 사용하여 데이터를 검색하고 JSON으로 직렬화할 수 있습니다.

    인식 기술을 통한 AI 보강은 인덱싱의 확장입니다. 원본 문서에 이미지나 대규모 비정형 텍스트가 있는 경우 OCR을 수행하고 이미지를 설명하고 구조를 유추하며 텍스트를 번역하는 등의 기술을 연결할 수 있습니다. 데이터 청크 및 벡터화를 수행하는 기술을 연결할 수도 있습니다.

  • 인덱스가 검색 가능한 텍스트로 채워진 경우 클라이언트 앱에서 검색 서비스에 쿼리 요청을 보내고 응답을 처리하면 쿼리가 발생할 수 있습니다. 모든 쿼리 실행은 사용자가 제어하는 검색 인덱스를 통해 이루어집니다.

    의미 체계 순위 지정은 쿼리 실행 확장입니다. 검색 결과 처리에 언어 이해를 추가하여 의미상 관련성이 가장 큰 결과를 맨 위로 올립니다.

Azure AI 검색이 적합한 애플리케이션 시나리오는 다음과 같습니다.

  • 기존 전체 텍스트 검색과 차세대 벡터 유사성 검색에 사용합니다. 키워드 및 유사성 검색의 강도를 활용하는 정보 검색을 사용하여 생성형 AI 앱을 다시 만듭니다. 두 모달리티를 모두 사용하여 가장 관련성이 큰 결과를 검색합니다.

  • 이질적인 콘텐츠를 벡터와 텍스트로 구성된 사용자 정의 및 채워진 검색 인덱스에 통합합니다. 검색 가능한 항목을 소유하고 제어합니다.

  • 생성형 AI 및 RAG 앱에 대한 데이터 청크와 벡터화를 통합합니다.

  • 문서 수준에서 세분화된 액세스 제어를 적용합니다.

  • 인덱싱 및 쿼리 워크로드를 전용 검색 서비스로 오프로드합니다.

  • 관련성 튜닝, 패싯 탐색, 필터(지리 공간 검색 포함), 동의어 매핑 및 자동 완성과 같은 관련 기능을 쉽게 구현합니다.

  • Azure Blob Storage 또는 Azure Cosmos DB에 저장된 크고 구분되지 않는 텍스트, 이미지 파일 또는 애플리케이션 파일을 검색 가능한 청크로 변환합니다. 이는 Azure AI의 외부 처리를 추가하는 인식 기술을 통해 인덱싱하는 동안에 수행됩니다.

  • 언어 또는 사용자 지정 텍스트 분석을 추가합니다. 비 영어 콘텐츠가 있는 경우 Azure AI 검색은 Lucene 분석기와 Microsoft 자연어 프로세서를 모두 지원합니다. 또한 분음 부호 필터링이나 문자열의 패턴 인식 및 유지와 같은 원시 콘텐츠의 특수 처리를 수행하도록 분석기를 구성할 수도 있습니다.

특정 기능에 대한 자세한 내용은 Azure AI 검색 기능을 참조하세요.

시작하는 방법

기능은 Azure Portal, 간단한 REST API 또는 Azure SDK(예: .NET용 Azure SDK)를 통해 노출됩니다. Azure Portal은 인덱스 및 기술 집합을 프로토타이핑하고 쿼리하기 위한 도구를 사용하여 서비스 관리 및 콘텐츠 관리를 지원합니다.

핵심 검색 기능에 대한 엔드투엔드 탐색은 다음 네 단계로 수행할 수 있습니다.

  1. 계층 및 지역을 결정합니다. 무료 Search 서비스는 구독당 하나만 허용됩니다. 무료 계층에서 모든 빠른 시작을 완료할 수 있습니다. 더 많은 용량과 기능을 사용하려면 청구 가능한 계층이 필요합니다.

  2. Azure Portal에서 검색 서비스를 만듭니다.

  3. 데이터 가져오기 마법사로 시작합니다. 기본 제공 샘플 또는 지원되는 데이터 원본을 선택하여 몇 분 안에 인덱스를 만들고, 로드하고, 쿼리합니다.

  4. 포털 클라이언트를 사용하여 방금 만든 검색 인덱스를 쿼리하여 검색 탐색기로 완료합니다.

또는 원자성 단계에서 검색 인덱스를 만들고, 로드하고, 쿼리할 수 있습니다.

  1. 포털, REST API, .NET SDK 또는 다른 SDK를 사용하여 검색 인덱스를 만듭니다. 인덱스 스키마는 검색 가능한 콘텐츠의 구조를 정의합니다.

  2. "푸시" 모델을 사용하여 콘텐츠를 업로드하여 모든 소스에서 JSON 문서를 푸시하거나 소스 데이터가 지원되는 형식인 경우 "풀" 모델(인덱서)을 사용합니다.

  3. 포털, REST API, .NET SDK 또는 다른 SDK에서 검색 탐색기를 사용하여 인덱스를 쿼리합니다.

복잡한 솔루션이나 사용자 지정 솔루션에 대한 도움이 필요하면 Azure AI 검색 기술에 대해 심도 깊은 전문 지식을 갖춘 파트너에게 문의하세요.

검색 옵션 비교

Azure AI 검색이 다른 검색 관련 솔루션과 어떻게 비교되는지 질문하는 고객이 많습니다. 다음 표에 주요 차이점이 요약되어 있습니다.

비교 대상 주요 차이점
Microsoft Search Microsoft Search는 SharePoint의 콘텐츠를 쿼리해야 하는 Microsoft 365 인증 사용자를 위한 것입니다. Azure AI 검색은 Azure 및 모든 JSON 데이터 세트에서 콘텐츠를 끌어옵니다.
Bing Bing API는 Bing.com 인덱스를 쿼리하여 용어와 일치시킵니다. Azure AI 검색은 콘텐츠로 채워진 인덱스를 검색합니다. 데이터 수집과 스키마를 제어합니다.
데이터베이스 검색 SQL Server에는 전체 텍스트 검색이, Azure Cosmos DB 및 유사 기술에는 쿼리 가능한 인덱스가 있습니다. 어휘 분석기 및 관련성 튜닝과 같은 기능이나 이질적인 원본의 콘텐츠가 필요한 경우 Azure AI 검색이 매력적인 대안이 됩니다. 리소스 사용률도 또 다른 변곡점입니다. 인덱싱 및 쿼리는 계산 집약적입니다. DBMS에서 검색을 오프로드하면 트랜잭션 처리에 사용되는 시스템 리소스가 보존됩니다.
전용 검색 솔루션 광범위한 기능을 제공하는 전용 검색을 결정했다고 가정하면 검색 기술 간에 최종 범주 비교가 수행됩니다. 클라우드 공급자 중에서 Azure AI 검색은 Azure의 콘텐츠를 통한 벡터, 키워드 및 하이브리드 워크로드에, 주로 정보 검색과 콘텐츠 탐색 모두를 검색하는 데 사용하는 앱에 가장 강력합니다.

주요 장점은 다음과 같습니다.

  • 문장, 이미지, 그래프 등에 대한 벡터 포함을 저장, 인덱싱 및 검색합니다.
  • 검색 용어가 정확히 일치하지 않더라도 검색 쿼리와 의미상 유사한 정보를 찾습니다.
  • 최상의 키워드 및 벡터 검색을 위해 하이브리드 검색을 사용합니다.
  • 의미 체계 순위 지정 및 채점 프로필을 통한 관련성 튜닝
  • 인덱싱 계층에서의 데이터 통합(크롤러)
  • 콘텐츠 텍스트와 벡터를 검색할 수 있도록 하는 변환을 위한 Azure AI 통합
  • 신뢰할 수 있는 연결에 대한 Microsoft Entra 보안 및 인터넷이 없는 시나리오에서 프라이빗 연결을 위한 Azure Private Link
  • 전체 검색 환경: 56개 언어에서 언어 및 사용자 지정 텍스트 분석. 패싯, 쿼리 자동 완성 및 제안된 결과, 동의어
  • Azure 규모, 안정성 및 전체 도달률