RAG를 사용하여 Python 엔터프라이즈 채팅 샘플 시작

이 문서에서는 Python용 엔터프라이즈 채팅 앱 샘플을 배포하고 실행하는 방법을 보여 줍니다. 이 샘플에서는 가상 회사의 직원 혜택에 대한 답변을 얻기 위해 Azure AI Search에서 Python, Azure OpenAI Service 및 RAG(검색 증강 세대) 를 사용하여 채팅 앱을 구현합니다. 앱은 직원 핸드북, 혜택 문서 및 회사 역할 및 기대치 목록을 포함한 PDF 파일로 시드됩니다.

• 데모 비디오

지금 시작

이 문서의 지침을 따르면 다음을 수행할 수 있습니다.

• Azure에 채팅 앱을 배포합니다.
• 직원 혜택에 대한 답변을 얻습니다.
• 응답 동작을 변경하려면 설정을 변경합니다.

이 절차를 완료하면 사용자 지정 코드를 사용하여 새 프로젝트 수정을 시작할 수 있습니다.

이 문서는 Azure OpenAI Service 및 Azure AI Search를 사용하여 채팅 앱을 빌드하는 방법을 보여 주는 문서 모음의 일부입니다.

컬렉션의 다른 문서는 다음과 같습니다.

• .NET
• Java
• JavaScript
• JavaScript 프런트 엔드 + Python 백 엔드

아키텍처 개요

다음 다이어그램은 채팅 앱의 간단한 아키텍처를 보여 줍니다.

아키텍처의 주요 구성 요소는 다음과 같습니다.

• 대화형 채팅 환경을 호스팅하는 웹 애플리케이션입니다.
• 사용자 고유의 데이터에서 답변을 가져오는 Azure AI Search 리소스입니다.
• 다음을 제공하는 Azure OpenAI Service:
  • 고유의 데이터에 대한 검색을 향상시키는 키워드입니다.
  • OpenAI 모델의 답변.
  • ada 모델의 포함

비용

이 아키텍처의 대부분의 리소스는 기본 또는 사용량 가격 책정 계층을 사용합니다. 사용량 가격 책정은 사용량을 기준으로 책정됩니다. 즉, 사용한 만큼만 비용을 지불하면 됩니다. 이 문서를 완료하려면 요금이 발생하지만 요금은 최소화됩니다. 문서를 완료하면 리소스를 삭제하여 요금 발생을 중지할 수 있습니다.

샘플 리포지토리의 비용에 대해 자세히 알아봅니다.

필수 조건

이 문서를 완료하는 데 필요한 모든 종속성을 갖춘 개발 컨테이너 환경을 사용할 수 있습니다. GitHub Codespaces(브라우저)에서 개발 컨테이너를 실행하거나 Visual Studio Code를 사용하여 로컬로 실행할 수 있습니다.

이 문서를 사용하려면 다음 필수 구성 요소가 필요합니다.

Codespaces(권장)

1. Azure 구독 - 체험 구독 만들기
2. Azure 계정 권한 - Azure 계정에는 사용자 액세스 관리자 또는 소유자와 같은 Microsoft.Authorization/roleAssignments/write 권한이 있어야 합니다.
3. 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한. 현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다. 문제가 있는 경우 이 리포지토리에서 문제를 엽니다.
4. GitHub 계정

Visual Studio Code

1. Azure 구독 - 체험 구독 만들기
2. Azure 계정 권한 - Azure 계정에는 사용자 액세스 관리자 또는 소유자와 같은 Microsoft.Authorization/roleAssignments/write 권한이 있어야 합니다.
3. 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한. 현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다. 문제가 있는 경우 이 리포지토리에서 문제를 엽니다.
4. Azure Developer CLI
5. Docker Desktop - Docker Desktop이 아직 실행되고 있지 않은 경우 시작합니다.
6. Visual Studio Code
7. 개발 컨테이너 확장

개방형 개발 환경

이 문서를 완료하려면 모든 종속성이 설치된 개발 환경으로 지금 시작합니다.

GitHub Codespaces(권장)

GitHub Codespaces는 사용자 인터페이스로 웹용 Visual Studio Code를 사용하여 GitHub에서 관리하는 개발 컨테이너를 실행합니다. 가장 간단한 개발 환경을 위해서는 GitHub Codespaces를 사용하여 이 문서를 완료하는 데 필요한 올바른 개발자 도구와 종속성을 미리 설치합니다.

Important

모든 GitHub 계정은 2개의 코어 인스턴스를 사용하여 매월 최대 60시간 동안 Codespaces를 무료로 사용할 수 있습니다. 자세한 내용은 GitHub Codespaces 월별 포함 스토리지 및 코어 시간을 참조하세요.

1. Azure-Samples/azure-search-openai-demo GitHub 리포지토리의 main 분기에 새 GitHub Codespace를 만드는 프로세스를 시작합니다.

2. 개발 환경과 설명서를 동시에 사용하려면 다음 단추를 마우스 오른쪽 단추로 클릭하고 새 창에서 링크 열기를 선택합니다.

   GitHub Codespaces에서 이 프로젝트 열기

3. codespace 만들기 페이지에서 codespace 구성 설정을 검토한 다음, 새 codespace 만들기를 선택합니다.

   

4. codespace가 생성될 때까지 기다립니다. 이 프로세스에는 몇 분 정도 걸릴 수 있습니다.

5. 화면 하단의 터미널에서 Azure 개발자 CLI를 사용하여 Azure에 로그인합니다.

   azd auth login
   

6. 터미널에서 코드를 복사한 다음 브라우저에 붙여넣습니다. 지침에 따라 Azure 계정으로 인증합니다.

7. 이 문서의 나머지 작업은 이 개발 컨테이너의 컨텍스트에서 수행됩니다.

Visual Studio Code

Visual Studio Code용 Dev Containers 확장을 사용하려면 로컬 컴퓨터에 Docker를 설치해야 합니다. 확장은 이 문서를 완료하기 위해 사전 설치된 올바른 개발자 도구 및 종속성과 함께 Docker 호스트를 사용하여 개발 컨테이너를 로컬로 호스팅합니다.

1. 빈 디렉터리의 컨텍스트에서 Visual Studio Code를 엽니다.

2. Visual Studio Code에 Dev Containers 확장이 설치되어 있는지 확인합니다.

3. 편집기에서 새 터미널을 엽니다.

   팁

   기본 메뉴를 사용하여 터미널 메뉴 옵션으로 이동한 다음, 새 터미널 옵션을 선택할 수 있습니다.

   

4. Azure 개발자 CLI를 사용하여 Azure에 로그인합니다.

   azd auth login
   

   메시지가 표시되면 터미널에서 코드를 복사한 다음 브라우저에 붙여넣습니다. 지침에 따라 Azure 계정으로 인증합니다.

5. Azure 개발자 CLI에서 샘플 프로젝트를 사용하려면 폴더를 만들고 초기화합니다.

   azd init -t azure-search-openai-demo
   

   이 리포지토리를 복제할 필요는 없습니다.

6. 명령 팔레트를 열고 Dev Containers 명령을 검색한 다음, Dev Containers: 컨테이너에서 다시 열기를 선택합니다.

   팁

   Visual Studio Code는 개발 컨테이너에서 기존 폴더를 다시 열라는 메시지를 자동으로 표시할 수 있습니다. 이는 명령 팔레트를 사용하여 컨테이너에서 현재 작업 영역을 다시 여는 것과 기능적으로 동일합니다.

7. 터미널 창을 다시 열고(Ctrl) + ` 열어 둡니다.

8. 이 프로젝트의 나머지 연습은 이 개발 컨테이너의 컨텍스트에서 수행됩니다.

배포 및 실행

샘플 리포지토리에는 Azure에 채팅 앱을 배포하는 데 필요한 모든 코드와 구성 파일이 포함되어 있습니다. 다음 단계에서는 샘플을 Azure에 배포하는 과정을 안내합니다.

Azure에 채팅 앱 배포

Important

이 섹션에서 만들어진 Azure 리소스는 주로 Azure AI 검색 리소스에서 즉각적인 비용이 발생합니다. 이러한 리소스는 명령이 완전히 실행되기 전에 중단하더라도 비용이 발생할 수 있습니다.

1. 다음 Azure 개발자 CLI 명령을 실행하여 Azure 리소스를 프로비전하고 소스 코드를 배포합니다.

   azd up
   

2. 환경 이름을 입력하라는 메시지가 표시되면 짧고 소문자로 유지합니다. 예들 들어 myenv입니다. 리소스 그룹 이름의 일부로 사용됩니다.

3. 메시지가 표시되면 리소스를 만들 구독을 선택합니다.

4. 처음 위치를 선택하라는 메시지가 표시되면 가까운 위치를 선택합니다. 이 위치는 호스팅을 포함한 대부분의 리소스에 사용됩니다.

5. OpenAI 모델 또는 문서 인텔리전스 리소스에 대한 위치를 묻는 메시지가 표시되면 가장 가까운 위치를 선택합니다. 첫 번째 위치와 동일한 위치를 사용할 수 있는 경우 해당 위치를 선택합니다.

6. 앱이 배포될 때까지 기다립니다. 배포를 완료하는 데 5~10분이 걸릴 수 있습니다.

7. 애플리케이션이 성공적으로 배포되면 터미널에 URL이 표시됩니다.

8. 브라우저에서 채팅 애플리케이션을 열려면 (✓) Done: Deploying service webapp이라고 표시된 URL을 선택합니다.

   

채팅 앱을 사용하여 PDF 파일에서 답변 가져오기

채팅 앱에는 PDF 파일의 직원 복리후생 정보가 미리 로드되어 있습니다. 채팅 앱을 이용하여 혜택에 대해 질문할 수 있습니다. 다음 단계에서는 채팅 앱을 사용하는 과정을 안내합니다.

1. 브라우저의 채팅 텍스트 상자에서 성능 검토에서 수행되는 작업을 선택하거나 입력합니다.

   

2. 답변에서 인용을 선택합니다.

   

3. 오른쪽 창에서 탭을 사용하여 답변이 생성된 방법을 이해합니다.

   탭	설명
   사고 과정	이는 채팅의 상호 작용에 대한 스크립트입니다. 시스템 프롬프트(content)와 사용자 질문(content)을 볼 수 있습니다.
   지원 내용	여기에는 사용자의 질문에 답변하기 위한 정보와 원본 재질이 포함됩니다. 원본 자료 인용 수는 개발자 설정나와 있습니다. 기본값은 3입니다.
   인용	인용이 포함된 원래 페이지가 표시됩니다.

4. 완료되면 선택한 탭을 다시 선택하여 창을 닫습니다.

채팅 앱 설정을 사용하여 응답 동작 변경

채팅의 지능은 OpenAI 모델과 해당 모델과 상호 작용하는 데 사용되는 설정에 의해 결정됩니다.

설정	설명
프롬프트 템플릿 재정의	이는 답변을 생성하는 데 사용되는 프롬프트입니다.
온도	최종 채팅 완료 API 호출에 사용되는 온도로, 모델의 "창의성"을 제어하는 0에서 1 사이의 숫자입니다.
최소 검색 점수	답변을 생성하는 데 사용되는 검색 결과의 최소 점수입니다. 범위는 사용되는 검색 모드에 따라 달라집니다.
최소 재전송 점수	답변을 생성하는 데 사용되는 검색 결과의 의미 체계 순위에서 최소 점수입니다. 범위는 0-4입니다.
이 많은 검색 결과를 검색합니다.	답변을 생성하는 데 사용되는 검색 결과의 수입니다. 인용의 사고 과정 및 지원 콘텐츠 탭에서 반환된 이러한 원본을 확인할 수 있습니다.
범주 제외	검색 결과에서 제외되는 문서 범주입니다.
검색을 위해 의미 순위매기기 사용	이는 기계 학습을 사용하여 검색 결과의 관련성을 높이는 Azure AI 검색의 기능입니다.
전체 문서 대신 쿼리 컨텍스트 요약을 사용합니다.	Use semantic ranker와 Use query-contextual summaries를 모두 선택하면 LLM은 순위가 가장 높은 문서의 모든 구절 대신 주요 구절에서 추출된 캡션을 사용합니다.
후속 질문 제안	채팅 앱에서 답변에 따라 후속 질문을 제안하도록 합니다.
검색 모드	벡터 + 텍스트는 검색 결과가 문서의 텍스트와 문서의 포함을 기반으로 한다는 의미입니다. 벡터는 검색 결과가 문서의 포함을 기반으로 한다는 의미입니다. 텍스트는 검색 결과가 문서의 텍스트를 기반으로 한다는 의미입니다.
채팅 완료 응답 스트리밍	응답에 대한 전체 답변을 사용할 수 있게 될 때까지 기다리는 대신 응답을 스트리밍합니다.

다음 단계에서는 설정을 변경하는 과정을 안내합니다.

1. 브라우저에서 개발자 설정 탭을 선택합니다.

2. 후속 질문 제안 확인란을 선택하고 동일한 질문을 다시 질문합니다.

   What happens in a performance review?
   

   채팅은 다음과 같은 제안된 후속 질문을 반환했습니다.

   1. What is the frequency of performance reviews?
   2. How can employees prepare for a performance review?
   3. Can employees dispute the feedback received during the performance review?
   

3. 설정 탭에서 검색에 의미 순위매기기 사용을 선택 취소합니다.

4. 같은 질문을 다시 하시겠습니까?

   What happens in a performance review?
   

5. 답변의 차이점은 무엇인가요?

   의미 체계 순위: Contoso Electronics의 성과 검토 중에 직원들은 직장에서의 성공과 과제에 대해 논의할 기회를 갖게 됩니다(1). 검토는 직원들이 자신의 역할을 개발하고 성장시키는 데 도움이 되는 긍정적이고 건설적인 피드백을 제공합니다(1). 직원은 성과 검토에 대한 서면 요약을 받게 되며, 여기에는 향후 연도(1)에 대한 성과, 피드백 및 목표 및 목표에 대한 평가가 포함됩니다. 성과 검토는 관리자와 직원 간의 양방향 대화입니다(1).

   의미 체계 순위가 없는 경우: Contoso Electronics에서 성과 검토를 수행하는 동안 직원들은 직장에서의 성공과 과제에 대해 논의할 수 있습니다. 긍정적이고 건설적인 피드백은 직원들이 자신의 역할을 개발하고 성장시키는 데 도움이 됩니다. 향후 연도의 성과, 피드백 및 목표 등급을 포함하여 성과 검토에 대한 서면 요약이 제공됩니다. 검토는 관리자와 직원 간의 양방향 대화입니다(1).

리소스 정리

Azure 리소스 정리

이 문서에서 만들어진 Azure 리소스는 Azure 구독에 요금이 청구됩니다. 앞으로 이러한 리소스가 필요하지 않을 것으로 예상되는 경우 추가 요금이 발생하지 않도록 삭제합니다.

다음 Azure 개발자 CLI 명령을 실행하여 Azure 리소스를 삭제하고 소스 코드를 제거합니다.

azd down --purge --force

스위치는 다음을 제공합니다.

• purge: 삭제된 리소스는 즉시 제거됩니다. 이렇게 하면 Azure OpenAI TPM을 다시 사용할 수 있습니다.
• force: 삭제는 사용자 동의 없이도 일시적으로 발생합니다.

GitHub Codespaces 정리

GitHub Codespaces

GitHub Codespaces 환경을 삭제하면 계정에 대해 얻을 수 있는 코어당 무료 사용 권한을 최대화할 수 있습니다.

중요

GitHub 계정의 자격에 대한 자세한 내용은 GitHub Codespaces 월별 포함된 스토리지 및 코어 시간을 참조하세요.

1. GitHub Codespaces 대시보드(https://github.com/codespaces)에 로그인합니다.

2. Azure-Samples/azure-search-openai-demo GitHub 리포지토리에서 제공된 현재 실행 중인 Codespaces를 찾습니다.

   

3. codespace에 대한 상황에 맞는 메뉴를 열고 삭제를 선택합니다.

   

Visual Studio Code

반드시 로컬 환경을 정리할 필요는 없지만 실행 중인 개발 컨테이너를 중지하고 로컬 작업 영역의 컨텍스트에서 실행 중인 Visual Studio Code로 돌아갈 수 있습니다.

1. 명령 팔레트를 열고 Dev Containers 명령을 검색한 다음, Dev Containers: 로컬에서 폴더 다시 열기를 선택합니다.

   

팁

Visual Studio Code는 실행 중인 개발 컨테이너를 중지하지만 컨테이너는 여전히 Docker에 중지된 상태로 존재합니다. 항상 Docker에서 컨테이너 인스턴스, 컨테이너 이미지, 볼륨을 삭제하여 로컬 머신에서 더 많은 공간을 확보할 수 있습니다.

도움말 보기

이 샘플 리포지토리는 문제 해결 정보를 제공합니다.

문제가 해결되지 않으면 리포지토리의 문제에 문제를 기록합니다.

다음 단계

• 엔터프라이즈 채팅 앱 GitHub 리포지토리
• Azure OpenAI를 사용하여 채팅 앱 빌드 모범 사례 솔루션 아키텍처
• Azure AI 검색을 사용한 생성 AI 앱의 액세스 제어
• Azure API Management를 사용하여 엔터프라이즈급 OpenAI 솔루션 빌드
• 하이브리드 검색 및 순위 지정 기능으로 탁월한 벡터 검색 성능 제공