IT 기술 따라잡기

Coursera와 deepliarning.ai를 만들고 Google Brain 도 만들고 활동했던 스탠포드 대학의 앤드류 응 교수의 AI Agentic Workflows 프로젠테이션 입니다.

2024년도 들어서면서 AI 어플리케이션 개발의 트렌드로 각광받고 있는 AI Agentic Workflows 그리고 Multi Agent를 먼저 체험하고 그 경험을 공유합니다.

AI 로 어플리케이션을 개발해야 한다면 꼭 보아야 하는 강의 입니다.

예전에 몇번 봤는데 한국어로 번역하면서 꼼꼼이 보고 싶어서 한번 더 봤습니다.

역시나 놓치고 지나친 곳도 있고 다시 한번 생각 해 보니까 또 다른 insight도 생기고 정말 좋은 시간 이었습니다.

한글로 번역한 김에 Youtube Clip에 한글 자막 달아서 올립니다.

혹시 한번도 못 보신 분이나... 예전에 보셨더라도 한국어 자막을 보면서 더 자세히 이해해 보고 싶으신 분들 추천 드립니다.

이번 강좌에서는 앤드류 응 교수가 AI Agentic Workflow는 일을 시키면 금방 답이 안나올 수도 있어서 좀 기다려야 한다. 초보 매니저가 팀원 일 시켜놓고 5분마다 다 됐냐고 물어보는 식으로 접근하면 안된다고 얘기했을 때 누군가가 크게 웃었거든요.
그 사람이 예전에 수시로 확인하면서 Micro Management를 했던 옛 상관이 생각나서 웃었는지 아니면 AI 는 기계인데 사람처럼 대하라는 말이 웃겨서 웃었는지는 모르겠는데. 하옇든간 크게 웃었습니다.
그 웃음소리를 듣고 앤드류 응 교수가 제가 보기에 동양인 특유의 그런 어떤 웃음을 지었는데 수줍은 웃음인 듯도 하고 (설명은 못하겠고 직접 보세요.) 그 웃는 표정이 가장 자연스럽고 활짝 웃었던 웃음 인것 같았습니다.

그래서 그 장면을 썸네일로 사용했습니다.

https://youtu.be/8b7CLBCS3pg

https://youtu.be/QEf5FR0DiHk?si=TECvJ_RslHzm9fVl

https://youtu.be/HThDRdksrL8?si=ScJbsbJNO4y35zsZ

2024년 7월 10일 뉴욕에서 열린 AWS Summit New York 에서 발표된 서비스 입니다.

AWS App Studio 프롬프트 만으로 앱을 만들어 준다고 합니다.

사용자가 프롬프트로 요구조건을 주면 App Studio 가 Plan 을 제시하고 Plan 이 맘에 들면 그냥 OK 만 누르면 된다고 합니다.

서비스를 아직 써 보지 않아서 실제 광고만큼 유용하게 사용할 수 있는지는 아직 모르겠지만...

AI 어플리케이션이 단순 task 중심이 아닌 하나의 임무를 완료 할 때까지 사용자와 AI 간 커뮤니케이션을 통해 일을 하는 Workflow 쪽으로 요즘 트렌드가 바뀌는 것 같습니다.

이 서비스 이외에도 다른 AI 관련된 AWS 서비스가 이 Summit 에서 소개 됐습니다.

https://youtu.be/znk1PzEJk0g

이 Summit 에서 소개된 AWS 서비스 들입니다.

AWS Summit New York City 요약:

AWS 부사장 Matt Wood가 New York City에서 개최된 AWS Summit에서 기조 연설을 통해 Generative AI(생성적 AI)의 중요성과 혁신에 대해 강조했습니다. 주요 내용은 다음과 같습니다:

1. Generative AI의 중요성:
   • Generative AI는 데이터와 정보, 상호작용 방식에서 인터넷 초기와 비교될 정도로 큰 변화를 일으키고 있습니다.
   • Generative AI에 투자하는 조직들은 향후 30년간 엄청난 성장을 경험할 것입니다.
2. AWS의 Generative AI 관련 서비스:
   • AWS Bedrock은 Generative AI 애플리케이션을 구축하기 위한 서비스로 빠르게 성장 중입니다.
   • AWS는 AI 및 머신 러닝 워크로드를 처리하는 수십만 고객을 보유하고 있습니다.
   • AWS는 다양한 산업에서 Generative AI를 통해 혁신을 이루고 있습니다.
3. Regulated Industries에서의 빠른 채택:
   • 금융, 보험, 생명 과학, 공공 부문 등 규제된 산업에서도 빠르게 Generative AI를 채택하고 있습니다.
   • 이러한 산업들은 이미 데이터 전략, 데이터 품질, 데이터 거버넌스를 잘 이해하고 있어 AI 채택이 용이합니다.
4. 고객들이 AWS를 선택하는 이유:
   • AWS는 보안, 프라이버시, 데이터 통제에 중점을 둔 서비스를 제공합니다.
   • AI 서비스에서 데이터는 모델 개선에 사용되지 않으며, 인간이 데이터를 검토하지 않습니다.
   • AWS는 고객의 보안 요구사항을 충족하고 초과하는 능력을 제공합니다.
5. AWS의 AI 스택:
   • AWS는 인프라, 애플리케이션 구축, 데이터 분석 등을 포함한 폭넓은 AI 기능을 제공합니다.
   • Amazon Bedrock, Amazon Q 등의 서비스를 통해 다양한 AI 애플리케이션을 쉽게 구축할 수 있습니다.
6. Generative AI의 빠른 변화:
   • Generative AI는 빠르게 발전하고 있으며, AWS는 고객들이 최신 기술을 따라잡을 수 있도록 빠르게 새로운 기능을 제공합니다.
7. AWS의 지속 가능성 노력:
   • AWS는 전 세계적으로 500개 이상의 재생 가능 에너지 사이트를 운영하고 있으며, 2030년까지 모든 운영에 100% 재생 가능 에너지를 사용하기 위한 목표를 이미 달성했습니다.
   • AWS는 지속 가능성과 재생 가능 에너지에 대한 투자로 고객에게도 혜택을 제공합니다.
8. Generative AI의 미래:
   • Generative AI는 모든 애플리케이션, 프로세스, 사용 사례에 통합될 것이며, 이는 새로운 표준이 될 것입니다.
   • Generative AI의 장점을 활용하여 조직의 혁신과 성장을 촉진할 수 있습니다.

AWS는 Generative AI를 통해 고객들이 혁신하고 성장할 수 있도록 지원하며, 보안과 프라이버시를 중시하는 접근 방식을 강조하고 있습니다.

AWS App Studio 요약:

AWS App Studio는 생성적 AI를 활용한 저코드 애플리케이션 빌딩 서비스로, 다음과 같은 주요 기능과 특징을 제공합니다:

1. 애플리케이션 생성:
   • 자연어를 사용해 애플리케이션의 기능과 데이터 처리 방식을 설명할 수 있습니다.
   • 예를 들어, 직원 경비를 관리하고 승인하는 애플리케이션을 만들 때, 간단한 명령어로 앱을 생성할 수 있습니다.
2. 시각적 빌더:
   • 생성된 애플리케이션을 시각적으로 편집할 수 있습니다.
   • UI, 데이터 객체, 자동화 작업을 드래그 앤 드롭 방식으로 쉽게 추가 및 수정할 수 있습니다.
   • 변경 사항은 자동으로 적용되며, 언제든지 미리보기를 통해 확인할 수 있습니다.
3. 연동 및 알림:
   • AWS 및 타사 서비스와의 원활한 통합이 가능합니다.
   • 예를 들어, Slack과 연동하여 경비 승인 상태 변경 시 알림을 보내는 자동화 워크플로우를 설정할 수 있습니다.
4. 배포 및 관리:
   • 테스트 환경에 애플리케이션을 배포하여 팀이 테스트를 진행할 수 있습니다.
   • 애플리케이션의 배포, 공유, 롤백 등이 매우 쉽게 이루어지며, 내부적으로 보안, 확장성, 공유 기능을 갖춘 애플리케이션을 만들 수 있습니다.
5. 비용 효율성:
   • 애플리케이션 생성은 무료이며, 사용한 만큼만 비용을 지불합니다.
   • 유사한 서비스 대비 최대 80%의 비용 절감 효과를 제공합니다.

AWS App Studio는 IT 프로젝트 매니저, 데이터 엔지니어, 아키텍트 등 소프트웨어 개발 기술이 없는 기술 전문가들도 빠르고 쉽게 비즈니스 문제를 해결하는 애플리케이션을 만들 수 있게 해줍니다​

Amazon Q 요약:

Amazon Q는 AWS에서 제공하는 생성적 AI 기반의 소프트웨어 개발 지원 도구로, 두 가지 주요 기능을 제공합니다:

1. 소프트웨어 개발 지원:
   • Amazon Q는 소프트웨어 개발 생명주기 전체를 지원합니다. 코드 작성, 테스트, 배포, 유지보수를 포함한 여러 단계에서 자동화를 통해 개발자의 생산성을 높여줍니다.
   • 개발자는 주석을 입력하면 Q가 해당 주석을 기반으로 코드 추천을 제공합니다. Q의 코드 추천 수락률은 업계 최고 수준입니다.
   • Q는 보안 스캐닝 기능을 제공하여 코드의 보안 문제를 탐지하고 해결할 수 있습니다. 이로 인해 개발 초기 단계부터 보안 요구 사항을 충족시킬 수 있습니다.
   • Q Developer Agent는 코드 이해를 돕고, 코드 생성 및 수정 작업을 자동화합니다. 이를 통해 개발자는 코드 작성과 검토에 소요되는 시간을 줄이고, 더 창의적인 작업에 집중할 수 있습니다.
2. 엔터프라이즈 데이터 활용:
   • Q는 40개 이상의 데이터 소스와 연결할 수 있으며, 이를 통해 기업 내 데이터를 효과적으로 활용할 수 있습니다. S3, Salesforce, Google Drive, Microsoft 365 등의 데이터 소스와 통합됩니다.
   • Q는 사용자의 역할에 따라 접근 권한을 관리하여, 권한이 있는 데이터만을 반환합니다. 이를 통해 데이터 보안과 프라이버시를 보장합니다.
   • Q Apps 기능을 통해 사용자 지정 소프트웨어를 빠르고 쉽게 생성할 수 있습니다. Q는 사용자가 입력한 프롬프트를 기반으로 웹 양식을 생성하고, 이를 통해 반복적인 작업을 자동화할 수 있습니다.
   • Q는 엔터프라이즈 데이터와 연동하여, 대화 내용을 재사용 가능한 앱으로 변환할 수 있습니다. 이를 통해 사용자들은 효율적으로 작업을 수행할 수 있습니다.

Amazon Q는 소프트웨어 개발자와 엔터프라이즈 사용자 모두에게 큰 생산성 향상을 제공하며, AI를 활용한 자동화를 통해 업무의 효율성을 극대화할 수 있도록 돕습니다​(AWSAppStudio)​.

Amazon Q와 SageMaker Studio의 관계 요약:

Amazon Q는 AWS의 SageMaker Studio와 통합되어 데이터 과학자와 머신 러닝 엔지니어가 머신 러닝 모델을 더 쉽게 구축, 훈련 및 배포할 수 있도록 돕습니다. SageMaker Studio는 데이터와 머신 러닝 워크로드를 위한 통합 개발 환경(IDE)으로, 대부분의 모델이 구축되는 장소입니다.

주요 기능:

1. 자연어를 통한 모델 구축:
   • Amazon Q는 자연어를 사용해 머신 러닝 모델을 구축할 수 있는 기능을 제공합니다. 예를 들어, 고객은 Q에게 자연어로 모델 훈련 계획을 요청할 수 있으며, Q는 이에 대한 구체적인 단계를 제안합니다.
2. 실시간 코드 제안:
   • Q는 사용자가 작업 중인 코드와 모델에 대한 실시간, 상황에 맞는 코드 제안을 제공합니다. 이러한 제안은 전체 함수에서부터 코드 주석에 이르기까지 다양합니다.
3. 오류 해결 및 문제 해결:
   • 사용자가 작업 중 오류를 발견하면 Q는 자동으로 문제를 해결하고 근본 원인을 파악할 수 있습니다. 이는 많은 조직에서 머신 러닝 작업을 시작하거나 가속화하는 데 큰 도움을 줍니다.
4. 개발자 지원:
   • Q는 개발자의 의도를 이해하고 전체 전략을 제시하여 새로운 기능을 구현하는 데 필요한 코드 작성, 수정, 테스트 코드 생성, 문서 업데이트 등의 작업을 자동화합니다. 이를 통해 개발자는 보다 창의적인 작업에 집중할 수 있습니다.
5. 보안 스캐닝:
   • Q는 코드에 대한 보안 스캐닝을 제공하여 보안 문제를 조기에 발견하고 해결할 수 있습니다. 이는 조직의 코드 보안 요구 사항을 충족시키는 데 중요한 역할을 합니다.

SageMaker Studio와의 통합:

SageMaker Studio는 Q의 도움을 받아 데이터 과학자와 머신 러닝 엔지니어가 머신 러닝 모델을 구축, 훈련, 배포하는 전체 과정을 간소화합니다. Q는 SageMaker Studio 노트북 옆에서 실시간으로 작동하며, 데이터 과학자가 작업 중 궁금한 점을 질문하면 Q는 이에 대한 답변과 지침을 제공합니다. 이 통합을 통해 많은 조직이 머신 러닝 작업을 더 쉽게 시작하거나 가속화할 수 있습니다​

Agents for Amazon Bedrock 요약:

Amazon Bedrock Agents는 복잡한 다단계 작업을 수행할 수 있는 지능형 시스템을 구축하는 데 필요한 모든 것을 제공하는 서비스입니다. 주요 기능과 특징은 다음과 같습니다:

1. 자동 프롬프트 생성:
   • Amazon Bedrock Agents는 목표의 의도를 이해하고 자동으로 프롬프트를 생성합니다.
   • 이는 사용자의 목표를 이해하고 이에 맞는 작업 계획을 세우며, 다단계 작업을 자동으로 조정합니다 .
2. 메모리 유지 기능:
   • 에이전트는 상호작용을 통해 학습하고, 이전 작업의 맥락을 유지하여 더 나은 성능을 발휘할 수 있습니다.
   • 이 기능은 에이전트가 긴 시간 동안 더 전략적인 작업을 수행할 수 있도록 돕습니다 .
3. 코드 해석 기능:
   • Amazon Bedrock Agents는 자동으로 코드를 생성하고 실행하여 데이터를 분석하고, 그 결과를 그래프로 나타낼 수 있습니다.
   • 이는 에이전트가 더 명확하고 간결하게 작업할 수 있게 해줍니다 .
4. 다중 모델 지원:
   • Bedrock은 다양한 모델을 지원하여 각 모델의 강점을 활용할 수 있습니다.
   • 이는 특정 작업에 가장 적합한 모델을 선택하고 조합하여 더 높은 생산성을 발휘할 수 있게 합니다 .
5. 설명 가능성 및 보안:
   • 모든 작업 단계와 결정을 추적할 수 있어 에이전트의 행동을 완전히 설명할 수 있습니다.
   • 보안 및 프라이버시를 중시하여 데이터를 보호하고 안전한 환경에서 작업을 수행합니다 .

Amazon Bedrock Agents는 이러한 기능들을 통해 조직이 더 복잡하고 전략적인 작업을 자동화하고, 생산성을 극대화할 수 있도록 돕습니다.

Contextual Grounding Checks 요약:

Contextual Grounding Checks는 Amazon Bedrock의 새로운 보호 기능으로, 생성적 AI 모델의 정확성과 신뢰성을 향상시키기 위해 설계되었습니다. 이 기능은 다음과 같은 주요 특징을 가지고 있습니다:

1. 목표 및 작동 방식:
   • 이 기능은 생성적 AI 모델이 제공하는 응답이 실제 출처 자료에 기반하는지를 확인하여 잘못된 정보나 "환각(hallucinations)"을 방지합니다.
   • 사용자로부터 제공된 프롬프트, 지식 베이스에서 가져온 정보, 그리고 모델이 생성한 결과를 비교하여 응답이 출처 자료에 정확히 기반하고 있는지를 확인합니다.
2. 환각 감소:
   • Contextual Grounding Checks는 RAG(검색 증강 생성) 및 요약 작업에서 발생하는 환각을 75%까지 줄일 수 있습니다.
   • 이는 생성적 AI 시스템이 사용자에게 잘못된 정보를 제공할 가능성을 크게 줄여 줍니다.
3. 검증 절차:
   • 결과가 소스 자료에서 발견되었는지, 소스 자료를 통해 제공된 정보가 답변에 포함되어 있는지, 그리고 그 답변이 사용자 질문과 관련 있는지를 검증합니다.
   • 이러한 검증 절차를 통해, 모델이 정확하고 신뢰할 수 있는 정보를 제공하도록 합니다.
4. 보안 및 프라이버시:
   • 이 기능은 모델이 민감한 정보를 잘못 처리하거나, 유해한 콘텐츠를 생성하는 것을 방지하는 추가적인 보호 계층을 제공합니다.
   • 고객의 데이터를 보호하고, AI 시스템이 안전하고 책임감 있게 운영될 수 있도록 합니다.

Contextual Grounding Checks는 Amazon Bedrock 내에서 자동으로 작동하며, 고객들이 더욱 안전하고 신뢰할 수 있는 생성적 AI 응용 프로그램을 구축할 수 있도록 지원합니다 ​.

Expanded Data Connectors 요약:

Amazon Bedrock의 Expanded Data Connectors는 사용자가 다양한 데이터 소스에서 데이터를 쉽게 통합하여 생성적 AI 모델을 맞춤화할 수 있도록 돕는 기능입니다. 주요 기능과 특징은 다음과 같습니다:

1. 데이터 소스 통합:
   • 기존 데이터 소스와 벡터 소스 및 S3 외에도 Salesforce, Confluence, SharePoint와 같은 인기 있는 데이터 소스와 직접 연결할 수 있습니다.
   • 사용자 지정 웹 소스를 추가하여 URL 세트를 제공하면, 해당 URL에서 정보를 가져와 RAG(검색 증강 생성) 시스템에서 사용할 수 있습니다. 이는 실시간 정보에 이상적입니다​(AWSAppStudio)​.
2. 메타데이터 포함:
   • PDF, 테이블 형식의 데이터(CSV 파일 등)와 같은 고메타데이터 및 컨텍스트 정보를 사용하는 경우, 모델에 테이블 헤더와 같은 모든 메타데이터를 제공하여 정확성을 높이고 환각률을 줄일 수 있습니다​(AWSAppStudio)​.
3. 비즈니스 데이터 활용:
   • 비즈니스 데이터를 활용하여 매우 구체적인 필요에 맞게 모델을 맞춤화할 수 있습니다. 이는 모든 주요 데이터 소스를 Amazon Bedrock에 직접 연결할 수 있는 기능을 포함합니다​(AWSAppStudio)​.
4. 보안 및 관리:
   • 이 모든 기능은 완전히 관리되는 RAG 워크플로우로 제공되므로, 개별적으로 구성할 필요 없이 Bedrock 내에서 모두 작동합니다. 이를 통해 일관되고 신뢰할 수 있는 생성적 AI 시스템을 구축할 수 있습니다​(AWSAppStudio)​.

Expanded Data Connectors는 다양한 데이터 소스를 통합하여 맞춤형 생성적 AI 애플리케이션을 구축하고, 정확성을 높이며, 환각률을 줄이는 데 중요한 역할을 합니다.

Guardrails API 요약:

Guardrails API는 Amazon Bedrock의 중요한 기능으로, 생성적 AI 모델이 제공하는 결과의 정확성과 신뢰성을 보장하기 위해 설계되었습니다. 주요 기능과 특징은 다음과 같습니다:

1. 환각 탐지 및 차단:
   • Guardrails API는 생성적 AI 모델이 잘못된 정보를 생성하지 않도록 방지합니다. 특히, RAG(검색 증강 생성) 및 요약 작업에서 발생하는 환각을 75%까지 줄일 수 있습니다.
   • 사용자 프롬프트, 지식 베이스에서 가져온 정보, 모델이 생성한 결과를 비교하여 응답이 정확한 출처 자료에 기반하는지 확인합니다 .
2. 단어 및 주제 필터링:
   • 특정 단어나 주제를 필터링할 수 있습니다. 예를 들어, "농구"와 관련된 내용을 모델이 생성하지 않도록 설정할 수 있습니다.
   • 또한, 유해한 콘텐츠나 개인 식별 정보(PII)를 탐지하고 차단하는 보안 체크를 제공합니다 .
3. 모델에 대한 독립적 평가:
   • Bedrock 외부에서 호스팅되는 모델(SageMaker 모델 또는 EC2에서 호스팅되는 모델)에서도 동일한 기능을 사용할 수 있습니다.
   • 사용자 입력과 모델 응답을 독립적으로 평가할 수 있으며, 테스트 목적으로도 활용할 수 있습니다 .
4. 보안 및 신뢰성:
   • Guardrails API는 모델이 안전하고 책임감 있게 운영될 수 있도록 도와줍니다. 이를 통해 사용자들이 AI 시스템을 신뢰할 수 있게 됩니다.
   • API는 모델 응답의 출처를 명확히 하여 설명 가능성을 높이고, 데이터의 보안을 보장합니다 .

Guardrails API는 Amazon Bedrock 모델과 밀접하게 통합되어 있으며, 이를 통해 다양한 환경에서 안전하고 신뢰할 수 있는 생성적 AI 응용 프로그램을 구축할 수 있습니다 .

AWS Summit 2024에서 발표된 Anthropic's Claude 3 모델의 파인 튜닝(Fine-Tuning) 요약:

AWS는 2024년 AWS Summit에서 Anthropic의 Claude 3 모델에 대한 파인 튜닝 기능을 발표했습니다. 이 기능은 사용자가 자신의 데이터를 사용하여 Claude 3 모델을 맞춤화할 수 있도록 합니다. 주요 기능과 특징은 다음과 같습니다:

1. 맞춤형 모델 생성:
   • 사용자 데이터와 함께 Claude 3 모델을 파인 튜닝하여 특정 작업에 최적화된 맞춤형 모델을 만들 수 있습니다.
   • 이를 통해 더 정확하고 관련성 높은 결과를 도출할 수 있습니다.
2. 안전하고 프라이버시 보호:
   • 파인 튜닝 작업은 사용자의 데이터 프라이버시를 보호하면서 진행됩니다.
   • 사용자는 자신의 암호화 키를 사용하여 파인 튜닝 작업을 제어할 수 있습니다.
3. 쉬운 사용성:
   • 머신 러닝 경험이 없어도 몇 가지 간단한 단계만으로 파인 튜닝 작업을 설정할 수 있습니다.
   • Amazon Bedrock을 통해 파인 튜닝된 모델을 쉽게 통합하고 사용할 수 있습니다.
4. 실제 성능 개선:
   • SK Telecom과 Thomson Reuters와 같은 기업들이 파인 튜닝을 통해 최대 40%의 성능 향상을 경험했습니다.
   • 이러한 성능 향상은 고객 지원, 금융 분석, 컨텐츠 생성 등 다양한 분야에서 이루어졌습니다.
5. Anthropic과의 협력:
   • AWS와 Anthropic 간의 협력으로 인해, Claude 3 모델의 파인 튜닝 기능은 AWS에서만 제공됩니다.
   • 이 파트너십을 통해 고객들은 최첨단 AI 모델을 안전하고 효과적으로 사용할 수 있습니다.

이러한 파인 튜닝 기능을 통해 기업들은 Claude 3 모델을 더욱 효과적으로 활용할 수 있으며, 비즈니스 요구에 맞는 맞춤형 AI 솔루션을 구축할 수 있습니다.

전체 비디오는 아래 링크에서 보실 수 있습니다.

https://youtu.be/hVy1cIpu6II?si=UeOxpmlOeTOcPqyp

LangChain - RAG - create_history_aware_retriever

지난 시간까지 RAG의 기본 기능을 배웠습니다.

AI Web Application에서 기본적으로 제공되어야 하는 것은 ChatBot 기능입니다.

이를 위해서는 Chat History를 관리해주는 기능이 추가 되어야 합니다.

AI는 이전 대화 내용을 기억하지 못하기 때문입니다.

이런 AI의 부족한 부분을 채워 주는 LangChain의 Retriever 가 바로 create_history_aware_retriever 입니다.

AI 하고 말이 통하게 만들어 주는 바로 그 Retriever.

오늘은 create_history_awere_retriever에 대해 배웁니다.

https://youtu.be/EQ6c9309T8c

오늘 매울 AI Web Application link는 아래에 있습니다. https://catchuplangchain.streamlit.app/LC_Quickstart_03_ConversationRetrievalChain

이번 비디오의 내용은 지난 비디오의 보충수업입니다.

지난 강좌에서 LangChain에서 Retrieval 함수를 사용해서 RAG의 가장 기본적인 기능을 구현 했습니다.

그것을 통해서 데이터 수집 - 데이터 split - 임베딩 처리 - 벡터스토어에 저장 - Retrieval - LLM 과 communication 이런 RAG의 기본적인 프로세스를 이해 했습니다.

이번에는 그 기능에 더해 데이터를 vector store에 저장하고 그 저장한 데이터를 Retrieval 하는 과정에서 어떻게 데이터를 가공하는지를 자세하게 알아 봅니다.

데이터를 어떻게 가공하느냐에 따라 성능과 속도 그리고 비용에까지 영향을 미칠 수 있습니다.

장문의 입력 데이터를 임베딩 처리 하기 전에 Chunk로 split 할 때 개발자는 어떤 것을 어떻게 control 해서 최적화를 시킬 수 있는지…

그리고 Vector store 에서 Retrieval 할 때 어떤 옵션들이 있고 그것을 어떻게 사용하는지를 설명했습니다.

실력있는 개발자는 단순히 기능만 구현하는 것 이외에 성능, 속도, 비용까지 고려 합니다.

한번 배울 때 확실하게 배워서 진짜 실력있는 개발자가 됩시다.

https://youtu.be/qC1GGZDyB14

이번 영상은 제가 평상시에 궁금해 했던 LangChain과 BlockChain과 어떤 관계일까?에 대한 이야기 입니다.
제가 그것을 궁금하게 여긴 이유와 그 둘의 관계를 밝히기 위해 했던 조사 과정을 다루었습니다.

둘의 관계를 확실하게 밝혀 내지는 못했지만 그 조사 과정에서 LangChain에 BlockChain 관련한 API 가 있다는 것을 발견 했습니다.

그게 왜 있을까요?

뭐든지 알고 싶어서 조사하다 보면 뜻하지 않은 정보들이 얻어 걸려서 공부에 도움이 됩니다.

LangChain과 BlockChain 과의 관계에 대해 더 아시는 분 계시면 알려 주세요.

https://youtu.be/dfcGYS8IHmE?si=Dk5eysw0X0nFF7VZ

그리고 아래로 가면 세미나에서 사용했던 presentation 내용을 보실 수 있습니다.

https://catchupai4sb.streamlit.app/

ChatGPT에게 김치찌개 한식당 이벤트에 사용할 그림을 만들어 달라 그랬더니.....

아주 이쁜 분이 김치찌개를 들고 소개하는 그림을 그려 주네요.

거기다 한복까지 입히고... 김치찌개도 너무 먹음직 스럽게 잘 그렸구요.

원근감을 살려서 너무 가깝거나 먼 곳은 흐리게 표현하고 핵심 부분은 찐하게 표현했습니다.

정말 그림을 잘 그리네요.

이번 편에서는 ChatGPT 승입니다. Gemini와 Copilot 보다 여러모로 ChatGPT가 더 우수했습니다.

LangChain Quick Start

Retrieval Chain 을 배웁니다.

지난 시간에 코딩으로 구현하기 위해 필요한 사전 지식들을 배웠다면
오늘은 본격적으로 소스코드를 분석하면서 RAG를 이해해 보도록 하겠습니다.

LangChain (랭체인)의 Retrieval Chain을 사용해서 구현한 저의 AI Web App 소스코드를 같이 분석하면서 공부해 봅시다.

제 소스코드를 복사해 가셔서 나름대로 입맛에 맞게 이것 저것 고치시면 RAG의 프로세스에 대해서 확실하게 아실 수 있으실 거예요.

https://youtu.be/WZ3050T-CVg?si=o_szhRIFsycIvSN2

AI로 이미지를 생성했는데 아주 잘 그리네요.

이번에는 ChatGPT 4o 보다 Copilot이 더 잘 그려서 그걸 썼어요.