IT 기술 따라잡기

https://youtu.be/HThDRdksrL8?si=ScJbsbJNO4y35zsZ

유투브 비디오 썸네일로 사용하려고 AI에게 이미지를 그려 달라고 했는데 이렇게 그려 주더라구요.

예쁜 여자 프로그래머를 그려 달라고 했는데 너무너무 예쁘게 그려 주네요.

이 그림은 마이크로소프트의 코파일럿 (Copilot) 이 그려 준 겁니다.

실제 썸네일에는  GPT 4o 가 그려 준 아래 이미지를 사용했는데요. 

코파일럿과  GPT 4o 각각 자신만의 화풍이 있는 것 같아요.

다음 비디오로는  GPT 4o 에게 코딩 시키기를 해 볼 계획입니다.

얼마전 회사에서 필요로 하는 샘플  RAG 웹앱을 만들어야 했는데요. 

이 때 오늘 설명한  기능에서 사용한 소스코드를 base 로 해서 샘플 RAG 웹 앱을 만들었는데요.

저 혼자 하면 며칠은 해야 됐을 것 같은 일을  챗지피티랑 같이 하니까 단 몇시간만에 만들 수 있더라구요.

챗지피티가 초보 개발자 한두명 역할은 충분히 하는 것 같습니다.

챗지피티에게 코딩을 시키면서 여러가지 생각들이 들더라구요.

그 능력에 놀란 부분도 있었고 또 인공지능에게 코딩을 시키기 위해 인간이 가지고 있어야 할 능력이 무엇인지도 생각 해 볼 기회가 있었구요.

또 개발자의 미래 그리고 회사의 management 의 변화 뭐 이런 것들도 생각 해 봤구요.

하여간 다음 시간에는 챗지피티에게 코딩을 시켜서 웹 어플리케이션 하나 완성해 보는 과정을 다룰 거구요 또 실제 업무 현장에서 챗지피티와 함께 코딩을 하면서 느낀 점들을 같이 나누고자 합니다.

회사에서 주 업무는 클라우드 를 사용한 서버 관리 그 중에 요즘엔 쿠버네티스를 사용한 서버 관리 부분을 하고 있는데요.

AI 웹 앱도 컨테이너 기반으로 쿠버네티스를 이용한 서버 환경에서 관리하는 법도 제 블로그와 유투브 채널에 정리해서 올릴 계획입니다.

계속 관심 가져 주시고 구독과 좋아요를 눌러 주시면 미국 현장에서 배우는  IT 기술을 나누는 일에 큰 힘이 될 겁니다.

많은 협조 부탁드립니다.

https://www.youtube.com/@catchupai

LangChain - RAG - create_history_aware_retriever

지난 시간까지 RAG의 기본 기능을 배웠습니다.

AI Web Application에서 기본적으로 제공되어야 하는 것은 ChatBot 기능입니다.

이를 위해서는 Chat History를 관리해주는 기능이 추가 되어야 합니다.

AI는 이전 대화 내용을 기억하지 못하기 때문입니다.

이런 AI의 부족한 부분을 채워 주는 LangChain의 Retriever 가 바로 create_history_aware_retriever 입니다.

AI 하고 말이 통하게 만들어 주는 바로 그 Retriever.

오늘은 create_history_awere_retriever에 대해 배웁니다.

https://youtu.be/EQ6c9309T8c

오늘 매울 AI Web Application link는 아래에 있습니다. https://catchuplangchain.streamlit.app/LC_Quickstart_03_ConversationRetrievalChain

이번 비디오의 내용은 지난 비디오의 보충수업입니다.

지난 강좌에서 LangChain에서 Retrieval 함수를 사용해서 RAG의 가장 기본적인 기능을 구현 했습니다.

그것을 통해서 데이터 수집 - 데이터 split - 임베딩 처리 - 벡터스토어에 저장 - Retrieval - LLM 과 communication 이런 RAG의 기본적인 프로세스를 이해 했습니다.

이번에는 그 기능에 더해 데이터를 vector store에 저장하고 그 저장한 데이터를 Retrieval 하는 과정에서 어떻게 데이터를 가공하는지를 자세하게 알아 봅니다.

데이터를 어떻게 가공하느냐에 따라 성능과 속도 그리고 비용에까지 영향을 미칠 수 있습니다.

장문의 입력 데이터를 임베딩 처리 하기 전에 Chunk로 split 할 때 개발자는 어떤 것을 어떻게 control 해서 최적화를 시킬 수 있는지…

그리고 Vector store 에서 Retrieval 할 때 어떤 옵션들이 있고 그것을 어떻게 사용하는지를 설명했습니다.

실력있는 개발자는 단순히 기능만 구현하는 것 이외에 성능, 속도, 비용까지 고려 합니다.

한번 배울 때 확실하게 배워서 진짜 실력있는 개발자가 됩시다.

https://youtu.be/qC1GGZDyB14

그리고 아래로 가면 세미나에서 사용했던 presentation 내용을 보실 수 있습니다.

https://catchupai4sb.streamlit.app/

ChatGPT에게 김치찌개 한식당 이벤트에 사용할 그림을 만들어 달라 그랬더니.....

아주 이쁜 분이 김치찌개를 들고 소개하는 그림을 그려 주네요.

거기다 한복까지 입히고... 김치찌개도 너무 먹음직 스럽게 잘 그렸구요.

원근감을 살려서 너무 가깝거나 먼 곳은 흐리게 표현하고 핵심 부분은 찐하게 표현했습니다.

정말 그림을 잘 그리네요.

이번 편에서는 ChatGPT 승입니다. Gemini와 Copilot 보다 여러모로 ChatGPT가 더 우수했습니다.

LangChain Quick Start

Retrieval Chain 을 배웁니다.

지난 시간에 코딩으로 구현하기 위해 필요한 사전 지식들을 배웠다면
오늘은 본격적으로 소스코드를 분석하면서 RAG를 이해해 보도록 하겠습니다.

LangChain (랭체인)의 Retrieval Chain을 사용해서 구현한 저의 AI Web App 소스코드를 같이 분석하면서 공부해 봅시다.

제 소스코드를 복사해 가셔서 나름대로 입맛에 맞게 이것 저것 고치시면 RAG의 프로세스에 대해서 확실하게 아실 수 있으실 거예요.

https://youtu.be/WZ3050T-CVg?si=o_szhRIFsycIvSN2

AI로 이미지를 생성했는데 아주 잘 그리네요.

이번에는 ChatGPT 4o 보다 Copilot이 더 잘 그려서 그걸 썼어요.

LangChain - Retrieval Chain

이번에 제 유투브 비디오에서 다룬 내용은 랭체인 기능 중 Retrieval  Chain 기능 입니다.

LangChain Quick Start를 보면 소단원 4개 중 3개가 Retrieval 관련된 Topic 입니다.

AI Web App 개발 field 에서 가장 중요한 개념 중 하나가 RAG (Retrieval Augmented Generation) 입니다.

생성형 AI 의 한계를 보완하기 위해 나온 기술이 RAG 입니다.

이번 시간엔 이 RAG에 대해 이해할 수 있도록 도움이 되는 내용이 있습니다.

그 외에 LangChain의 Retrieval Chain을 활용한 AI Web App 구현을 이해하기 위해 미리 공부해 두어야 할 도구들과 API 들에 대해서도 설명합니다.

처음 배울 때 단디 해서 나의 AI Web App 개발 능력의 기초를 탄탄하게 다집시다.

이번 시간에 Retrieval Chain을 사용해서 직접 AI Web App 개발을 할 수 있는 사전 지식을 꼼꼼히 배우고 다음 비디오에서 이 기능을 사용해서 제가 개발한 AI Web App의 소스 코드 분석을 하겠습니다.

이 두 비디오만 다 보면 RAG의 개념과 프로세스를 확실히 아실 수 있을 겁니다.

https://youtu.be/M9QfY_-Plsc?si=Cm_sbm89xWvfhoKR

시애틀 지역을 기반으로 활동하고 있는 한인 NGO 단체인 BIGHUG에서 이 지역 소상공인들을 위한 AI 세미나를 마련했습니다.

BIGHUG에서 저에게 강의를 해 달라고 해서 나름대로 이곳에서 소상공업에 종사하시는 한인 분들이 어떻게 하면 좀 더 효율적으로 AI를 활용할 수 있을까 많이 고민을 해서 세미나를 준비 했습니다.

5월 19일 마이크로소프트 본사가 있는 레드몬드라는 곳에서 세미나가 진행 됐는데요.

그 행사 기사가 이 지역 신문에 났네요.

아래 기사 링크 입니다.

https://www.seattlekdaily.com/news/articleView.html?idxno=9517

관심이 많은 분야라서 그런지 참가자 분들이 질문도 많이 하시고 실습에도 적극적으로 참여하셔서 아주 좋은 시간이 됐습니다.

이날 세미나에 활용했던 자료로 제 유투브 채널에 강의 비디오를 만들어서 올리고 있습니다.

https://youtu.be/60jpzEGnPGw?si=0ya6lzEqU7qmHoNN

앞으로도 계속 보완을 해서 이곳에 사시는 한인 분들에게 AI 로 도움을 드릴 수 있는 일을 계속 하고 싶네요.

CNN (Convolutional Neural Network) - 합성곱 신경망

Dive into Deep Learning

이번 클립은 Deep Learning이 본격적으로 사용될 수 있는 계기를 만들었던 CNN 을 배워 봅니다.

1989년 벨 연구소에서 만든 LeNet 이 잠깐 사용되다가 잊혀 진 것을

2012년 토론토 대학교 팀이 AlexNet으로 부활을 시키고

그 팀 멤버 중 한명이 나중에 ChatGPT를 만들어 이 세상에 AI 붐을 일으킵니다.

AI 혁명에서 중요한 역할을 했던 CNN에 대해 배워 보겠습니다.

https://youtu.be/DwulX845Cvs?si=PT1MLWrh9GjxbSvg

저 위에 머리 약간 벗겨진 분이 일리야 서츠케버 (Ilya Sutskever) 입니다.

2012년 AlexNet 개발 팀 멤버였습니다.

바로 Deep Learning을 다시 보게 했던 그 유명한 국제 이미지넷 경연대회에서 1등한 팀입니다.

AlexNet 을 만든 팀이 세운 스타트업이 구글에 인수되면서 구글의 연구원으로 들어갑니다.

그가 바로 이세돌을 이겼던 알파고 개발을 진두 지휘했던 사람이죠.

그러다가 2015년에 인공 지능에 대한 견해 차이로 래리페이지와 갈등이 있었고 일론 머스크가 샘 올트먼과 함께 만든 OpenAI에 합류하게 됩니다. 일론 머스크가 적극적으로 영입에 앞장 섰다고 합니다.

거기서 그는 ChatGPT 및 GPT-4의 개발을 주도 했습니다.

그러다가 2023년 11월에 이사회가 샘 올트먼을 일방적으로 해고를 했는데요. 쿠테타에 비유 되기도 했죠.

그는 처음에는 이사회 편에 선 듯 했는데 나중에 임직원 90%가 샘 올트먼의 복귀를 요구하는 단체 행동을 벌이고 마이크로 소프트가 그들이 해고되거나 그만 둘 경우 모두 채용하겠다고 나서면서 직원들의 탄원서에 서명을 하게 됩니다. 그리고 사과도 했구요.

지금은 이사회에서는 사임을 했지만 OpenAI에서는 계속 일을 하고 있다고 합니다.

이런 흥미 진진한 AI의 딥러닝을 전세계에 첫선을 보이게 한 CNN에 대해 좀 더 깊이 한번 공부 해 보세요.