IT 기술 따라잡기

AI 분야는 대기업 중심으로 모델링 하는 시대가 어느 정도 진행이 된 것 같습니다.

이제 완성된 모델을 각 비즈니스 단위에서 활용을 하는 시대가 시작 될 것이라고 저는 생각합니다.

개발자로서 다가오는 시대를 준비하기 위해 AI Web Development를 공부하고 있습니다.

작년에는 Dive into Deep Learning이라는 교재를 통해서 Deep Learning의 기초를 학습했고

올해는 OpenAI API, LangChain, Streamlit 등을 통해 AI Web App을 개발하는 공부를 하고 있습니다.

공부한 내용을 유투브를 통해서 나누고 있으니 많이 봐 주시고 여러분도 미래를 준비 하시기 바랍니다.

https://youtu.be/fQLSNnspGDc?si=4tVv0NN1absIViqX

그동안 진행 되어 온 Deep learning Fundmental 강좌는 이 Transformer Model을 이해하기 위해 배운 것입니다.

AI, Machine learning, Deep Learning 개념부터 시작해서 Linear Neural Networks, Multilayer Perceptron, CNN, RNN 모두 ChatGPT를 만든 Transformer를 이해하기 위해 공부한 것입니다.

AI 센세이션을 일으켰던 ChatGPT는 과연 어떤 과정을 통해서 만들어 졌는지 알아보겠습니다.

Transformer의 핵심 개념은 Attention Mechanism 입니다. 이 Attention Mechanism에 대해서도 배워 보겠습니다.

https://youtu.be/gtZQKidRm60

RNN (Recurrent Neural. Network, 순환신경망)

시계열(Sequencial)  데이터를 분석하기 위해 만든 딥러닝 모델. 

대량의 데이터 처리에 한계가 있었지만 그 한계를 극복하기 위해 아이디어를 짜 내면서 결국은 ChatGPT를 만든 Transformer 가 탄생하게 된다.

ChatGPT가 탄생하는 과정에서 빠뜨릴 수 없는 역사.

바로 그 RNN에 대해 알아보자.

https://youtu.be/k9i3bA1a-z0?si=rdACffh0JAeF5q4u

CNN (Convolutional Neural Network) - 합성곱 신경망

Dive into Deep Learning

이번 클립은 Deep Learning이 본격적으로 사용될 수 있는 계기를 만들었던 CNN 을 배워 봅니다.

1989년 벨 연구소에서 만든 LeNet 이 잠깐 사용되다가 잊혀 진 것을

2012년 토론토 대학교 팀이 AlexNet으로 부활을 시키고

그 팀 멤버 중 한명이 나중에 ChatGPT를 만들어 이 세상에 AI 붐을 일으킵니다.

AI 혁명에서 중요한 역할을 했던 CNN에 대해 배워 보겠습니다.

https://youtu.be/DwulX845Cvs?si=PT1MLWrh9GjxbSvg

저 위에 머리 약간 벗겨진 분이 일리야 서츠케버 (Ilya Sutskever) 입니다.

2012년 AlexNet 개발 팀 멤버였습니다.

바로 Deep Learning을 다시 보게 했던 그 유명한 국제 이미지넷 경연대회에서 1등한 팀입니다.

AlexNet 을 만든 팀이 세운 스타트업이 구글에 인수되면서 구글의 연구원으로 들어갑니다.

그가 바로 이세돌을 이겼던 알파고 개발을 진두 지휘했던 사람이죠.

그러다가 2015년에 인공 지능에 대한 견해 차이로 래리페이지와 갈등이 있었고 일론 머스크가 샘 올트먼과 함께 만든 OpenAI에 합류하게 됩니다. 일론 머스크가 적극적으로 영입에 앞장 섰다고 합니다.

거기서 그는 ChatGPT 및 GPT-4의 개발을 주도 했습니다.

그러다가 2023년 11월에 이사회가 샘 올트먼을 일방적으로 해고를 했는데요. 쿠테타에 비유 되기도 했죠.

그는 처음에는 이사회 편에 선 듯 했는데 나중에 임직원 90%가 샘 올트먼의 복귀를 요구하는 단체 행동을 벌이고 마이크로 소프트가 그들이 해고되거나 그만 둘 경우 모두 채용하겠다고 나서면서 직원들의 탄원서에 서명을 하게 됩니다. 그리고 사과도 했구요.

지금은 이사회에서는 사임을 했지만 OpenAI에서는 계속 일을 하고 있다고 합니다.

이런 흥미 진진한 AI의 딥러닝을 전세계에 첫선을 보이게 한 CNN에 대해 좀 더 깊이 한번 공부 해 보세요.

https://youtu.be/QwaPuylNYZI?si=48LoA2qxjCUlK4s8

AI 의 공부법

Linear Regression은 Deep Learning의 Learning 부분을 설명합니다.

Machine 이 스스로 Learning 하도록 만들었다는데 도대체 Machine 은 어떻게 스스로 Learning을 할까요?

똑똑한 AI 의 공부법을 배워 봅시다.

https://youtu.be/vBLJi3uYAOI?si=05hXIXtwkpQ9df5Q

내 생각에 AI 공부법은 무식하다고 생각합니다.

수천억개에 달하는 파라미터들 마다 하나하나 가중치 값을 바꿔 가면서 더하고 곱하고 미분하고 Softmax로 정규화해서 최선의 답을 찾아가니까요...

이번 유투브 강좌 에서는 AI 가 공부하는 방법의 가장 기본이 되는 Deep Learning 의 시작인 Linear Regression 에 대해 알아 봅니다.

Basic of AI (Artificial Intelligence), ML (Machine learning) and DL (Deep Learning)

Deep Learning Fundamental 강의 두번째 클립 입니다.

Dive into Deep learning 을 공부하고 난 후 Deep Learning 관련 내용을 정리했습니다.

이번 클립에서는 Machine Learning은 무엇을 배우기 위한 시스템인지를 알아 봅니다.

기계가 무엇을 배운다면 그 부분에서 일을 하던 인간들을 대체할 것입니다.

그러면 그 사람들은 직업을 잃을 가능성이 커집니다.

기계는 과연 Machine Learning을 통해서 무엇을 배우는 걸까요?

더불어서 AI, ML 그리고 DL이 무엇인지도 간략하게 살펴 봅니다.

https://youtu.be/Xkoh-IYqdK4?si=6CBagL2ViupS48cA

PPT (Korean) : https://docs.google.com/presentation/d/15KNzGnSnJx_4ToSBM2MrHiC2q5MiVe0plOs7f3NJuWM/edit?usp=sharing

PPT (English) : https://docs.google.com/presentation/d/1F4qxSAv9g13de99rS8fcp4e1LCfrILq8QaahXCPx1Pw/edit?usp=sharing

My AI Web Application Portfolio web site https://catchupai.streamlit.app/

시애틀에서 100키로미터 쯤 떨어진 곳에 Olympia 라는 곳이 있습니다.

그곳에서 1년동안 은둔 생활을 하면서 틈틈이 AI를 공부했습니다.

그 공부한 내용을 정리하는 의미에서 유투브 채널을 만들 결심을 했습니다.

드디어 첫번째 클립이 업로드 됐어요.

채널 이름은 CatchupAI (https://www.youtube.com/@catchupai).

AI 따라잡기 입니다.

10년전 미국에 와서 IT 기술 따라잡기라는 이름으로 이 티스토리 블로그 활동을 처음 시작했는데요.

이제 AI 따라잡기가 다시 시작 됐습니다.

https://youtu.be/G_X-NtEZ0us?si=heJ5Vz1pa2S9qa7T

작년 중순에 시애틀 지역 한인 IT 엔지니어 모임인 창발이라는 곳에서 AI Study Group에 가입해서 3개월간 Deep Learning Fundamental을 공부 했었어요.

교재는 Dive into Deep Learning 이었구요.

그 내용을 기반으로 Deep Learning Fundamental 을 주제로 PPT를 만들었었습니다.

한두번 이 PPT를 가지고 발표 할 기회가 있었는데요.

그 내용을 유투브로 만들었습니다.

그 중 첫번째 클립이 업로드 된 겁니다.

많은 시청 바라구요. 구독과 좋아요 꼭 부탁 드립니다.

이 클립은 첫번째 Introduce (Target) 과 추가로 인간과 AI 가 이 세상을 인식하는 방법을 비교하는 내용도 있습니다.

AI는 이 세상을 어떻게 이해하고 그것이 인간과 무엇이 다르고 무엇이 같은지 알려 드립니다.

대부분 같지만 약간 다른점이 있는데 그것이 무엇인지 위 유투브 보시고 확인해 보세요.

그 다른점 때문에 생성형 AI의 단점인 Hallucination이 발생하게 되는 겁니다.

그리고 AI 는 어떻게 학습을 하는지 아주 간단한 예제로 AI가 학습하는 과정을 그대로 따라해 봤습니다.

Back propagation이 무엇인지 그리고 그 방법 때문에 ChatGPT 같은 아주 놀라운 성능의 AI 제품이 나올 수 있었지만 동시에 Freshness problem이라는 한계점도 가지고 있다는 점.

위 유투브 내용을 보시면 들어 보지 못했던 흥미로운 점을 이해하실 수 있으실 거예요.

시간과 열정을 가지고 열심히 공부해서 나름대로 이해하고 깨달은 내용을 정리했습니다.

많은 관심과 구독 좋아요 부탁드립니다.

Note: Deep Learning Fundamental 강좌가 끝나면 지금 공부하고 있는 AI Web App 개발과 관련된 내용도 이어질 예정입니다.

제가 지금 개발하고 있는 저만의 AI Web App Portfolio는 아래 웹사이트로 가면 보실 수 있습니다.

https://catchupai.streamlit.app/