IT 기술 따라잡기

RNN (Recurrent Neural. Network, 순환신경망)

시계열(Sequencial)  데이터를 분석하기 위해 만든 딥러닝 모델. 

대량의 데이터 처리에 한계가 있었지만 그 한계를 극복하기 위해 아이디어를 짜 내면서 결국은 ChatGPT를 만든 Transformer 가 탄생하게 된다.

ChatGPT가 탄생하는 과정에서 빠뜨릴 수 없는 역사.

바로 그 RNN에 대해 알아보자.

https://youtu.be/k9i3bA1a-z0?si=rdACffh0JAeF5q4u

CNN (Convolutional Neural Network) - 합성곱 신경망

Dive into Deep Learning

이번 클립은 Deep Learning이 본격적으로 사용될 수 있는 계기를 만들었던 CNN 을 배워 봅니다.

1989년 벨 연구소에서 만든 LeNet 이 잠깐 사용되다가 잊혀 진 것을

2012년 토론토 대학교 팀이 AlexNet으로 부활을 시키고

그 팀 멤버 중 한명이 나중에 ChatGPT를 만들어 이 세상에 AI 붐을 일으킵니다.

AI 혁명에서 중요한 역할을 했던 CNN에 대해 배워 보겠습니다.

https://youtu.be/DwulX845Cvs?si=PT1MLWrh9GjxbSvg

저 위에 머리 약간 벗겨진 분이 일리야 서츠케버 (Ilya Sutskever) 입니다.

2012년 AlexNet 개발 팀 멤버였습니다.

바로 Deep Learning을 다시 보게 했던 그 유명한 국제 이미지넷 경연대회에서 1등한 팀입니다.

AlexNet 을 만든 팀이 세운 스타트업이 구글에 인수되면서 구글의 연구원으로 들어갑니다.

그가 바로 이세돌을 이겼던 알파고 개발을 진두 지휘했던 사람이죠.

그러다가 2015년에 인공 지능에 대한 견해 차이로 래리페이지와 갈등이 있었고 일론 머스크가 샘 올트먼과 함께 만든 OpenAI에 합류하게 됩니다. 일론 머스크가 적극적으로 영입에 앞장 섰다고 합니다.

거기서 그는 ChatGPT 및 GPT-4의 개발을 주도 했습니다.

그러다가 2023년 11월에 이사회가 샘 올트먼을 일방적으로 해고를 했는데요. 쿠테타에 비유 되기도 했죠.

그는 처음에는 이사회 편에 선 듯 했는데 나중에 임직원 90%가 샘 올트먼의 복귀를 요구하는 단체 행동을 벌이고 마이크로 소프트가 그들이 해고되거나 그만 둘 경우 모두 채용하겠다고 나서면서 직원들의 탄원서에 서명을 하게 됩니다. 그리고 사과도 했구요.

지금은 이사회에서는 사임을 했지만 OpenAI에서는 계속 일을 하고 있다고 합니다.

이런 흥미 진진한 AI의 딥러닝을 전세계에 첫선을 보이게 한 CNN에 대해 좀 더 깊이 한번 공부 해 보세요.

https://youtu.be/QwaPuylNYZI?si=48LoA2qxjCUlK4s8

AI 의 공부법

Linear Regression은 Deep Learning의 Learning 부분을 설명합니다.

Machine 이 스스로 Learning 하도록 만들었다는데 도대체 Machine 은 어떻게 스스로 Learning을 할까요?

똑똑한 AI 의 공부법을 배워 봅시다.

https://youtu.be/vBLJi3uYAOI?si=05hXIXtwkpQ9df5Q

내 생각에 AI 공부법은 무식하다고 생각합니다.

수천억개에 달하는 파라미터들 마다 하나하나 가중치 값을 바꿔 가면서 더하고 곱하고 미분하고 Softmax로 정규화해서 최선의 답을 찾아가니까요...

이번 유투브 강좌 에서는 AI 가 공부하는 방법의 가장 기본이 되는 Deep Learning 의 시작인 Linear Regression 에 대해 알아 봅니다.

Basic of AI (Artificial Intelligence), ML (Machine learning) and DL (Deep Learning)

Deep Learning Fundamental 강의 두번째 클립 입니다.

Dive into Deep learning 을 공부하고 난 후 Deep Learning 관련 내용을 정리했습니다.

이번 클립에서는 Machine Learning은 무엇을 배우기 위한 시스템인지를 알아 봅니다.

기계가 무엇을 배운다면 그 부분에서 일을 하던 인간들을 대체할 것입니다.

그러면 그 사람들은 직업을 잃을 가능성이 커집니다.

기계는 과연 Machine Learning을 통해서 무엇을 배우는 걸까요?

더불어서 AI, ML 그리고 DL이 무엇인지도 간략하게 살펴 봅니다.

https://youtu.be/Xkoh-IYqdK4?si=6CBagL2ViupS48cA

PPT (Korean) : https://docs.google.com/presentation/d/15KNzGnSnJx_4ToSBM2MrHiC2q5MiVe0plOs7f3NJuWM/edit?usp=sharing

PPT (English) : https://docs.google.com/presentation/d/1F4qxSAv9g13de99rS8fcp4e1LCfrILq8QaahXCPx1Pw/edit?usp=sharing

My AI Web Application Portfolio web site https://catchupai.streamlit.app/

시애틀에서 100키로미터 쯤 떨어진 곳에 Olympia 라는 곳이 있습니다.

그곳에서 1년동안 은둔 생활을 하면서 틈틈이 AI를 공부했습니다.

그 공부한 내용을 정리하는 의미에서 유투브 채널을 만들 결심을 했습니다.

드디어 첫번째 클립이 업로드 됐어요.

채널 이름은 CatchupAI (https://www.youtube.com/@catchupai).

AI 따라잡기 입니다.

10년전 미국에 와서 IT 기술 따라잡기라는 이름으로 이 티스토리 블로그 활동을 처음 시작했는데요.

이제 AI 따라잡기가 다시 시작 됐습니다.

https://youtu.be/G_X-NtEZ0us?si=heJ5Vz1pa2S9qa7T

작년 중순에 시애틀 지역 한인 IT 엔지니어 모임인 창발이라는 곳에서 AI Study Group에 가입해서 3개월간 Deep Learning Fundamental을 공부 했었어요.

교재는 Dive into Deep Learning 이었구요.

그 내용을 기반으로 Deep Learning Fundamental 을 주제로 PPT를 만들었었습니다.

한두번 이 PPT를 가지고 발표 할 기회가 있었는데요.

그 내용을 유투브로 만들었습니다.

그 중 첫번째 클립이 업로드 된 겁니다.

많은 시청 바라구요. 구독과 좋아요 꼭 부탁 드립니다.

이 클립은 첫번째 Introduce (Target) 과 추가로 인간과 AI 가 이 세상을 인식하는 방법을 비교하는 내용도 있습니다.

AI는 이 세상을 어떻게 이해하고 그것이 인간과 무엇이 다르고 무엇이 같은지 알려 드립니다.

대부분 같지만 약간 다른점이 있는데 그것이 무엇인지 위 유투브 보시고 확인해 보세요.

그 다른점 때문에 생성형 AI의 단점인 Hallucination이 발생하게 되는 겁니다.

그리고 AI 는 어떻게 학습을 하는지 아주 간단한 예제로 AI가 학습하는 과정을 그대로 따라해 봤습니다.

Back propagation이 무엇인지 그리고 그 방법 때문에 ChatGPT 같은 아주 놀라운 성능의 AI 제품이 나올 수 있었지만 동시에 Freshness problem이라는 한계점도 가지고 있다는 점.

위 유투브 내용을 보시면 들어 보지 못했던 흥미로운 점을 이해하실 수 있으실 거예요.

시간과 열정을 가지고 열심히 공부해서 나름대로 이해하고 깨달은 내용을 정리했습니다.

많은 관심과 구독 좋아요 부탁드립니다.

Note: Deep Learning Fundamental 강좌가 끝나면 지금 공부하고 있는 AI Web App 개발과 관련된 내용도 이어질 예정입니다.

제가 지금 개발하고 있는 저만의 AI Web App Portfolio는 아래 웹사이트로 가면 보실 수 있습니다.

https://catchupai.streamlit.app/