GPT 3.5부터 일반들에게 LLM 및 AI의 발전이 널리 알려지기 시작했는데요.
3.5 - 4 - 4 turbo - 4o 이런식으로 발전하다가 갑자기 오픈AI는
o1이라는 모델을 발표합니다.
CEO 올트만(알트만)은 해당 모델을 GPT5로 부르는 것을 고려했었다는 썰이 있는데요,
저도 AI분야에 깊은 지식이 있는 것은 아니지만
기존 숫자로 발전해 오던 모델의 경우 단순히 스케일링(규모를 키우는) 법칙을 따라 모델의 성능이 올라갔었는데
Cot(chain of Thought) 프롬프팅의 영향을 받아 TTC(Test Time Compute)를 도입하여 나온 추론(Reasoning) 모델이 O1입니다. 그리고 현재 o1의 후속 모델인 o3로의 발전은 과거 알파고를 학습시킨 강화학습(RL)을 적용한 것으로 추정되고 있습니다.
처음에는 그저 컴퓨팅 능력과 학습데이터 스케일을 키우는 식으로 무지막지하게 모델을 키우다보면 엄청난 성능의 인공지능이 나오지 않을까 생각하다가 이제는 인간처럼 스스로 생각에 대해 생각해보고 단계별로 생각하고 그 생각 과정의 결과에 점수를 메기는 방식으로 모델을 향상시키는 방법을 도입한 것이 아닌가 생각합니다.
알파고는 처음 인간의 기보를 무작정 학습하였다면 후에 나온 알파고 제로의 경우 기본적인 바둑룰만 알려주고 스스로 거의 무한에 가깝게 바둑을 하면서 압도적인 성능 향상을 이뤄냈는데, 최근 AI도 이러한 흐름으로 가고 있는 것 같습니다.
위의 짤은 AI 쪽에서 나름 유명한 지미 애플이라는 X 유저가 올린 이미지입니다.
소위 AI는 뾰족AI(이름이 좀 웃기네요)로 발전한다는걸 나타내고 있는데요
4각형의 모서리에는 STEM(수학,기술,공학,과학-정확히는 T(기술)대신 철학이 들어갔네요)이 있고 그 방향을 향해 o 모델이 발전해 나가는 모습을 보여주고 있습니다.
이러한 축과 별개로 openAI뿐 아니라 앤트로픽같은 회사가
'에이전트' (그러니까 스스로 일을 받으면 알아서 처리하는 류의) AI의 도입을 서두르고 있는 것도 최신 AI의 방향의 하나입니다.
o1에서 o3 발표가 시점을 어떻게 잡냐에 따라 다르지만 불과 약 3개월 정도밖에 걸리지 않은 것을 보면
올해 발전될 AI가 참으로 기대가 됩니다.
o3 발표에서 가장 인상적이었던 것은 코딩 실력을 나타내는 점수 지표인 코드포스 점수가 세계 최상위권(143등 쯤이었습니다.)이었다는 점인데요, AI 분야는 정말 변화가 빠르다보니 그 변화를 다 따라가기도 힘들게 된 요즘입니다.
여담으로 현재 chatarena에 초콜릿이라는 이름을 가진 꽤 괜찮은 성능의 AI가 유저들의 테스트를 받고 있는데
이게 2월 14일에 맞춰 출시될 그록3가 아니냐는 추측이 있습니다.
6월에 로보택시 런칭을 선언한 테슬라와 xAI쪽도 힘을 내서 AI 경쟁에서 뛰어난 결과를 보여줬으면 하는 바람을 가지며
글을 마무리 하겠습니다.