우리가 챗봇에 질문하고 답을 받을 때, 그 AI는 이미 '배움'을 마친 상태예요. 그 배움과 지금의 대답은 전혀 다른 시간대에 일어나요.
첫 번째 시간대는 훈련이에요. AI에게 엄청난 양의 자료를 보여 주며 규칙을 익히게 하는 단계죠. 사람으로 치면 몇 년씩 학교 다니며 공부하는 시기예요. 오래 걸리고, 한 번에 큰 힘이 들어요.
두 번째 시간대는 추론이에요. 다 배운 AI가 실제 질문을 받아 답을 내놓는 단계예요. 사람으로 치면 학교를 졸업하고 매일 출근해 일하는 시기죠.
같은 AI인데 이 둘이 왜 중요할까요. 두 시간대가 쓰는 재료가 다르고, 그래서 돈이 흐르는 자리도 다르기 때문이에요.
먼저 훈련을 볼게요. 이 단계의 특징은 '한 번에 아주 큰 힘'이에요.
방대한 자료를 넣고 규칙을 익히게 하려면, 성능 좋은 칩 수천·수만 개를 한자리에 모아 며칠·몇 주씩 쉬지 않고 돌려야 해요. 전기도 한꺼번에 어마어마하게 먹고요.
그런데 이 일은 자주 일어나진 않아요. 큰 모델 하나를 만드는 건 큰 공사라, 완성하고 나면 한동안은 그걸 써요. 학교를 몇 년 다니고 나면 한동안은 그 배움으로 일하는 것과 비슷해요.
그래서 훈련은 '굵고 드문' 수요예요. 한 번 할 때 어마어마한 장비가 필요하지만, 그게 늘 새로 필요한 건 아니에요. 초기 AI 열풍에서 사람들의 눈이 이 단계에 쏠린 것도 이 굵기 때문이었어요. 배우는 장면이 워낙 화려하니까요.
