먼저 지금 방식을 그려 볼게요. 우리가 스마트폰에서 AI에게 무언가 물으면, 그 질문은 대개 내 기기에서 처리되지 않아요. 인터넷을 타고 멀리 있는 데이터센터의 거대한 컴퓨터로 가서, 거기서 계산된 답이 다시 내게 돌아와요.
이 방식은 강력해요. 데이터센터에는 어마어마한 성능이 모여 있으니 크고 복잡한 일도 척척 해내죠. 하지만 대가도 있어요. 오갈 때마다 시간이 걸리고, 인터넷이 끊기면 먹통이 되고, 내가 뭘 물었는지가 내 손 밖으로 나가야 하죠. 이 세 가지 불편이 오늘 이야기의 출발점이에요.
온디바이스 AI는 이 계산을 기기 밖으로 보내지 않고 내 기기 안에서 직접 하려는 거예요. 폰이나 노트북, 자동차 안에 든 칩이 AI를 직접 돌리는 거죠.
그럼 아까 그 세 가지 불편이 뒤집혀요. 멀리 다녀올 필요가 없으니 답이 빨라요. 인터넷이 없어도 되니 비행기 안에서도, 지하에서도 돌아가요. 내 데이터가 기기 밖으로 안 나가니 사생활도 덜 새죠. 통역, 사진 정리, 음성 명령처럼 즉각 반응이 중요하고 개인적인 일일수록 기기 안에서 하는 게 어울려요.
대신 기기 안의 칩은 데이터센터만큼 크고 셀 수 없어요. 그래서 아주 무거운 일은 여전히 서버로 보내요. 결국 '가벼운 건 기기, 무거운 건 서버'로 일을 나눠 갖는 그림으로 가고 있어요.
