AI 반도체 공부하다가 자꾸 헷갈리던 용어가 하나 있었다. "온디바이스 AI". 스마트폰 광고에서도 자주 나오고, AI PC 얘기할 때도 계속 나오는데, 이게 정확히 뭘 의미하는 건지, 그리고 왜 이게 반도체 얘기랑 항상 붙어 다니는지 이번에 제대로 짚어보기로 했다. 처음엔 그냥 AI가 기기 안에 들어있다는 뜻인가 하고 대충 넘겼는데, 파고들수록 이게 단순한 마케팅 용어가 아니라는 걸 알게 됐다.
AI를 쓴다고 하면 보통 클라우드에 있는 서버에 요청을 보내고, 그 서버가 계산을 마친 뒤 결과를 다시 내 기기로 보내주는 방식을 떠올렸다. 근데 온디바이스 AI는 이 계산을 서버로 보내지 않고, 내 스마트폰이나 노트북 안에서 직접 처리한다는 뜻이었다. 처음엔 "그럼 그냥 성능 좋은 기기면 다 되는 거 아닌가" 싶었는데, 파고들어 보니 이게 생각보다 훨씬 반도체 설계와 밀접하게 얽혀 있는 이야기였다.
왜 굳이 기기 안에서 처리해야 할까
가장 먼저 든 궁금증이 이거였다. 서버가 훨씬 강력한 연산 능력을 갖고 있을 텐데, 왜 굳이 상대적으로 성능이 제한적인 기기 안에서 AI 연산을 처리하려는 걸까. 찾아보니 몇 가지 이유가 있었다. 단순히 기술적으로 가능해서가 아니라, 사용자 경험과 데이터 보안 측면에서 확실한 필요가 있다는 걸 알게 되면서 이 흐름이 왜 이렇게 빠르게 퍼졌는지 이해가 됐다.
가장 크게 다가온 건 속도와 프라이버시 문제였다. 서버로 요청을 보내고 결과를 받아오는 과정에는 아무리 빨라도 네트워크 지연시간이 생긴다. 실시간으로 반응해야 하는 기능(예를 들어 카메라로 찍은 사진을 즉시 보정하거나, 음성을 바로 텍스트로 바꾸는 기능)에서는 이 지연이 체감상 크게 느껴질 수 있다는 걸 이해하게 됐다. 게다가 개인적인 데이터를 서버로 보내지 않고 기기 안에서 처리하면 프라이버시 측면에서도 훨씬 안전하다는 장점이 있다는 걸 알게 됐다. 인터넷 연결 없이도 AI 기능을 쓸 수 있다는 것도 실용적인 이유 중 하나였다. 평소 별생각 없이 쓰던 사진 보정이나 음성 인식 기능이, 사실은 이런 여러 이유 때문에 서버가 아니라 내 손안의 기기에서 조용히 처리되고 있었다는 걸 알고 나니 신기했다.
결국 NPU 성능이 핵심이었다
이 온디바이스 AI를 가능하게 하는 핵심이 바로 앞서 공부했던 NPU(신경망처리장치)라는 걸 알게 됐다. 서버에서는 전력 소모를 크게 신경 쓰지 않고 고성능 GPU를 대량으로 투입할 수 있지만, 스마트폰이나 노트북은 배터리와 발열이라는 물리적 제약이 있다. 이 제약 안에서 AI 연산을 효율적으로 처리하려면, 범용 연산에 강한 CPU나 GPU보다 AI 연산에만 특화된 저전력 칩인 NPU가 훨씬 유리하다는 걸 다시 확인하게 됐다. 서버용 반도체와 기기용 반도체가 같은 AI 연산을 처리하면서도 이렇게 완전히 다른 설계 철학을 요구한다는 걸 알고 나니, AI 반도체라는 게 하나의 정답으로 수렴하는 게 아니라 쓰이는 환경에 따라 전혀 다른 모습으로 발전하고 있다는 생각이 들었다.
이걸 알고 나니 최근 스마트폰이나 노트북 신제품 발표에서 왜 그렇게 NPU 성능을 강조하는지 이해가 됐다. 예전에는 CPU 클럭 속도나 GPU 성능이 주요 마케팅 포인트였다면, 이제는 "이 기기가 초당 몇 조 번의 AI 연산을 처리할 수 있다"는 식의 NPU 성능 수치가 함께 강조되는 경우가 많아졌다는 걸 여러 제품 발표를 찾아보며 확인할 수 있었다. 결국 온디바이스 AI 경쟁이 곧 각 기업의 NPU 설계 경쟁으로 이어지고 있다는 셈이었다. 예전엔 그냥 "AI 기능 탑재"라고만 홍보하던 게 이제는 구체적인 연산 성능 수치까지 대놓고 비교하는 걸 보면서, 이 시장의 경쟁이 얼마나 치열해졌는지 실감했다.
애플과 삼성이 이 흐름에 어떻게 대응하고 있는지
이 흐름 속에서 애플이나 삼성 같은 기업들의 움직임을 찾아보니, 각자 자체 칩에 AI 연산 전용 유닛을 강화하는 방향으로 대응하고 있다는 걸 알게 됐다. 애플은 이미 오래전부터 자체 AP에 뉴럴 엔진이라는 이름의 NPU를 탑재해왔고, 최근에는 이 성능을 더욱 강화하고 있다는 소식을 확인할 수 있었다. 앞서 공부했던 M시리즈 칩 얘기와 자연스럽게 이어지는 대목이었다. 아이폰 카메라의 인물사진 모드나 실시간 번역 기능이 매끄럽게 돌아가는 이유도, 결국 이 뉴럴 엔진이 뒤에서 조용히 일을 하고 있었기 때문이라는 걸 알고 나니 평소 무심코 쓰던 기능들이 다르게 보이기 시작했다.
삼성전자 역시 자체 AP에 NPU 성능을 강화하며 갤럭시 시리즈의 온디바이스 AI 기능을 홍보하고 있다는 걸 알게 됐다. 결국 스마트폰 제조사들이 서버에 의존하지 않고도 자체 기기에서 AI 기능을 완결시키기 위해, 반도체 설계 단계에서부터 이 경쟁을 벌이고 있다는 걸 이해하게 됐다. 온디바이스 AI라는 서비스 트렌드가 결국 반도체 설계의 방향까지 바꾸고 있다는 걸 알고 나니, 소프트웨어와 하드웨어가 서로 영향을 주고받으며 발전하는 모습이 새삼 흥미롭게 다가왔다. 서비스 하나가 인기를 끌면 그걸 뒷받침할 반도체 설계도 함께 진화한다는 이 순환 구조를, 앞으로 새로운 AI 기능이 나올 때마다 계속 눈여겨봐야겠다. 온디바이스 AI라는 트렌드 하나가 반도체 설계 방향, 마케팅 포인트, 심지어 사용자 경험까지 두루 바꿔놓고 있다는 걸 이번 공부로 제대로 실감하게 됐다. 앞으로 이 흐름이 어디까지 이어질지, 서버와 기기 사이의 역할 분담이 또 어떻게 바뀔지 계속 지켜보고 싶다.
오늘은 토요일이라 주식시장이 휴장이다.
장애인활동지원사 자격증을 획득하기 위해서 토요일에 시간을 내서 실습을 다녀왔다.
실습시간은 총 10시간인데 하루 5시간씩 나눠서 2일동안 해서 다음주 토요일에도 한번 더 다녀와야 수료증을 받고 실제로 일할 자격이 주어진다.
자격증을 획득하고 주말에 활동을 할 계획이다.