NPU란 무엇입니까?

CPU, GPU, NPU

• CPU는 모든 일을 처리합니다. 유연하게, 한 단계씩 차례로 진행합니다.
• GPU는 그래픽을 위해 만들어졌습니다. 간단한 계산 수천 개를 한꺼번에 하는데, 이 방식은 AI에도 잘 맞습니다.
• NPU는 그보다 더 좁은 일을 맡습니다. 신경망의 곱셈과 덧셈을 중심으로, 흔히 정밀도가 낮은 숫자를 써서, 더 적은 에너지로 그 계산을 더 많이 하도록 만들어졌습니다.

2017년 Apple의 A11 칩에는 머신러닝 전용으로 만든 ‘뉴럴 엔진’이 있었고, 그 성능은 초당 최대 6,000억 회 연산이었습니다. 이 뉴럴 엔진 덕분에 Face ID와 Animoji가 가능해졌습니다. 2024년 Microsoft는 CPU, GPU와 함께 초당 40조 회가 넘는 연산을 할 수 있는 NPU를 중심에 둔 Copilot+ PC를 내놓았습니다.

TOPS가 알려 주지 않는 것

TOPS는 상자에 적힌 숫자이고, 최대치입니다. 실제 모델이 얼마나 빨리 돌아가는지는 데이터가 칩에 얼마나 빨리 닿는지, 소프트웨어가 칩을 얼마나 잘 활용하는지, 모델에 어느 정도의 정밀도가 필요한지에도 달려 있습니다. 이런 칩을 설계하는 연구자들은 한 논문에 ‘TOPS/W (alone) considered harmful’(와트당 TOPS만 보는 것은 해롭다)이라는 제목을 붙였고, 칩을 비교할 때 그 밖에 무엇을 재야 하는지 설명합니다. 다양한 신경망을 돌릴 수 있는 유연성도 그중 하나입니다.

개인정보에 중요한 이유

휴대폰이나 노트북이 AI 기능을 기기 자체에서 돌릴 수 있는 것은 NPU 덕분입니다. 기기에서 처리한 작업은 기기 안에 머물 수 있고, 인터넷 연결이 없어도 계속 작동합니다. 대가는 크기입니다. 가장 큰 모델은 여전히 데이터 센터에서 돌아갑니다. 이 선택에 대해서는 집에서, 아니면 클라우드에서?에서 더 자세히 다룹니다.

저희가 NPU를 쓰는 곳

집 안을 날아다니는 동반자에 대한 저희 콘셉트인 Alkyon의 도킹 스테이션은 NPU를 갖춘 칩을 중심으로 설계되고 있습니다. 로봇의 카메라 영상을 데이터 센터가 아니라 집에서 처리할 수 있도록 하기 위해서입니다. 자세한 내용은 가정용 로봇과 카메라 개인정보(영어)에 있습니다. Lychnos Ring은 반대로 작동합니다. 사용자의 목소리를 EU에 있는 저희 클라우드로 보내고, 그곳에서 음성 인식과 언어 모델이 돌아갑니다. 둘 다 개발 중입니다.

출처(2026년 11월 4일 확인): Apple Newsroom, the future is here: iPhone X, 2017년 9월 12일; Microsoft, introducing Copilot+ PCs, 2024년 5월 20일; Sze, Chen, Yang, Emer, efficient processing of deep neural networks: a tutorial and survey, Proceedings of the IEEE, 2017, 그리고 how to evaluate deep neural network processors: TOPS/W (alone) considered harmful, IEEE Solid-State Circuits Magazine, 2020.