엣지 AI 칩, 작은 전력으로 추론을 돌리는 설계 전략

여행 가방에 들어가는 작은 상자 하나로 조립할 수 있는 블록 모형만 챙겨 가야 한다고 생각해 보겠습니다. 상자 크기와 부품 수, 조립에 쓸 시간이 정해져 있으니, 같은 모양을 만들더라도 조각 수를 줄이고 큰 조각으로 바꾸는 궁리가 필요하죠.

엣지 AI 칩이 처한 상황이 이와 닮았습니다. 카메라나 마이크, 손목 기기 같은 곳에서 배터리와 발열, 비용이 정해진 채로 신경망 추론을 돌려야 하니까요. 이 글은 NPU 구조 자체보다, 그런 제약 안에서 전력을 아끼는 전략에 집중합니다.

블록 모형은 조각을 줄이면 그대로 작아지지만, 칩에서는 줄이는 방법이 정확도에 영향을 줍니다. 또 칩에서는 계산보다 데이터를 옮기는 비용이 더 크다는 점도 모형 조립과 다른 부분입니다.

엣지 AI 칩이 놓이는 곳, 클라우드와 다른 네 가지 제약

엣지(Edge)는 데이터가 생기는 센서 가까이를 가리킵니다. 데이터센터의 칩은 처리량을 최대로 끌어올리는 쪽으로 설계하지만, 엣지의 칩은 정해진 한계 안에서 필요한 일을 해내는 쪽으로 설계합니다.

한계는 크게 네 가지입니다. 전력은 배터리나 작은 어댑터로 감당할 수 있어야 하고, 메모리는 용량과 대역폭이 모두 작습니다. 열은 팬 없이 케이스 표면으로만 내보내야 하는 경우가 많고, 비용은 칩 면적과 패키지, 외장 메모리 유무가 함께 정합니다.

여기에 실시간성이 더해집니다. 카메라 영상에서 사람을 알아보는 일은 정해진 시간 안에 끝나야 의미가 있어서, 평균 속도보다 최악의 경우의 지연이 중요한 경우가 많습니다.

전력 예산에서 출발하는 설계, 추론 한 번의 에너지

엣지에서는 최대 속도보다 추론 한 번에 드는 에너지가 더 중요한 기준입니다. 평균 전력은 추론당 에너지에 초당 추론 횟수를 곱한 값이므로, 에너지를 줄이면 같은 배터리로 더 오래 쓰거나 더 자주 추론할 수 있습니다.

추론당 에너지의 대부분은 곱셈 자체보다 데이터를 옮기는 데 쓰입니다. 칩 밖의 DRAM에서 값을 읽는 일은 칩 안의 연산보다 훨씬 많은 에너지를 쓰고, 이는 시스톨릭 어레이 글에서 본 메모리 접근 비용과 같은 이야기입니다. 그래서 엣지에서는 데이터가 칩 밖으로 나가는 횟수를 줄이는 전략이 대부분입니다.

양자화, 숫자의 폭을 줄여 메모리와 연산을 아끼는 방법

학습은 32비트 부동소수점으로 하는 경우가 많지만, 추론은 훨씬 적은 비트로도 되는 경우가 많습니다. 숫자를 표현하는 비트 수를 줄이는 일을 양자화(Quantization)라고 하고, 32비트 부동소수점을 8비트 정수(INT8)로 바꾸는 것이 가장 흔한 방식입니다.

이득은 세 군데에서 나옵니다. 모델이 차지하는 메모리가 줄고, 곱셈기가 작고 에너지가 적게 들며, 옮겨야 할 데이터도 줄어드니 대역폭 부담이 낮아집니다.

대가는 정확도입니다. 학습이 끝난 모델을 그대로 줄이는 방식은 간단하지만 손실이 생길 수 있어서, 양자화된 상태를 학습 중에 미리 흉내 내는 방식을 쓰기도 합니다. 층마다 민감도가 달라 일부 층만 더 높은 정밀도로 두는 혼합 정밀도도 흔합니다.

곱셈은 8비트로 해도 결과를 더하는 누산기는 더 넓게 둡니다. 8비트 곱을 여러 번 더하다 보면 값이 8비트 범위를 금방 넘기 때문에, 누산기는 흔히 32비트로 두어 넘침을 막습니다.

데이터 이동 줄이기, 온칩 SRAM과 타일링

모델 가중치와 중간 결과가 칩 안의 SRAM에 들어가면 외장 DRAM 접근을 크게 줄일 수 있습니다. 외장 DRAM을 아예 빼면 칩 가격과 보드 면적, 전력까지 함께 줄어드는 설계도 가능하죠.

SRAM은 면적을 많이 차지해서 용량을 마음껏 키울 수 없습니다. 그래서 큰 데이터를 SRAM에 들어가는 크기로 잘라 처리하는 타일링(Tiling)이 필요하고, 어떤 크기로 자를지가 효율을 정합니다.

층을 하나씩 끝낼 때마다 중간 결과를 DRAM에 쓰고 다시 읽는 대신, 여러 층을 이어서 처리해 중간 결과를 칩 안에 두는 층 융합도 같은 목적의 방법입니다. 다만 융합하는 층이 늘수록 SRAM에 담을 임시 데이터가 늘어나므로, 타일 크기와 융합 범위를 함께 맞춥니다.

희소성과 가지치기, 0을 건너뛰는 계산

신경망에는 값이 0이거나 0에 가까운 가중치가 많습니다. 영향이 작은 가중치를 0으로 만들어 없애는 가지치기(Pruning)를 하면 곱셈과 저장 공간을 모두 줄일 수 있는 가능성이 생깁니다.

하지만 이득은 하드웨어가 0을 건너뛸 수 있을 때만 생깁니다. 가중치의 절반이 0이어도 하드웨어가 0까지 그대로 계산하면 시간도 에너지도 줄지 않죠. 0이 불규칙하게 흩어져 있으면 0이 아닌 값의 위치를 저장하는 비용과 제어 회로가 늘어서 이득이 깎입니다.

그래서 일정한 규칙으로 0을 배치하는 구조적 희소성이 하드웨어에 친화적입니다. 예를 들어 값 몇 개마다 정해진 개수만 남기는 식으로 규칙을 두면, 건너뛰는 회로가 단순해집니다.

상시 동작 영역과 깨우기 구조

엣지 기기는 대부분의 시간을 아무 일도 없는 상태로 보냅니다. 그래서 칩 전체를 항상 켜 두지 않고, 아주 적은 전력으로 늘 깨어 있는 영역이 센서를 지켜보다가 의미 있는 사건이 올 때만 큰 블록을 깨웁니다.

상시 동작 영역(Always-on domain)에는 작은 감지용 모델이나 간단한 신호 처리 회로를 둡니다. 말소리나 움직임이 감지되면 그때 더 큰 신경망 가속기와 프로세서의 전원을 켜고, 일이 끝나면 다시 꺼서 누설 전력까지 막죠. 전원 영역을 나눠 끄는 방법은 저전력 설계 기법 글에서 다룬 파워 게이팅과 같은 원리입니다.

다만 감지 모델이 놓치거나 지나치게 자주 깨우면 이점이 줄어듭니다. 깨우는 데 걸리는 시간과 에너지도 있어서, 감지의 정확도와 깨우기의 비용을 함께 설계해야 합니다.

엣지 AI 칩을 둘러싼 흔한 오해

TOPS 숫자가 높을수록 좋은 칩이다는 생각이 대표적인 오해입니다. TOPS는 이론상 최대 연산량이어서, 실제 모델이 메모리를 기다리거나 가속기가 지원하지 않는 연산을 만나면 활용률이 크게 떨어집니다.

비교할 때는 실제 모델로 잰 추론당 에너지와 지연, 정확도를 함께 봐야 합니다. 또 최첨단 공정이 항상 유리한 것도 아닙니다. 칩 가격과 누설 전류를 고려해 성숙한 공정을 택하는 엣지 제품도 많습니다.

효율 전략별 비교 표

구분	양자화	온칩 SRAM과 타일링	희소성과 가지치기	상시 동작과 깨우기
줄이는 것	비트 수, 메모리, 곱셈 에너지	DRAM 접근	곱셈 횟수와 저장 공간	평균 전력
치르는 대가	정확도 손실 가능성	SRAM 면적, 타일 경계 처리	정확도 손실 가능성, 위치 정보 저장	깨우기 지연, 감지 오류
필요한 하드웨어	낮은 정밀도 연산기와 넓은 누산기	충분한 SRAM과 데이터 이동 제어기	0을 건너뛰는 회로	전원 영역 분리와 저전력 감지 회로
효과가 큰 경우	메모리와 대역폭이 부족할 때	가중치를 칩 안에 담을 수 있을 때	규칙적인 구조의 희소성	대부분의 시간이 대기 상태일 때
놓치기 쉬운 점	민감한 층까지 일괄 적용하면 정확도가 떨어짐	융합 범위가 커질수록 임시 데이터가 늘어남	하드웨어가 지원하지 않으면 이득이 없음	자주 깨우면 이점이 사라짐

핵심 정리

엣지 AI 칩은 전력과 메모리, 열, 비용이라는 한계 안에서 추론당 에너지를 낮추는 쪽으로 설계합니다. 숫자의 폭을 줄이는 양자화, 데이터를 칩 안에 머물게 하는 온칩 SRAM과 타일링, 0을 건너뛰는 희소성, 평소에는 잠들어 있다가 필요할 때만 깨우는 구조가 대표적인 전략입니다.

여행 가방 속 블록 모형처럼, 줄이는 조각마다 대가가 따라붙습니다. 정확도와 효율의 균형은 같은 칩에서도 모델에 따라 달라지므로, 이런 칩을 평가할 때는 최대 연산량보다 실제 모델의 추론당 에너지와 정확도를 먼저 확인하는 편이 좋습니다.

면접 대비 질문