스마트폰 AP 구성, 여러 프로세서가 한 칩에 모인 이유

대형 리조트 호텔에는 체크인 프런트, 객실 청소, 레스토랑 주방, 안내 데스크가 한 건물 안에 모여 있습니다. 투숙객은 짐을 들고 건물 밖을 오갈 일이 거의 없고, 부서끼리 복도 하나로 이어져 있으니 요청이 전달되는 시간도 짧죠.

스마트폰 속 칩도 비슷한 방식으로 설계됩니다. 이 글에서 다룰 스마트폰 AP 구성은 CPU, GPU, ISP, NPU, 모뎀 같은 블록을 한 칩 안에 모아 전력과 면적과 지연을 함께 줄이는 구조입니다.

호텔과 다른 점도 있습니다. 호텔의 부서는 각자 독립해서 일하지만 칩 속 블록은 메모리와 전력과 열을 함께 나눠 쓰기 때문에, 한 블록이 바쁘면 다른 블록도 영향을 받습니다. 모뎀처럼 건물 밖 별관에 따로 두는 블록도 있습니다.

AP는 한 칩에 시스템을 담은 SoC입니다

스마트폰에서 운영체제와 앱을 돌리는 중심 칩을 애플리케이션 프로세서(AP, Application Processor)라고 합니다. 이 칩은 대부분 시스템 온 칩(SoC, System on a Chip) 형태로 만들어지며, 연산 블록과 메모리 제어, 입출력 블록을 한 장의 실리콘 위에 올린 구조입니다.

이렇게 묶는 첫 번째 이유는 전력입니다. 신호가 칩 밖으로 나가 보드 위 배선을 타려면 칩 안의 짧은 배선보다 훨씬 큰 부하를 구동해야 하므로, 같은 정보를 옮기는 데 더 많은 에너지가 듭니다. 블록들이 한 칩 안에서 데이터를 주고받으면 이 비용을 크게 줄일 수 있습니다.

두 번째는 면적입니다. 칩과 패키지, 보드 배선이 줄어들면 얇은 스마트폰 안에서 배터리와 카메라 모듈에 더 많은 공간을 내줄 수 있습니다.

세 번째는 지연입니다. 블록 사이 거리가 짧아지면 데이터가 오가는 시간이 줄고, 칩 안에서는 넓은 폭의 연결도 상대적으로 쉽게 만들 수 있습니다.

스마트폰 AP 구성 블록, CPU와 GPU와 NPU가 맡는 일

CPU(Central Processing Unit)는 운영체제와 앱의 제어 흐름을 맡는 범용 프로세서입니다. 조건에 따라 갈라지고 순서가 중요한 일에 강하며, 스마트폰에서는 높은 성능을 내는 코어와 전력을 아끼는 코어를 섞어 두는 구성이 일반적입니다. 가벼운 일은 효율 코어가, 무거운 일은 성능 코어가 나눠 받는 식이죠.

GPU(Graphics Processing Unit)는 화면에 그릴 수많은 픽셀을 한꺼번에 계산하는 병렬 프로세서입니다. 같은 계산을 픽셀마다 반복하는 일이 많아서 작은 연산 유닛을 대량으로 두는 구조가 잘 맞습니다. 게임뿐 아니라 화면 전환과 화면 합성 같은 일상 동작에도 쓰입니다.

NPU(Neural Processing Unit)는 신경망 추론에 많이 나오는 행렬 곱셈을 전용 회로로 처리하는 블록입니다. CPU와 GPU도 같은 계산을 할 수 있지만, 범용성을 덜어 낸 전용 회로는 같은 일을 더 적은 에너지로 끝내는 쪽에 유리합니다. 이 범용성과 효율의 교환이 AP 안에 여러 종류의 프로세서가 함께 있는 가장 큰 이유입니다.

이 밖에도 오디오와 센서 신호를 낮은 전력으로 다루는 디지털 신호 처리기(DSP, Digital Signal Processor) 같은 블록이 들어가기도 합니다. 어떤 블록을 넣을지는 제품이 겨냥하는 용도에 따라 달라집니다.

ISP와 모뎀, 센서와 안테나 사이에서 신호를 다루는 블록

이미지 신호 프로세서(ISP, Image Signal Processor)는 카메라 센서가 내보낸 원시 데이터를 사진이나 영상으로 다듬는 블록입니다. 센서의 픽셀은 한 가지 색 정보만 갖고 있어서, 빠진 색을 주변 값으로 채우는 디모자이크와 노이즈 제거, 화이트 밸런스, 밝기 보정이 차례로 이어집니다.

이 일을 소프트웨어가 아니라 전용 하드웨어로 만드는 까닭은 영상이 초당 수십 장씩 끊임없이 들어오기 때문입니다. 실시간으로 처리하면서 배터리도 아끼려면 처리 흐름이 고정된 전용 회로가 유리합니다.

모뎀(Modem)은 안테나로 받은 무선 신호를 데이터로, 보낼 데이터를 무선 신호로 바꾸는 블록입니다. 변조와 복조, 오류 정정, 통신 규격의 규칙 처리 같은 디지털 기저대역 처리가 핵심이고, 안테나 쪽 아날로그 RF(Radio Frequency) 회로는 별도 칩에 두는 경우가 많습니다.

모뎀을 AP 안에 넣을지 외장 칩으로 둘지는 제품 전략에 따라 갈립니다. 통합하면 전력과 면적에서 이득이 크지만, 통신 규격이 자주 바뀌고 통신사 인증도 거쳐야 해서 개발 부담이 커집니다. 외장으로 두면 부담을 나눌 수 있는 대신 칩 사이 연결에 전력과 면적을 더 씁니다.

메모리 컨트롤러와 인터커넥트, 블록들이 함께 쓰는 길

블록이 많아도 데이터를 쌓아 두는 DRAM은 보통 하나를 함께 씁니다. 그래서 AP 안에는 여러 블록의 요청을 줄 세워 DRAM으로 전달하는 메모리 컨트롤러(Memory Controller)와, 블록 사이를 잇는 인터커넥트(Interconnect)가 들어갑니다.

여기서 병목이 생기기 쉽습니다. 카메라가 영상을 쓰는 동안 GPU가 화면을 그리고 NPU가 가중치를 읽으면 DRAM 접근이 겹치기 때문입니다. 그래서 칩 안에 공유 캐시를 두어 DRAM 접근을 줄이고, 화면 출력처럼 끊기면 안 되는 요청에는 높은 우선순위를 줍니다.

흔한 오해가 하나 있습니다. 코어 수나 블록 수가 많을수록 AP가 무조건 빠르다는 생각입니다. 체감 성능은 블록 사이의 데이터 이동, 메모리 대역폭, 전력과 발열 한계로 정해지는 경우가 많습니다.

이 밖에 화면 출력을 맡는 디스플레이 엔진, 암호 키와 보안 처리를 격리하는 보안 블록, 블록별 전원 상태를 관리하는 전력 제어 블록도 AP 안에 함께 들어갑니다.

통합의 이점과 대가, 전력과 면적과 지연 그리고 열

통합의 이점은 앞서 본 전력, 면적, 지연입니다. 여기에 더해 쓰지 않는 블록의 전원을 개별적으로 꺼 둘 수 있어서 대기 전력을 줄이기 쉽다는 점도 큽니다. 같은 칩 안에 있으니 이런 정밀한 전력 관리를 구현하기가 수월합니다.

대가도 분명합니다. 첫째, 칩이 커질수록 결함 하나가 칩 전체를 못 쓰게 만들 확률이 높아져 수율이 떨어집니다. 둘째, 열이 한 곳에 몰려서 온도가 오르면 동작 속도를 낮춰야 하는데, 두꺼운 방열 구조를 쓰기 어려운 스마트폰에서는 이 제약이 특히 큽니다.

셋째, 블록마다 가장 알맞은 공정이 다릅니다. 로직은 미세 공정의 이득이 크지만 RF와 아날로그 회로는 그만큼 이득을 보지 못해서, 모든 것을 한 칩에 넣는 대신 칩렛이나 패키징으로 나누는 방법도 함께 검토됩니다.

이처럼 스마트폰 AP 구성은 무엇을 칩 안에 넣고 무엇을 밖에 둘지를 고른 선택의 결과입니다. 정답이 하나로 정해져 있지 않기 때문에 제품마다 구성이 조금씩 다르게 나타납니다.

AP 블록별 역할 비교 표

구분	CPU	GPU	ISP	NPU	모뎀
주된 역할	운영체제와 앱의 제어, 범용 연산	그래픽 렌더링, 병렬 연산	카메라 신호 보정	신경망 행렬 곱셈	무선 신호와 데이터 변환
처리 방식	유연한 명령 실행	같은 계산을 많은 데이터에 반복	고정된 처리 흐름	곱셈과 덧셈 회로 배열	통신 규격에 맞춘 신호 처리
강점	어떤 코드든 실행 가능	대량의 병렬 작업	실시간 영상 처리의 낮은 전력	추론 작업의 전력 효율	통신 규격 전용 최적화
주의할 점	병렬 작업에서 전력 효율이 낮음	분기가 많은 작업에 약함	처리 흐름 변경이 어려움	지원하는 연산 종류가 제한적	규격과 인증에 따라 개발 부담이 큼
놓치기 쉬운 점	코어 수가 많을수록 무조건 빠르다는 오해, 실제 성능은 블록 사이 데이터 이동과 전력 한계가 함께 정합니다.

핵심 정리

AP는 CPU, GPU, ISP, NPU, 모뎀 등을 한 칩에 모은 SoC이고, 블록마다 전용 구조로 같은 일을 더 적은 에너지로 해냅니다. 칩 안에서 데이터를 주고받으면 전력과 면적과 지연을 함께 줄일 수 있습니다. 스마트폰 AP 구성을 볼 때는 블록 목록보다 블록 사이로 데이터가 어떻게 흐르는지를 먼저 살피는 편이 이해에 도움이 됩니다.

리조트 호텔처럼 부서를 한 건물에 모으면 편리하지만, 어떤 부서를 별관에 둘지 고르는 일이 설계의 핵심입니다. 모뎀과 RF 회로를 밖에 두거나 큰 칩을 쪼개는 선택도 같은 고민에서 나옵니다.

면접 대비 질문