CoWoS 패키징, AI 칩 성능을 좌우하는 이유

솜씨 좋은 요리사가 있어도 냉장고가 주방 반대편 창고에 있으면 요리는 느려집니다. 재료를 가지러 오가는 데 시간이 다 가고, 한 번에 들고 올 수 있는 양도 정해져 있죠. 반대로 냉장고를 조리대 바로 옆에 두고 문을 여러 개 달면, 요리사는 손만 뻗어 재료를 쉬지 않고 꺼낼 수 있습니다.

AI 칩도 마찬가지입니다. 연산 코어가 아무리 빨라도 메모리에서 데이터를 가져오는 길이 좁고 길면 코어는 기다리기만 하죠. CoWoS 패키징은 이 냉장고, 즉 HBM을 연산 칩 바로 옆에 붙이고 수천 개의 통로로 잇는 기술입니다. 이 글에서는 그 구조와 함께 왜 AI 칩에서 패키징이 성능을 좌우하게 되었는지 정리합니다.

AI 칩의 진짜 병목, 메모리 벽

지난 수십 년 동안 프로세서의 연산 능력은 메모리가 데이터를 공급하는 속도보다 훨씬 빠르게 늘었습니다. 그 결과 연산 장치가 데이터를 기다리며 노는 시간이 길어지는 현상을 메모리 벽(Memory Wall)이라고 부르죠. 연산 성능 수치만 보고 칩의 실제 속도를 판단하기 어려운 이유입니다.

대규모 AI 모델은 이 문제를 더 키웁니다. 모델의 가중치가 수십에서 수백 GB에 이르기도 하고, 특히 답을 한 단어씩 생성하는 추론 단계에서는 단어 하나를 만들 때마다 가중치 대부분을 메모리에서 다시 읽어 와야 하죠. 이런 작업은 연산보다 메모리 대역폭이 속도를 정하는 경우가 많습니다.

그래서 흔히 AI 칩의 성능은 연산 코어와 트랜지스터 수로 정해진다고 생각하지만, 실제로는 데이터를 얼마나 빨리 코어에 공급하느냐가 절반 이상을 좌우합니다. 요리사의 손이 아니라 재료 동선이 문제인 셈이죠.

HBM이 로직 칩 바로 옆에 붙는 이유

메모리 대역폭은 한 번에 오가는 데이터 통로의 폭과 각 통로의 속도를 곱한 값입니다. 그래픽카드에 쓰는 GDDR은 칩 하나당 통로가 32비트 정도로 좁은 대신 아주 빠르게 신호를 보내 대역폭을 얻죠. 반면 고대역폭 메모리(HBM, High Bandwidth Memory)는 DRAM을 수직으로 쌓고, 스택 하나당 1,024비트 이상의 아주 넓은 통로를 씁니다.

문제는 이렇게 넓은 통로를 깔 곳입니다. 스택 하나에만 신호선이 천 가닥을 훌쩍 넘고, 여러 스택을 붙이면 수천 가닥이 되죠. 일반 메인보드나 패키지 기판은 배선이 굵어 이 정도 선을 좁은 면적에 깔 수 없고, 선이 길어지면 신호를 보내는 데 드는 에너지도 커집니다.

해법은 HBM을 연산 칩 바로 옆 수 mm 거리에 두고, 칩 공장 수준의 미세 배선을 가진 인터포저 위에서 둘을 잇는 것입니다. 통로를 짧고 넓게 만들면 신호를 아주 빠르게 보내지 않아도 큰 대역폭을 얻고, 비트당 에너지도 줄일 수 있죠. 냉장고를 조리대 옆에 두고 문을 여럿 단 것과 같습니다.

CoWoS 패키징의 구조와 공정 흐름

CoWoS(Chip on Wafer on Substrate)는 TSMC가 자사의 2.5D 패키징 기술에 붙인 이름입니다. 이름 그대로 칩을 인터포저 웨이퍼 위에 올리고(Chip on Wafer), 그 결과물을 다시 패키지 기판 위에 올리는(on Substrate) 구조죠. 칩을 수직으로 쌓는 3D와 달리, 인터포저 위에 칩을 나란히 놓기 때문에 2.5D라고 부릅니다.

이 흐름에서 눈여겨볼 점은 칩을 붙이기 전의 검사입니다. 값비싼 로직 칩과 여러 개의 HBM이 한 인터포저 위에 올라가므로, 하나만 불량이어도 나머지가 모두 버려지죠. 그래서 CoWoS 패키징에서는 미리 양품만 골라 쓰는 양품 다이(KGD, Known Good Die) 확보가 수율의 출발점입니다.

세 가지 변형과 남은 과제

CoWoS는 인터포저의 재료에 따라 몇 가지로 나뉩니다. 실리콘 인터포저를 쓰는 CoWoS-S가 기본형이고, 유기 재료의 재배선층(RDL) 인터포저를 쓰는 CoWoS-R, RDL 인터포저 안에 필요한 부분만 작은 실리콘 브리지를 넣는 CoWoS-L이 있죠. 큰 면적과 미세 배선을 함께 얻으려는 고민이 이런 변형으로 이어졌습니다.

과제도 분명합니다. AI 칩이 커지고 HBM 스택이 늘수록 인터포저는 노광 한 번에 찍을 수 있는 크기를 넘어서고, 면적이 커질수록 휨과 수율 관리가 어려워지죠. 수백 W 이상의 열을 좁은 면적에서 빼내야 하는 열 관리, 그리고 여러 단계의 정밀 공정에서 오는 원가와 생산 능력도 늘 따라붙는 숙제입니다.

패키징이 AI 칩 경쟁력이 된 이유

예전에는 패키징을 칩을 보호하고 연결하는 마무리 공정 정도로 여겼습니다. 하지만 AI 칩에서는 메모리 대역폭이 성능을 정하고, 그 대역폭을 만드는 것이 패키징이죠. 같은 연산 칩이라도 HBM을 몇 개, 어떤 구조로 붙이느냐에 따라 제품의 성격이 달라집니다.

그래서 AI 칩 설계 단계부터 패키징 구조를 함께 정하는 일이 당연해졌습니다. 다른 파운드리와 패키징 업체들도 실리콘 인터포저나 실리콘 브리지를 활용한 비슷한 2.5D 기술을 각자의 이름으로 내놓고 있죠. CoWoS 패키징은 그중 가장 널리 알려진 사례이고, 이 흐름은 패키징이 반도체 경쟁력의 한 축이 되었음을 보여 줍니다.

일반 패키지와 CoWoS 비교 표

구분	기판 위 개별 메모리 (GDDR 등)	CoWoS (인터포저 위 HBM)
메모리 위치	보드 위, 칩에서 수 cm 떨어짐	같은 인터포저 위, 수 mm 거리
통로 폭	메모리 칩당 32비트 수준	HBM 스택당 1,024비트 이상
대역폭을 얻는 방식	좁은 통로를 아주 빠르게	넓은 통로를 적당한 속도로
비트당 에너지	상대적으로 큼	상대적으로 작음
공정 난이도·원가	낮음, 성숙한 기술	높음, 인터포저·적층·KGD 관리 필요
주요 용도	그래픽카드, 일반 가속기	데이터센터 AI 가속기, 고성능 컴퓨팅

핵심 정리

AI 칩의 실제 속도는 연산 코어보다 메모리가 데이터를 얼마나 빨리 공급하느냐에 더 크게 좌우되는 경우가 많습니다. HBM은 1,024비트 이상의 넓은 통로로 이 문제를 풀지만, 그만큼의 선을 깔려면 연산 칩 바로 옆에 두고 미세 배선의 인터포저로 이어야 하죠. CoWoS 패키징은 칩을 인터포저 웨이퍼에 올리고 다시 기판에 올리는 2.5D 구조로 이를 구현하며, 인터포저 크기와 휨, 열, 원가가 다음 과제입니다.

요리사 옆에 냉장고를 붙여 놓은 주방처럼, 좋은 AI 칩은 빠른 코어와 짧고 넓은 재료 동선을 함께 갖춰야 합니다. AI 반도체 소식을 볼 때 연산 성능 숫자와 함께 HBM 개수와 패키징 방식을 같이 살펴보면, 칩의 실력을 훨씬 정확하게 가늠할 수 있습니다.

면접 대비 질문