Docker 메모리 제한 설정, 도커 개념과 램 과점유 해결

Docker 메모리 제한 설정, 도커 개념과 램 과점유 해결

로컬 AI 도구나 오픈소스 웹 앱을 쉽게 설치해 보려고 설명서에 적힌 대로 윈도우에 도커(Docker Desktop)를 깔고 실행했더니, 정작 프로그램 하나 띄웠을 뿐인데 작업 관리자에서 Vmmem 또는 vmmemWSL이라는 프로세스가 내 컴퓨터 램(RAM)을 8GB, 12GB씩 통째로 점유해 크롬과 엑셀까지 버벅거리게 만드는 경우가 많습니다.

비전공자 입장에서는 “가볍다고 해서 깔았는데 왜 이렇게 무겁지?”라는 의문이 들기 마련입니다. 오늘은 도커 컨테이너가 무엇인지 쉬운 비유로 먼저 이해하고, 윈도우에서 Docker 메모리 제한 설정을 걸어 쾌적하게 메모리를 되찾는 방법을 알아보겠습니다.

도커를 깔았더니 내 PC 메모리를 절반 넘게 잡아먹는 이유

원래 Docker 컨테이너는 리눅스 운영체제 위에서 돌아가는 기술입니다. 그래서 윈도우나 맥에서 Docker Desktop을 켜면, 내부적으로 보이지 않는 리눅스 실행 환경(윈도우에서는 WSL 2, Windows Subsystem for Linux 2라는 가벼운 가상 리눅스 엔진)을 먼저 하나 띄운 뒤 그 위에서 컨테이너들을 굴립니다.

문제는 WSL 2의 초기 기본 정책이 윈도우 전체 시스템 메모리의 절반(예: 16GB RAM이면 8GB, 32GB RAM이면 16GB)까지 필요에 따라 끌어다 쓰도록 크게 열려 있고, 리눅스가 성능을 위해 한 번 잡아 둔 캐시 메모리를 작업이 끝난 뒤에도 윈도우로 즉시 돌려주지 않는 경우가 잦다는 점입니다.

비전공자 눈높이로 보는 Docker 컨테이너와 WSL2 구조

도커(Docker)의 개념은 해외 화물 운송의 표준 규격 컨테이너 박스에 비유할 수 있습니다. 옛날에는 프로그램을 내 PC에 직접 깔 때마다 파이썬 버전, 라이브러리, DB 설정이 내 컴퓨터 환경과 충돌해 “내 PC에서는 되는데 네 PC에서는 안 돼”라는 문제가 끊이지 않았습니다.

Docker는 프로그램과 그 실행에 필요한 운영체제 조각·라이브러리를 전부 밀폐된 표준 컨테이너 박스 하나에 담아 배달합니다. 기존 가상 머신(VMware·VirtualBox)이 짐 하나 옮기자고 집(윈도우·리눅스 전체 OS)을 통째로 한 채 더 짓는 무거운 방식이라면, 컨테이너는 집 뼈대(커널)는 공유하면서 방 칸막이만 독립적으로 나누어 쓰는 훨씬 가벼운 방식입니다. 다만 윈도우에서는 그 리눅스 방 칸막이를 담을 WSL2 기초 엔진이 메모리를 넓게 잡아 두는 성향 때문에 Docker 메모리 제한 설정으로 상한선을 직접 그어 주어야 합니다.

Docker 메모리 제한 설정(.wslconfig)으로 램 점유 묶는 4단계

윈도우 10·11에서 WSL 2 기반 Docker Desktop을 쓰고 있다면, 사용자 홈 폴더에 설정 파일 하나만 만들어 두면 원하는 용량 이상으로 절대 램을 넘기지 않게 제어할 수 있습니다.

윈도우 Docker Desktop / WSL2 메모리 제한 설정 4단계

  1. Docker Desktop 실행 엔진 종류 확인: Docker Desktop 설정(Settings) > General에서 ‘Use the WSL 2 based engine’이 켜져 있는지 확인합니다. (만약 WSL 2 대신 구형 Hyper-V 백엔드를 쓰고 있다면 Settings > Resources > Advanced 화면의 Memory 슬라이더로 직접 조절할 수 있습니다.)
  2. 사용자 폴더(%USERPROFILE%)에 .wslconfig 파일 만들기: 윈도우 탐색기 주소창에 %USERPROFILE%을 입력해 이동합니다(예: C:\Users\사용자이름). 그 안에 메모장이나 VS Code로 파일 이름이 정확히 .wslconfig(뒤에 .txt가 붙지 않게 주의)인 새 파일을 만듭니다.
  3. 메모리 상한선과 자동 회수(autoMemoryReclaim) 옵션 입력:
    파일 안에 아래처럼 내 PC 램에 맞는 상한선을 적습니다(16GB RAM PC라면 4GB~6GB 권장).
    [wsl2]
    memory=4GB
    processors=4
    [experimental]
    autoMemoryReclaim=gradual (유휴 상태일 때 리눅스 캐시 메모리를 윈도우로 점진 반환하는 기능, 최신 WSL 버전 지원)
  4. Docker 종료 후 wsl --shutdown으로 설정 즉시 반영: 파일만 저장해서는 바로 적용되지 않으므로, 트레이 아이콘에서 Docker Desktop을 완전히 종료(Quit)한 뒤 터미널에서 wsl --shutdown을 한 번 실행하고 Docker를 다시 켭니다. 작업 관리자에서 vmmemWSL 메모리가 지정한 한도 이하로 묶였는지 확인합니다.

가상 머신(VM) vs 도커 컨테이너 및 메모리 설정 비교 표

구분 기존 가상 머신 (VM) Docker (기본 WSL2 설정) Docker + .wslconfig 제한
실행 구조 게스트 OS 전체를 매번 새로 부팅 공용 리눅스 커널 위 컨테이너 격리 동일 (격리 실행)
메모리 점유 경향 설정한 고정 램 크기 즉시 점유 시스템 RAM의 최대 절반까지 점유 지정한 memory=4GB 상한 내 유지
평상시 PC 쾌적성 무겁고 부팅 시간 오래 걸림 오래 켜 두면 램 과점유 가능 윈도우 작업과 도커를 가볍게 병행

참고로 쓰지 않을 때도 Docker Desktop을 트레이에 계속 켜 두면 백그라운드 메모리를 계속 차지하므로, 가끔 테스트할 때만 도커를 쓰는 분이라면 작업이 끝난 뒤 트레이 아이콘 우클릭 > Quit Docker Desktop으로 꺼 두는 습관만으로도 큰 효과를 볼 수 있습니다.

핵심 정리

도커 컨테이너는 프로그램과 실행 환경을 표준 상자에 담아 어느 PC에서나 똑같이 돌리는 편리한 도구이지만, 윈도우에서는 내부 리눅스 엔진(WSL 2) 때문에 메모리를 과하게 잡아 두기 쉽습니다. 사용자 폴더의 .wslconfig 파일에 memory=4GB처럼 상한선을 정해 두고 wsl --shutdown으로 반영하는 Docker 메모리 제한 설정만 마치면 다른 작업과 함께 쾌적하게 사용할 수 있습니다.

재발 방지 체크리스트

재발 방지 체크리스트

  • %USERPROFILE%\.wslconfig 파일에 내 PC 사양에 맞는 memory=4GB 등 상한선 지정하기
  • 파일 저장 시 뒤에 숨겨진 .txt 확장자가 붙지 않았는지 파일 탐색기 ‘파일 확장명’ 체크로 확인하기
  • 설정 변경 후 Docker 완전 종료 및 터미널에서 wsl --shutdown 실행해 재적용하기
  • 컨테이너 작업이 끝났을 때는 Docker Desktop 종료로 백그라운드 램 점유 비워 주기