서버 무차별 대입 방어, UFW 방화벽과 Fail2ban 원리
개인 블로그나 자동화용 리눅스 서버(VPS), 혹은 집 NAS 포트를 외부 인터넷에 개방해 두고 며칠 뒤 로그인 기록(/var/log/auth.log)을 들여다보면, 내가 접속한 적이 전혀 없는 세계 각국의 낯선 IP 주소들이 admin, root, ubuntu 같은 계정으로 밤새 수천 번씩 로그인 실패 기록을 남긴 것을 보고 깜짝 놀라게 됩니다.
누군가 나를 특별히 노린 것이 아니라, 인터넷 전체 IP 대역을 24시간 훑고 지나가는 자동화 공격 봇들이 문이 열린 서버를 발견하자마자 무작위로 열쇠를 끼워 맞추기 시작했기 때문입니다. 실무에서 쓰는 서버 무차별 대입 방어의 세 가지 축인 UFW 방화벽, 포트 변경, 그리고 Fail2ban의 원리를 알면 안전하고 조용한 서버 환경을 유지할 수 있습니다.
외부에 서버나 NAS를 열자마자 하루 수천 건의 로그인 시도 로그가 쌓이는 현상
특히 기본 SSH 포트인 22번이나 원격 데스크톱 3389번, NAS 웹 관리 기본 포트(5000 등)를 인터넷에 그대로 노출하면 서버를 켠 지 불과 몇 분 만에 봇 스캔이 시작됩니다.
공격 시도가 계속 쌓이면 단순히 보안 위험뿐 아니라 인증 로그 파일 크기가 불어나고 CPU·네트워크 자원을 조금씩 갉아먹으며, 행여 쉬운 비밀번호를 써 두었다면 단 몇 시간 만에 계정이 탈취당해 랜섬웨어나 채굴 악성코드에 감염될 수 있습니다.
서버 무차별 대입 방어의 3중 구조 — UFW·포트 변경·Fail2ban 원리
상가 1층의 모든 문에 번호표가 붙어 있는 빌딩을 상상해 보시기 바랍니다. 밤새 열쇠 꾸러미를 들고 문고리를 흔드는 자동화 도둑들을 막으려면 세 단계의 경비가 필요합니다. 첫째, 장사하지 않는 방 문은 아예 벽돌로 막고 정해진 출입구만 열어 두는 것이 방화벽(UFW, Uncomplicated Firewall)입니다.
둘째, 누구나 “여기가 경비실 문이겠지” 하고 먼저 두드리는 기본 22번 문 대신 2만 번대 등 다른 번호로 출입문을 옮겨 두는 것이 포트 변경입니다. 셋째, 문 앞에서 비밀번호를 5번 연속 틀리는 수상한 방문객을 경비원이 발견하는 즉시 명부에 적어 몇 시간 동안 건물 출입 자체를 차단해 버리는 장치가 바로 Fail2ban(페일투밴)입니다.
실제 리눅스에서 Fail2ban은 인증 로그(/var/log/auth.log 등)를 실시간으로 감시하다가, 짧은 시간 안에 같은 IP에서 로그인 실패(Failed password)가 기준 횟수(예: 5회) 이상 찍히면 자동으로 커널 방화벽(iptables/nftables/UFW) 규칙에 그 IP를 차단(Ban) 목록으로 올려 버립니다. 흔히 “SSH 포트 번호만 22번에서 다른 숫자로 바꾸면 이제 완벽히 안 보이니 비밀번호가 짧아도 안전하고 방화벽도 필요 없다”고 오해하지만, 포트 변경은 흔한 자동 봇 스캔 소음을 줄여 주는 은폐 효과일 뿐 정밀 포트 스캔(Nmap 등)에는 결국 드러나므로 반드시 UFW 최소 개방·Fail2ban·SSH 키 인증과 함께 써야 진짜 서버 무차별 대입 방어가 완성됩니다(비유와 달리 문 번호를 바꿔도 골목을 다 뒤지는 스캐너 앞에서는 잠금장치 자체가 튼튼해야 합니다).
내가 잠기지 않게 주의하며 방화벽과 Fail2ban을 적용하는 단계
원격 SSH 서버에서 방화벽을 켤 때 가장 조심할 점은 지금 내가 접속해 있는 SSH 포트부터 먼저 허용(allow)한 뒤에 방화벽을 켜야 한다는 것입니다. 그렇지 않으면 본인까지 서버 밖으로 쫓겨날 수 있습니다.
UFW·포트 변경·Fail2ban 안전 적용 순서
- UFW 기본 규칙 세팅 및 ‘내 SSH 포트’ 먼저 허용 후 활성화: 우분투 기준
sudo ufw default deny incoming(들어오는 연결 기본 차단)과sudo ufw default allow outgoing(나가는 연결 허용)을 설정합니다. 이어서 반드시enable전에sudo ufw allow 22/tcp(만약 포트를 22222로 바꿀 계획이면 새 포트도 미리 허용)와 웹 서비스 포트(80/tcp,443/tcp)를 열어 둔 뒤, 마지막으로sudo ufw enable로 방화벽을 켭니다. - SSH 설정 파일 백업 후 포트 변경 및 루트·비밀번호 로그인 잠금:
sudo cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak로 먼저 백업합니다. 설정 파일에서Port 22를 원하는 비표준 포트(예: 10000~60000 사이)로 바꾸고, 이미 SSH 공개키 인증을 세팅했다면PermitRootLogin no와PasswordAuthentication no로 설정합니다. 적용 전 새 창(기존 SSH 창을 닫지 않은 상태)으로 새 포트가 접속되는지 확인한 뒤 옛 22번 포트를 UFW에서 닫습니다. - Fail2ban 설치 및
jail.local규칙 적용:sudo apt install fail2ban으로 설치한 뒤 기본jail.conf를 직접 고치지 말고sudo cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local로 복사해 수정합니다.[sshd]섹션에enabled = true,port = 설정한포트,maxretry = 5(5회 실패 시),bantime = 1h(또는 더 길게)를 넣고sudo systemctl enable --now fail2ban으로 가동합니다. - NAS(시놀로지 등) 환경의 동일 원리 적용: 가정용 NAS 역시 제어판 > 보안 메뉴의 ‘자동 차단(Auto Block)’ 기능을 켜 5분 내 5회 실패 시 IP를 영구·장기 차단하고, 2단계 인증(OTP)과 기본 관리자 계정(
admin) 비활성화를 함께 걸어 둡니다.
참고로 테스트하다가 내 집 공인 IP로 실수로 5번 이상 접속을 틀려 Fail2ban에 내 스스로 차단당할 수도 있으므로, Fail2ban 설정의 ignoreip 항목에 고정된 신뢰 IP가 있다면 예외 등록하거나 클라우드 콘솔 웹 터미널(비상 접속 창)로 들어가 sudo fail2ban-client set sshd unbanip 내IP 명령으로 해제하는 방법을 익혀 두어야 합니다.
무차별 대입 방어 수단별 역할과 방어 효과 비교
네 가지 보안 조치를 함께 쌓았을 때 각각 어떤 역할을 담당하는지 표로 정리했습니다.
| 구분 | 주요 역할 | 단독 사용 시 한계 | 권장 결합 방식 |
|---|---|---|---|
| UFW 방화벽 | 필요한 포트 외 모든 외부 포트 원천 차단 | 허용된 SSH·웹 포트로 들어오는 로그인 시도는 막지 못함 | 최소 포트만 개방 (가장 기본 토대) |
| SSH 포트 변경 | 22번 기본 포트만 노리는 봇 스캔 대폭 감소 | 전체 포트 스캔 시 결국 발견됨 | 로그 소음 감소용 보조 수단으로 병행 |
| Fail2ban | 반복 로그인 실패 IP를 자동 탐지해 일시·영구 차단 | 분산 봇넷(수천 개 IP가 1번씩만 시도)엔 한계 | 최소 5회 실패 시 1시간~24시간 이상 차단 설정 |
| SSH 공개키 인증 | 비밀번호 로그인 자체를 비활성화 | 개인키 분실·권한 관리 주의 필요 | 무차별 대입 공격을 근본적으로 무력화 |
핵심 정리
외부에 공개된 개인 서버나 NAS를 노리는 자동화 봇을 막기 위한 서버 무차별 대입 방어는 한 가지 설정에 기대기보다 UFW 방화벽으로 불필요한 포트를 닫고, SSH 포트 변경으로 봇 스캔을 줄이며, Fail2ban으로 반복 실패 IP를 자동 차단하는 다층 구조로 쌓아야 안전합니다. 여기에 비밀번호 로그인 대신 SSH 공개키 인증과 2단계 인증을 더하면 무작위 비밀번호 대입 공격의 성공 가능성을 사실상 0에 가깝게 막을 수 있습니다.
재발 방지 체크리스트
재발 방지 체크리스트
- 서버의
sudo ufw status를 확인해 실제로 사용하는 웹·SSH·VPN 포트 외에 불필요한 포트가 열려 있지 않은지 점검합니다. - SSH 포트를 변경하거나 방화벽 규칙을 적용할 때는 기존 터미널 창을 닫지 않은 채 새 터미널 창에서 접속 성공을 확인하고 전환합니다.
sudo fail2ban-client status sshd명령으로 현재 Fail2ban이 정상 작동 중이며 차단된 공격 IP가 잘 잡히는지 가끔 확인합니다.- NAS나 웹 관리자 계정의 기본 아이디(
admin,root) 직접 외부 로그인은 비활성화하고 2단계 인증을 켭니다.









