[🥉 Bronze 3] 38겹으로 감싼 Base64 벗기기 — DreamHack What is This??? 풀이

문제: DreamHack — What is This??? 분류: Crypto 난이도: 🥉 Bronze 3 FLAG: DH{hellobase64}

파일 하나에 Vm0wd2QyUXlVWGxW...로 시작하는 긴 문자열만 들어 있다. 문제 설명도 "이게 뭐노!!"가 전부다. 제목처럼 "이게 뭐냐"를 묻는 문제인데, 정체는 여러 번 겹쳐 인코딩한 Base64다 — 그것도 한두 번이 아니라 38번.

문제 개요

prob.txt만 있으면 오프라인에서 바로 풀린다.

🧩 배경 — Base64 는 왜 겹쳐도 티가 나나

Base64는 임의의 바이트를 64개 인쇄 가능 문자(A-Z a-z 0-9 + /)로 옮기는 인코딩이다. 3바이트(24비트)를 4글자(6비트씩)로 바꾸고, 부족하면 =로 패딩한다. 암호가 아니라 그저 표현 방식이라 키 없이 누구나 되돌릴 수 있다.

중첩 인코딩의 흔적은 결과물에서 바로 드러난다. 어떤 문자열을 Base64로 인코딩하면 그 결과 역시 A-Z a-z 0-9 + /와 =만으로 이뤄진다. 그래서 "디코드했더니 또 Base64처럼 생긴 문자열"이 나오면, 한 겹 더 감싸져 있다는 신호다. Vm0wd... 같은 문자열이 이 경우다.

또 하나 알아두면 좋은 성질은 Base64가 원본보다 항상 커진다는 것이다. 3바이트를 4글자로 바꾸니 인코딩할 때마다 크기가 4/3배(약 33%) 늘어난다. 뒤집어 말하면, 디코드할 때마다 크기가 3/4(약 25%)로 줄어든다. 이 문제의 prob.txt가 100만 바이트가 넘는 이유도, 15바이트짜리 플래그를 38번 인코딩해서 부풀렸기 때문이다.

🔬 정찰 — 파일 형태와 문자셋 확인

먼저 파일이 정말 순수한 Base64 덩어리인지 확인한다.

file prob.txt
python3 -c "
import re
s = open('prob.txt').read().strip()
print('base64 문자셋만 사용:', bool(re.fullmatch(r'[A-Za-z0-9+/=]+', s)))
print('길이:', len(s), ' 4의 배수:', len(s) % 4 == 0)
"

file은 "with very long lines (65536)"라고 알려준다 — 100만 바이트가 넘는데 줄바꿈이 하나도 없다는 뜻이다. 정규식 검사로는 A-Za-z0-9+/= 밖의 문자가 하나도 없고, 길이도 Base64의 4바이트 단위 조건을 만족한다. 세 조건(문자셋·줄바꿈 없음·4의 배수 길이) 다 Base64라는 가설과 맞아떨어진다.

한 번만 디코드해 본다.

import base64
s = open("prob.txt").read().strip()
print(base64.b64decode(s).decode()[:60])
# -> "Vm0wd2QyUXl..." 여전히 Base64

한 겹 벗겨도 또 Base64가 나온다. 크기가 얼마나 줄어드는지 처음 몇 라운드만 찍어봤다.

wc -c prob.txt
python3 -c "
import base64
s = open('prob.txt').read().strip()
for i in range(1, 6):
    s = base64.b64decode(s).decode()
    print(f'round {i:2d}: {len(s):7d} bytes')
"

800984, 600736, 450552... 매 라운드 정확히 이전 값의 0.75배다. 배경에서 계산한 "디코드할 때마다 3/4로 줄어든다"는 예측이 실제 데이터로 그대로 확인된다.

🎯 풀이 — 벗겨질 때까지 벗긴다

이걸 손으로 반복하긴 지치니, "더 이상 Base64가 아닐 때까지" 자동으로 벗기게 만든다. 종료 조건은 디코드 결과에 플래그 형식(DH{)이 보이는 순간이다.

# solve.py
import base64
s = open("prob.txt").read().strip()
for i in range(1, 100):
    s = base64.b64decode(s).decode()
    if "DH{" in s:
        print(f"[{i}회] FLAG: {s}"); break

마지막 몇 라운드만 따로 찍어보면 어떻게 수렴하는지 더 잘 보인다.

python3 -c "
import base64
s = open('prob.txt').read().strip()
for i in range(1, 39):
    s = base64.b64decode(s).decode()
    tag = f'  -> {s}' if i >= 36 else ''
    print(f'round {i:2d}: {len(s):4d} bytes{tag}')
" | tail -6

36라운드까지도 여전히 Base64 문자열(UkVoN2FHVnNiRz...)이던 게, 38라운드에서 드디어 사람이 읽을 수 있는 DH{hellobase64}로 떨어진다. 겹의 개수가 많을 뿐, 각 겹은 똑같은 Base64라 벗기는 절차도 처음부터 끝까지 똑같다.

FLAG: DH{hellobase64}

📝 결론

인코딩은 몇 겹이어도 인코딩이다. Base64를 아무리 여러 번 겹쳐도 각 겹은 키 없이 되돌릴 수 있는 표현 변환일 뿐이다. 겹의 수가 방어가 되지는 못한다. 정체 모를 문자열이 A-Z a-z 0-9 + / =로만 이뤄져 있으면 Base64를 먼저 의심하고, 결과가 또 그 꼴이면 한 겹 더 벗기면 된다.

크기 변화가 힌트가 될 때도 있다. 이번 문제처럼 원본 파일이 유난히 큰데 내용물은 짧은 플래그 하나뿐이라면, "인코딩이 여러 겹 씌워져 부풀었다"는 가설을 세울 수 있다. Base64는 겹마다 정확히 4/3배 커지므로, 역으로 파일 크기와 예상되는 최종 결과 크기의 비율을 보면 대략 몇 겹인지도 미리 가늠할 수 있다(이 문제라면 log(1067980/15) / log(4/3) ≈ 38).

종료 조건을 문제의 형식에서 가져온다. 몇 번 벗겨야 하는지 미리 셀 필요 없이, 플래그 형식(DH{)이 나타나는 순간을 종료 조건으로 삼으면 반복 횟수를 몰라도 자동으로 멈춘다. 포맷이 고정된 플래그는 이런 자동화에 늘 좋은 신호가 된다.