문제: DreamHack — [wargame.kr] md5 password 분류: Web 난이도: 🥉 Bronze 3 FLAG:
DH{9d6745675a079f8cb20347e29138720df37e185f}
wargame.kr에서 넘어온 이식 문제라 소스 파일 다운로드는 따로 없다. 대신 페이지 자체에 ?view-source라는 친절한 링크가 붙어 있다 — PHP의 show_source(__FILE__)로 자기 소스를 그대로 보여주는 구조다.

문제 개요
| 항목 | 내용 |
|---|---|
| 문제명 | [wargame.kr] md5 password |
| 난이도 | 🥉 Bronze 3 |
| 분류 | Web |
| 제공 파일 | 없음 (?view-source로 자체 노출) |
| 핵심 기법 | md5($ps, true)의 raw 바이너리 해시가 이스케이프 없이 SQL 문자열 리터럴에 꽂히는 SQL Injection |
🔬 정찰 — 이스케이프는 됐는데, 정작 쿼리에 들어가는 값이 다르다
?view-source로 전체 소스를 확인했다.

핵심 줄만 추리면 이렇다.
$ps = mysqli_real_escape_string($conn, $_POST['ps']);
$row = @mysqli_fetch_array(mysqli_query($conn,
"select * from admin_password where password='".md5($ps,true)."'"));
if(isset($row[0])){
echo "hello admin!"."<br />";
echo "FLAG : ".$FLAG;
} else {
echo "wrong..";
}언뜻 보면 방어가 제대로 된 것처럼 보인다 — 사용자 입력 $ps를 mysqli_real_escape_string()으로 이스케이프하고 있으니까. 그런데 실제로 쿼리 문자열에 들어가는 값은 $ps 자체가 아니라 md5($ps, true)의 결과다. PHP의 md5() 함수는 두 번째 인자를 true로 주면 32자리 16진수 문자열이 아니라 16바이트짜리 raw 바이너리를 반환한다. 이스케이프는 원문 입력에만 적용됐고, 그 이후에 계산되는 해시 결과값은 단 한 번도 이스케이프를 거치지 않은 채 그대로 쿼리에 이어붙여진다.
mysqli_real_escape_string()이 실제로 하는 일을 다시 짚어보면 이 구멍이 더 뚜렷해진다. 이 함수는 NUL, \n, \r, \, ', ", Ctrl-Z(0x1a) 앞에 백슬래시를 붙여서 그 문자열이 SQL 리터럴을 깨뜨릴 수 없게 만드는 게 전부다. 즉 이 함수가 안전을 보장하는 대상은 딱 하나, 자신에게 넘겨진 그 문자열 값뿐이다. 그 값을 원료로 이후에 새로 계산되는 다른 값까지는 전혀 책임지지 않는다. 코드를 훑어보는 사람 입장에서는 $ps = mysqli_real_escape_string(...) 한 줄만 보고 "이제부터 $ps 계열은 안전하다"고 넘겨짚기 쉬운데, 실제로 이스케이프를 통과한 건 그 줄에서 반환된 문자열 값 하나뿐이다. md5($ps, true)는 $ps를 재료로 삼아 완전히 새로운 바이트열을 만들어내는 별개의 값이고, 이 값은 이스케이프 함수 앞을 단 한 번도 지나가지 않는다.
💣 핵심 — MD5는 사실상 무작위 바이트, 우연히 SQL 문법이 될 수 있다
MD5 해시는 입력이 뭐든 균등하게 분포된 16바이트를 뱉어낸다고 봐도 무방하다. 그 16바이트 중에는 당연히 아스키 출력 가능 문자도 섞여 나올 수 있고, 운이 좋으면 작은따옴표(', 0x27)도 나올 수 있다. 원리를 눈으로 확인하려고 먼저 훨씬 약한 조건 — "raw 해시가 작은따옴표로 시작하는 문자열"만 무작위로 찾아봤다.
while True:
s = "".join(random.choice(string.ascii_lowercase) for _ in range(8))
h = hashlib.md5(s.encode()).digest()
if h[0:1] == b"'":
print(f"발견: {s!r} -> {h}")
break
한 바이트만 맞으면 되니 몇백 번 안에 금방 찾힌다. 하지만 실제로 로그인을 뚫으려면 훨씬 까다로운 조건이 필요하다 — 해시가 정확히 'or'<0이 아닌 숫자> 5바이트로 시작해야 select ... where password=''or'<숫자>...'가 되어 MySQL이 '<숫자>...'를 느슨하게 숫자로 캐스팅해 참으로 평가한다. 이 5바이트 고정 조건은 확률이 1/256⁵(약 1조분의 1)로, 로컬 CPU로 무작위 탐색해서 현실적인 시간 안에 찾는 건 사실상 불가능하다. 그래서 이 조건을 만족하는, 이미 여러 CTF에서 검증된 매직 스트링 "ffifdyop"을 직접 계산으로 재검증했다.
▶🐛 삽질 — '그냥 5바이트 다 맞을 때까지 무식하게 돌리면 안 되나'를 직접 재본 기록
처음엔 "1바이트 맞추는 건 몇백 번 만에 됐으니 5바이트도 어떻게든 되지 않을까"라는 생각이 먼저 들었다. 확률로는 말이 안 되는 걸 알면서도, 감으로 판단하지 말고 실제로 얼마나 차이가 나는지 재보기로 했다. 12바이트는 로컬에서 끝까지 돌려 실측하고, 그 실측 처리량을 근거로 35바이트에 걸리는 시간을 계산으로 뽑아냈다 — 5바이트를 실제로 끝까지 돌리면 캡처 한 장 찍는 데 몇 주가 걸릴 판이라 그건 불가능했다.
def search(prefix_len, cap=5_000_000):
tries = 0
t0 = time.time()
while True:
tries += 1
s = "".join(random.choice(chars) for _ in range(8))
h = hashlib.md5(s.encode()).digest()
if h[:prefix_len] == target[:prefix_len]:
return tries, time.time() - t0
if tries >= cap:
return None, time.time() - t0
이 세션 실측치는 초당 약 17만 해시. 1바이트는 16번, 2바이트는 12만 번 만에 걸렸다. 여기까지는 그럭저럭 감이 왔는데, 계산기를 두드려보니 체감이 확 달라졌다 — 3바이트는 1.6분, 4바이트는 6.9시간, 5바이트는 약 74일이 걸린다는 계산이 나왔다. 바이트 하나 늘 때마다 정확히 256배씩 뛰는 이유는 단순하다. 한 바이트는 256가지 값 중 정확히 하나를 맞혀야 하는 문제라 확률이 1/256이고, 기대 시도 횟수는 그 역수인 256이다. 바이트가 n개로 늘면 그 확률들이 서로 독립이라 곱해져서 256ⁿ이 된다. GPU나 멀티코어로 가속해도 기껏해야 몇 배~몇십 배지 자릿수 자체가 바뀌는 수준은 아니라서, CTF 풀이 시간 안에 끝낼 수 있는 방법이 아니라고 결론 내렸다. 그래서 방향을 "이미 누군가 찾아놓은 매직 스트링이 있는지" 쪽으로 완전히 바꿨고, ffifdyop이 정확히 이 조건(raw 해시가 'or'6으로 시작)을 만족한다는 걸 계산으로 재확인하는 걸로 마무리했다.
h = hashlib.md5(b"ffifdyop").digest()
# b"'or'6\xc9]\x99\xe9!r,\xf9\xedb\x1c"
b"'or'6\xc9]\x99\xe9!r,\xf9\xedb\x1c" — 앞 5바이트가 정확히 'or'6이다. 이걸 쿼리에 그대로 대입하면:
select * from admin_password where password='<나머지쓰레기바이트>'or'6\xc9]\x99...'where password='' or '6\xc9...' 형태가 되고, MySQL은 문자열을 숫자 컨텍스트에서 비교할 때 앞자리부터 최대한 숫자로 읽으려 시도한다 — '6\xc9...'는 6으로 캐스팅되어(non-zero이므로 참) OR 절 전체가 항상 참이 된다. 뒤에 남는 쓰레기 바이트들은 문자열 리터럴을 어차피 마지막 '가 다시 닫아주기 때문에 SQL 문법상 문제가 되지 않는다.
🐘 PHP로 다시 확인 — raw 모드가 hex 모드보다 위험한 이유
지금까지는 파이썬으로 원리를 확인했지만, 실제 취약점은 PHP 코드에서 발생했으니 PHP로도 그대로 재현해볼 수 있다(파이썬의 hashlib.md5(x.encode()).digest()와 PHP의 md5($x, true)는 바이트 단위로 완전히 동일한 결과를 낸다 — 둘 다 같은 MD5 표준을 구현할 뿐이다). md5()의 두 번째 인자가 정확히 무엇을 바꾸는지부터 바이트 단위로 보면 명확해진다.
php -r 'echo md5("ffifdyop", true);' | xxd # raw 모드
php -r 'echo md5("ffifdyop");' | xxd # hex 모드 (기본값)
두 결과의 바이트 수부터 다르다 — raw 모드는 16바이트, hex 모드는 32바이트(32글자 ASCII)다. 그런데 진짜 차이는 크기가 아니라 바이트가 취할 수 있는 값의 범위다. hex 모드의 결과 문자열은 오직 0123456789abcdef 16종류의 문자로만 구성된다 — 이 문자 집합 안에는 애초에 작은따옴표(0x27)도, 백슬래시(0x5c)도 존재할 수 없다. 반면 raw 모드는 16바이트 각각이 0x00~0xff 256가지 값 중 아무거나 될 수 있고, 그중에는 당연히 SQL 메타문자와 우연히 일치하는 바이트도 섞여 나올 수 있다. md5()가 안전한지 아닌지는 함수 이름이 아니라 두 번째 인자 하나로 갈린다 — 이걸 놓치면 "해시니까 안전하다"는 직관이 통째로 틀린 전제가 된다.
이 차이가 실제 쿼리 문자열에 어떻게 반영되는지, 취약 코드와 똑같은 방식으로 문자열만 조립해봤다(DB 연결 없이도 쿼리 문자열 자체가 어떤 바이트로 구성되는지는 그대로 확인할 수 있다).
$query_raw = "select * from admin_password where password='" . md5($ps, true) . "'";
$query_hex = "select * from admin_password where password='" . md5($ps) . "'";
정상적인 쿼리라면 문자열 리터럴을 여는 따옴표와 닫는 따옴표, 딱 2개만 있어야 한다. hex 모드로 조립한 쿼리는 실제로 정확히 2개다 — 해시가 뭘로 나오든 절대 안 늘어난다, hex 문자 집합 자체에 따옴표가 없기 때문이다. 반면 raw 모드로 조립한 쿼리는 따옴표가 4개다. 해시 내부에서 2개가 몰래 끼어든 것이고, 이 여분의 따옴표가 바로 password=''or'6...'을 만들어 SQL 파서가 문자열 리터럴을 원래 의도보다 훨씬 일찍 닫아버리게 만드는 지점이다.
이건 이 문제만의 특수한 함정이 아니다. 해시 함수를 raw 바이너리 모드로 호출해 그 결과를 문자열 컨텍스트(SQL, 로그 라인, HTTP 헤더, 파일 경로 등 어디든)에 그대로 흘려보내는 코드는 전부 같은 위험을 안고 있다. 반대로 hex나 base64처럼 출력 문자 집합이 제한된 인코딩으로 바꿔주면, 그 인코딩이 허용하는 문자 집합에 애초에 따옴표나 구분자가 없기만 하면 이런 종류의 문법 깨짐은 원천적으로 성립하지 않는다.

🎯 자체 완결 solve
원리가 확인됐으니 실제 서버에 그대로 흘려보내면 된다. 틀린 비밀번호와 매직 스트링을 나란히 비교했다.
curl -X POST http://host3.dreamhack.games:21133/index.php --data-urlencode 'ps=wrongpassword'
curl -X POST http://host3.dreamhack.games:21133/index.php --data-urlencode 'ps=ffifdyop'
?view-source로 소스 전체가 노출된 문제라 서버 쪽 로직에 추측이 끼어들 여지가 없었다 — 위에서 PHP로 로컬 재현한 쿼리 조립 결과(따옴표 4개, 'or'6 접두사)가 실제 서버 응답과 정확히 같은 결론으로 이어진다는 걸 두 경로(로컬 계산 vs 실제 서버 응답)로 교차 확인한 셈이다.
FLAG: DH{9d6745675a079f8cb20347e29138720df37e185f}
📝 결론
"이스케이프했다"는 말은 정확히 무엇을 이스케이프했는지까지 확인해야 의미가 있다. 이 코드는 사용자 입력 자체는 꼼꼼히 이스케이프했지만, 그 입력을 가공한 결과값(md5()의 반환값)은 방어 대상에서 완전히 빠졌다. 입력값에 함수를 적용한 뒤 그 출력을 다시 쿼리에 섞어 넣는 패턴에서는, 그 출력값도 사용자가 간접적으로 통제할 수 있는 데이터라는 걸 놓치기 쉽다.
md5(..., true)처럼 바이너리를 반환하는 함수는 SQL 문자열 리터럴에 절대 직접 넣으면 안 된다. raw 바이너리는 임의의 바이트 조합이 나올 수 있고, 그중 일부가 SQL 메타문자(', \)와 우연히 일치할 확률은 결코 무시할 수준이 아니다 — 이번처럼 실제로 공개된 매직 스트링이 존재한다는 게 그 증거다. 해시값을 쿼리에 쓸 일이 있다면 항상 16진수 문자열 형태(md5($ps), true 생략)로 쓰는 게 최소한의 안전판이다.
하지만 hex로 바꾸는 건 이 문제 하나를 막을 뿐, 근본적인 해법은 아니다. 진짜 해법은 파라미터 바인딩(prepared statement)이다. PDO를 예로 들면 이렇게 쓴다.
$stmt = $pdo->prepare("select * from admin_password where password = ?");
$stmt->execute([md5($ps, true)]);이렇게 바인딩하면 md5($ps, true)가 아무리 이상한 바이트를 뱉어내도 SQL 파서를 절대 통과하지 못한다 — 드라이버가 값과 쿼리 구조를 처음부터 분리된 채널로 전송하기 때문에, 값 안에 따옴표가 몇 개 들어있든 그냥 "문자열 데이터"로만 취급되고 SQL 문법으로 재해석될 여지가 없다. 문자열 이스케이프(또는 hex 인코딩)는 값을 문법적으로 안전한 형태로 가공하는 방식이라 이번처럼 가공 순서를 한 군데만 놓쳐도 뚫리지만, 바인딩은 애초에 값과 문법을 같은 문자열에 섞지 않기 때문에 "놓칠 순서" 자체가 존재하지 않는다.
그리고 이건 raw 모드에만 해당하는 얘기가 아니다. hex 모드로 바꾸면 이번 특정 공격 하나는 막히지만, "해시값이니까, 혹은 hex 문자열이니까 안전할 것"이라는 가정 자체가 이미 위험한 습관이다. 해시든 UUID든 타임스탬프든, 어떤 값이든 문자열 연결(. 이어붙이기)로 쿼리에 끼워 넣는 코드가 한 줄이라도 남아 있으면, 그 값을 만드는 로직이 나중에 조금만 바뀌어도(라이브러리 업데이트로 출력 인코딩이 바뀌거나, 누군가 무심코 true 인자 하나를 추가하거나) 같은 클래스의 취약점이 그대로 재발할 수 있다. 파라미터 바인딩을 예외 없이 쓰고, 문자열 연결로 쿼리를 조립하는 코드 자체를 코드리뷰에서 걸러내는 게 맞다. "이 값은 우리가 직접 계산한 거라 사용자가 통제할 수 없다"는 판단은, 그 값이 사용자 입력을 원료로 만들어진 이상 대부분 틀린 판단이다.
"느슨한 타입 비교"는 SQL에서도 예외가 아니다. PHP의 == 매직 해시 문제로 잘 알려진 느슨한 비교 함정이, MySQL의 문자열-숫자 암묵적 캐스팅에서도 똑같이 재현된다는 걸 이번 문제로 확인했다. 문자열이 예상치 못한 곳에서 숫자로 취급될 수 있다는 가능성은 언어를 가리지 않고 늘 염두에 둬야 한다.
Comments
댓글
댓글을 남기려면 로그인이 필요해요. (네이버 · 구글 계정)
댓글 불러오는 중…