문제: DreamHack — legacyopt 분류: Reversing 난이도: 🥉 Bronze 2 FLAG:
DH{Duffs_Device_but_use_memcpy_instead}
입력을 받아 어떤 인코딩을 거친 뒤 그 결과를 hex로 출력하는 프로그램이다. 주어진 output.txt는 플래그를 이 인코더에 넣은 결과다. 이름 legacyopt(오래된 최적화)와 나중에 드러날 플래그가 암시하듯, 핵심은 옛날 C 최적화 기법인 Duff's device로 펼쳐진 루프다.

문제 개요
| 항목 | 내용 |
|---|---|
| 문제명 | legacyopt |
| 난이도 | 🥉 Bronze 2 |
| 분류 | Reversing (x86-64 ELF, PIE, stripped) |
| 제공 파일 | legacyopt, output.txt (78 hex = 39바이트) |
| 핵심 기법 | 위치별 XOR 인코더를 블랙박스로 역산 |
output.txt가 39바이트이니 플래그는 39글자다. 인코더를 로컬에서 돌릴 수 있으니 내부를 다 뜯지 않고도 뒤집을 수 있다.
🧩 배경 — Duff's device 라는 오래된 트릭
main은 입력을 인코딩 함수 fcn.1209에 넘긴 뒤, 결과를 %02hhx로 한 바이트씩 hex 출력한다. 그 인코딩 함수를 뜯어 보면 낯선 구조가 나온다.
r2 -q -A -e log.quiet=true -c "pd 22 @ 0x126b" legacyopt
switch (len % 8)로 점프해 들어간 뒤, case 0 → 7 → 6 → 5 → … 순으로 break 없이 흘러내리며(fall-through) 8바이트를 처리하고 루프를 반복한다. 이게 바로 Duff's device다. 원래는 루프 오버헤드를 줄이려고 memcpy를 손으로 펼친 기법인데, 여기서는 각 case가 한 바이트를 서로 다른 상수와 XOR하도록 바꿔 놓았다.
// case 0: out = in ^ 0x88;
// case 7: out = in ^ 0x66;
// case 6: out = in ^ 0x44;
// ... 각 case 가 위치에 대응하는 상수로 XORnub_rev01에서 봤듯 XOR은 자기역원이다. 같은 상수로 다시 XOR하면 원상복구된다.

출처: Wikimedia Commons, public domain
💣 핵심 — 위치별 상수를 캐낸다
Duff's device의 case가 어떤 순서로 어떤 상수를 쓰는지 손으로 정확히 따라가는 건 성가시다. 하지만 그럴 필요가 없다. 중요한 사실 두 가지만 잡으면 된다.
- 출력의
i번째 바이트는 오직 입력의i번째 바이트에 달려 있다 (case끼리 바이트를 섞지 않는다). - 어떤 상수를 쓰는지는 위치
i와 전체 길이로만 정해진다.
그러면 상수를 역산할 필요 없이 직접 물어보면 된다. 플래그와 같은 길이(39) 의 알려진 입력(예: A 39개)을 넣어 그 인코딩을 보면, 위치별 상수가 그대로 드러난다.
enc(K)[i] = K[i] XOR const(i) ⇒ const(i) = K[i] XOR enc(K)[i]
flag[i] = target[i] XOR const(i)길이만 같으면 Duff's device의 진입점(len % 8)도 같아져 상수 배열이 그대로 재현되므로, 이 블랙박스 질의가 정확히 통한다.
🎯 풀이 — 알려진 입력으로 상수 캐내기
A를 39개 넣어 위치별 상수를 캐낸 뒤, 주어진 output.txt에 적용한다.
# solve.py
import subprocess
target = bytes.fromhex("220c6a33204455fb390074013c4156d704316528205156d70b217c14255b6ce10837651234464e")
L = len(target) # 39
known = b"A" * L
out = subprocess.run(["./legacyopt"], input=known + b"\n", capture_output=True).stdout.strip()
ka = bytes.fromhex(out.decode()) # enc(K)
const = bytes(known[i] ^ ka[i] for i in range(L)) # const(i)
flag = bytes(target[i] ^ const[i] for i in range(L))
print("FLAG:", flag.decode())
복원된 플래그가 DH{Duffs_Device_but_use_memcpy_instead}, 즉 "Duff's device 대신 memcpy를 써라"라는 자기 고백이다. 복원한 문자열을 다시 인코더에 넣으면 출력이 원본 output.txt와 바이트 단위로 정확히 일치한다(재인코딩 검증 통과).
FLAG: DH{Duffs_Device_but_use_memcpy_instead}
📝 결론
펼친 루프도 결국 위치별 함수일 뿐이다.
Duff's device로 코드가 낯설게 펼쳐져 있어도, 각 바이트가 독립적으로 XOR될 뿐이라 전체는 39개의 작은 문제로 쪼개진다. 구조의 생김새가 아니라 데이터 흐름(자리끼리 섞이는가)이 난이도를 정한다.
인코더를 손에 쥐면 역산은 질의 몇 번이다.
상수 배열을 정적으로 다 따라가는 대신, 알려진 입력을 넣어 상수를 캐내는 편이 훨씬 빠르고 실수도 적다. 정방향을 실행할 수 있고 변환이 위치별로 독립이면, 블랙박스 질의가 복잡한 정적 분석을 대신한다.
Comments
댓글
댓글을 남기려면 로그인이 필요해요. (네이버 · 구글 계정)
댓글 불러오는 중…