[🌱 새싹] 바이트 단위 ROT128 복호 — DreamHack ROT128 풀이

encfile이 바이너리가 아니라 ASCII 텍스트, 그것도 줄바꿈 없는 아주 긴 한 줄이라는 게 첫 단서다. PNG를 암호화했다는데 결과가 텍스트라면, 바이트를 그대로 저장한 게 아니라 어떤 식으로든 문자로 인코딩했다는 뜻이다.

소스를 열어 보면 흐름이 그대로 드러난다.

한 줄씩 뜯어보면,

• hex_list는 '00', '01', ..., 'FF' — 0부터 255까지를 2자리 대문자 16진수 문자열로 만든 256칸 표다. 인덱스 i의 값이 곧 hex(i)이므로 hex_list.index('XX') == 0xXX, 즉 이 표에서 어떤 16진수 문자열의 인덱스는 그 바이트 값 자체다.

• plain_list는 flag.png의 각 바이트를 같은 형식의 16진수 문자열로 바꾼 것.

• 핵심 루프: 바이트 하나를 골라 index(= 그 바이트 값)를 구하고, (index + 128) % 256 위치의 16진수 문자열로 바꿔 담는다.

• 마지막에 구분자 없이 전부 이어붙여 텍스트로 저장.

정리하면 암호화는 딱 한 줄로 압축된다. 각 바이트 b를 (b + 128) % 256으로 바꾼 뒤 2자리 대문자 16진수로 적어 이어붙인다. index 계산이나 hex_list는 그 한 줄을 빙 둘러 표현한 것일 뿐이다.

🧠 암호 분석 — ROT128의 정체

encfile을 직접 한 번 들여다보면 분석이 맞는지 바로 확인된다.

문자 종류는 0123456789ABCDEF뿐이고 길이는 짝수(148,810)다. 2글자가 한 바이트이니 평문은 148810 / 2 = 74,405바이트. 값의 범위도 0~255 전체에 걸쳐 있어, 예상대로 일반적인 바이너리(PNG)를 바이트 단위로 인코딩한 모습이다.

이제 복호다. 회전량이 128이라는 게 이 문제의 전부다.

128을 두 번 더하면 256이 되고, 256은 모듈러 256에서 0이다. 즉 암호화 함수가 곧 복호화 함수다. 키도 역연산도 따로 필요 없이, 암호문 바이트에 다시 +128 mod 256을 적용하면 평문으로 돌아온다. 이런 성질을 자기역원(involution)이라 부른다 — ROT13을 두 번 적용하면 원문이 되는 것과 같은 이치다.

가장 깔끔한 검증은 PNG 시그니처다. PNG는 항상 89 50 4E 47로 시작한다. 그렇다면 encfile의 맨 앞 바이트는 0x89에 128을 더한 값이어야 한다.

0x89(137) + 128 = 265, 256을 빼면 9 = 0x09. 그리고 정찰 출력의 head를 보면 encfile은 정확히 09D0...로 시작한다. 첫 페어가 09라는 사실 하나로 "이 파일은 PNG를 ROT128한 것"이라는 가설이 맞아떨어진다.

🎯 복호 — 같은 연산을 한 번 더

분석한 그대로 옮기면 복호 스크립트는 짧다. 2글자씩 끊어 정수로 만들고, +128 mod 256을 돌려 바이트로 쓴다.

복원한 8바이트가 89504e470d0a1a0a — PNG의 표준 시그니처(\x89PNG\r\n\x1a\n)와 정확히 일치한다. 파일 명령으로도 다시 확인한다.

깨진 조각이 아니라 헤더부터 IEND까지 온전한 1792×848 RGB PNG다. 복호가 한 바이트도 어긋나지 않았다는 뜻이다.

🚩 플래그

복원한 flag.png를 열면 플래그가 그대로 적혀 있다.

📝 결론

이름이 풀이의 절반이었다.

ROT128은 회전량 128이 256의 절반이라 두 번 적용하면 제자리로 돌아온다. 그래서 키도 역연산도 따로 필요 없이, 암호화에 쓴 코드를 그대로 한 번 더 돌리면 복호가 된다.

암호문이 텍스트라는 단서를 먼저 읽는 게 중요했다.

file로 본 "ASCII text"와 정찰의 0-9A-F charset이 "바이트를 16진수 문자열로 인코딩했다"는 구조를 알려줬다. 거꾸로 2글자를 한 바이트로 묶는 디코딩 단계를 빼먹으면 복호가 어긋난다. PNG 시그니처(89 50 4E 47)는 이런 복원이 맞는지 확인하는 가장 빠른 기준점이다.

방어 관점. 이 문제의 핵심은 키 없는 고정 치환이라는 데 있다. 키가 없으니 누구나 동일한 역연산으로 원문을 되돌릴 수 있고, +128 같은 단순 시프트는 자기역원이라 분석 가치도 없다. 실제 기밀을 다룬다면 검증된 대칭키 암호(AES-GCM 등)와 충분한 길이의 비밀 키를 써야 하며, ROT 계열·XOR 단일 바이트·단순 시프트는 난독화일 뿐 암호가 아니라는 점을 기억하면 된다.