콘텐츠로 이동

Java4Shell: Base64 디코더의 메모리 손상

Java4Shell: Base64 디코더의 메모리 손상 thumbnail
Java4Shell(CVE-2026-114938)은 OpenJDK HotSpot의 x86-64 Base64 가속 루틴에서 발생하는 메모리 손상 취약점이다. AVX-512 VBMI 경로가 잘못된 패딩을 처리하면서 출력 버퍼 밖에 데이터를 쓴다. Calif는 이 쓰기를 힙 메모리 유출과 애플리케이션별 원격 코드 실행으로 확장했다고 발표했다.

요약

Java4Shell(CVE-2026-114938)은 OpenJDK HotSpot의 x86-64 Base64 가속 루틴에서 발생하는 메모리 손상 취약점이다. AVX-512 VBMI 경로가 잘못된 패딩을 처리하면서 출력 버퍼 밖에 데이터를 쓴다. Calif는 이 쓰기를 힙 메모리 유출과 애플리케이션별 원격 코드 실행으로 확장했다고 발표했다.

공개일과 영향 범위

Calif는 2026-11-17 취약점을 공개했다. Oracle도 같은 날 보안 권고문과 수정 빌드를 배포했다. Cloudflare의 후속 분석은 2026-11-18 공개됐다.

취약 경로는 OpenJDK 17.0.6부터 도입됐다. 이후 버전 전체를 취약하다고 판단하지 말고, 공급자별 수정 빌드 적용 여부를 구분해야 한다. Oracle 권고문이 명시한 영향 버전은 다음과 같다.

제품 영향 버전
Oracle Java SE 8u511b33-perf, 17.0.21.0.3, 21.0.13.0.3, 25.0.5.0.3, 27.0.1.0.3
Oracle GraalVM for JDK 17.0.21.0.3, 21.0.13.0.3
Oracle GraalVM Enterprise Edition 21.3.20.0.3

실행 조건은 AVX-512 VBMI를 지원하는 x86-64 CPU와 공격자 입력이 표준 Java Base64 디코더에 도달하는 경로다. ARM64는 이 취약 경로의 영향을 받지 않는다.

취약 메커니즘

마지막 입력 조각의 패딩을 처리하면서 출력 길이가 음수가 된다. 이 값으로 계산한 저장 마스크가 모든 비트를 활성화해 64바이트 전체를 기록한다.

65문자 입력에서는 출력 배열이 50바이트로 할당되지만, 오프셋 48부터 64바이트를 써 배열 밖 62바이트를 덮는다. OpenJDK 17은 가속 경로 진입 임계값이 높아 더 긴 입력이 필요하다.

예외 발생 전에 메모리가 손상된다

IllegalArgumentException은 잘못된 저장이 실행된 뒤 발생한다. 디코딩 예외를 잡는 것만으로 메모리 손상을 막을 수 없다.

최초 쓰기는 대부분 고정된 값으로 제한된다. Calif는 인접 배열의 길이를 변조해 힙 읽기와 선택한 값의 쓰기로 확장했다. 원격 코드 실행에는 애플리케이션별 공격 경로와 메모리 배치 조건이 추가로 필요하다.

PoC 분석

출처: Calif — Java4Shell: Write once, RCE everywhere

Arrays.fill(target, (byte) 0x5a);
boolean rejected = false;
try {
    decoder.decode(malformed, target);
} catch (IllegalArgumentException expected) {
    rejected = true;
}

공개 PoC의 Base64Trigger.main은 정상 디코딩을 반복해 취약 가속 경로 사용을 유도한 뒤 Base64.Decoder.decode에 비정상 입력을 전달한다. 위 코드는 예외 발생을 기록하며, 이후 검사는 예상 출력 범위를 벗어난 변경을 찾는다. 취약 환경에서는 4096바이트 대상 배열의 오프셋 50~111이 바뀌므로, 인접 객체를 덮지 않고 저장 범위 오류를 관찰한다.

패치와 임시 완화

수정 런타임을 적용하고 JVM을 재시작한다. 제품 내장 JRE와 컨테이너 JDK도 각각 교체해야 한다.

즉시 패치하기 어렵다면 다음 JVM 시작 옵션으로 Base64 가속 루틴을 비활성화한다.

-XX:+UnlockDiagnosticVMOptions -XX:-UseBASE64Intrinsics

x86-64에서는 다음 옵션으로 AVX-512를 비활성화할 수도 있다.

-XX:UseAVX=2

두 방식 모두 재시작이 필요하고 성능에 영향을 줄 수 있다. UseAVX 옵션은 ARM JVM의 시작 실패를 일으킬 수 있으므로 x86-64에만 적용한다.

탐지와 대응

인증 헤더, 쿼리, 요청 본문, URL 경로, JWT 구성 요소와 WebAuthn 값의 비정상 패딩을 살핀다. 요청이 실제 디코더 호출에 도달했는지, 같은 시점에 JVM 비정상 종료가 있었는지 대조한다. 디코딩 예외만으로 공격 성공이나 메모리 손상 여부를 판단할 수는 없다.

Cloudflare 관련 관리형 규칙의 기본 동작은 Log다. 정상 토큰과의 충돌 여부를 검토한 뒤 Block으로 전환한다.

WAF 밖의 디코딩 경로

중첩 인코딩, 압축 내부 값, 비 HTTP 프로토콜, 내부 통신과 외부 서버 응답도 디코더에 도달한다. 수신 포트가 없는 Java 클라이언트도 원격 입력을 처리하면 영향을 받을 수 있다.

참고 자료