네트워크 보안 · Beginner
상호 TLS(mTLS) 입문 · 클라이언트 인증과 권한 거절 구분하기
서버와 클라이언트가 서로를 검증하는 흐름을 익히고, TLS 실패와 애플리케이션 권한 거절을 로컬 실습 여섯 가지로 구분합니다.
업데이트 2026-11-21
이 문서의 목차
학습 목표. 연결 실패 기록 하나와 권한 거절 기록 하나를 받아도, 누가 어느 단계에서 무엇을 확인했는지 짚고 다음에 찾을 로그를 고를 수 있습니다. TLS가 처음이라면 TLS 핸드셰이크 증거부터 읽고, 발급자·이름·용도의 관계가 헷갈리면 인증서 검증 입문을 함께 보세요.
1. 서버도 클라이언트를 확인해야 하는 이유
여러 자동화 작업이 상태를 조회하는 보고 서비스가 있다고 해 볼게요. HTTPS로 연결하면 작업 프로그램은 접속한 곳이 원래 찾던 보고 서비스인지 확인할 수 있습니다. 보고 서비스도 상대가 어떤 작업 프로그램인지 알아야 합니다. 상호 TLS(mTLS)에서는 TLS 양쪽이 상대를 인증합니다. 이 장에서는 양쪽이 각각 X.509 인증서를 내고 해당 개인키를 가지고 있다는 사실을 서명으로 증명합니다. 서비스는 검증된 클라이언트 신원을 권한 검사에 활용할 수 있습니다.
인증 기관(CA)은 인증서에 서명합니다. 신뢰 앵커는 검증의 기준점이며, 보통 사전에 설정한 루트 CA입니다. 최종 인증서(leaf certificate)는 서버나 클라이언트에 직접 발급한 인증서입니다. SAN(Subject Alternative Name)은 DNS 이름이나 URI처럼 유형이 붙은 식별자를 담습니다. EKU(Extended Key Usage)는 확장 필드가 있을 때 인증서의 허용 용도를 나타냅니다. 주체(principal)는 애플리케이션이 권한 판단에 사용하는 신원으로, 예를 들면 reporter라는 작업입니다.
| 판단 | 누가 무엇을 확인하나요? | 성공으로 알 수 있는 것 |
|---|---|---|
| 서버 인증 | 클라이언트가 신뢰 체인, 유효기간, 용도, 접속하려던 서비스 이름, 개인키 보유 증명을 확인 | 상대가 클라이언트의 정책에 따라 대상 서비스로 인증됨 |
| 클라이언트 인증 | TLS 종료 지점이 설정한 정책에 따라 클라이언트의 체인, 유효기간, 용도, 개인키 보유 증명을 확인 | 해당 종료 지점이 클라이언트 인증서를 받아들여 상대를 인증함 |
| 애플리케이션 인가 | 애플리케이션이 검증한 신원을 주체에 연결하고 요청한 동작이 허용되는지 확인 | 정책이 그 동작의 시도를 허용함. 실제 완료 여부는 실행 결과로 확인 |
예제에서 서버 인증서의 DNS SAN은 접속하려는 서비스 이름과 맞아야 합니다. 클라이언트의 URI SAN은 서비스가 정한 규칙에 따라 작업 주체에 연결합니다. RFC 9525는 클라이언트가 서비스 신원을 검증하는 방법을 설명합니다. 클라이언트 인증서의 어느 필드를 어떤 주체로 해석할지는 서비스가 정책으로 정합니다.
2. TLS 1.3 전체 핸드셰이크 따라가기
- 클라이언트가 ClientHello, 서버가 ServerHello를 보냅니다. 이 예에서는 TLS 1.3과 키 합의 매개변수를 정하고 핸드셰이크 보호 키를 만듭니다. 서버는 이어서 EncryptedExtensions와 CertificateRequest를 보냅니다. 인증서 요청에는 허용하는 서명 알고리즘이나 클라이언트의 인증서 선택을 돕는 CA 목록이 들어갈 수 있습니다.
- 서버가 Certificate, CertificateVerify, Finished를 보냅니다. 클라이언트는 서버 인증서의 신뢰와 서비스 이름을 검사합니다. CertificateVerify는 그때까지의 핸드셰이크 메시지에 역할별 맥락을 더한 값에 대한 서명입니다. Finished는 핸드셰이크 비밀값에서 파생한 키로 핸드셰이크 기록의 무결성을 확인합니다.
- 클라이언트도 Certificate, CertificateVerify, Finished를 보냅니다. 쓸 수 있는 인증서가 없다면 빈 인증서 목록을 보내고 CertificateVerify를 생략합니다. 인증서를 필수로 설정한 서버는 이 연결을 거부합니다. 선택 설정의 서버는 클라이언트를 인증하지 않은 상태로 연결을 진행할 수 있습니다.
- 애플리케이션 데이터는 TLS가 만든 대칭키로 보호합니다. 이 장의 서비스는 TLS 종료 지점이 클라이언트를 확인하고 애플리케이션이 주체를 식별한 뒤에 요청의 권한을 판단합니다. 양쪽의 개인키는 각 엔드포인트나 해당 엔드포인트가 사용하는 서명 장치에 남습니다.
이 전체 핸드셰이크에서 ServerHello 뒤의 인증서 메시지는 암호화됩니다. 패킷을 수동으로 수집하면 연결과 협상 정보, 종료 시점의 단서는 얻을 수 있습니다. 복호화가 허용된 경우를 제외하면 SAN 평문과 검증 결과, 애플리케이션 정책 판단은 해당 엔드포인트 기록에서 찾으세요. 세션 재개나 핸드셰이크 이후 인증을 사용하는 환경에서는 어떤 모드였는지와 인증 상태를 확인한 뒤 인증서 교환이 보이지 않는 이유를 해석하세요.
3. 정상 요청을 양쪽 기록에서 읽기
작업 프로그램은 reports.lab.example에 연결합니다. TLS 종료 지점은 작업 프로그램이 신뢰하는 서비스 CA에서 발급한 인증서와 DNS SAN reports.lab.example을 제시합니다. 작업 프로그램은 별도의 클라이언트 CA가 발급한 인증서와 URI SAN urn:wiki:lab:reporter를 제시합니다. 검증 후 애플리케이션은 URI를 reporter에 연결하고 읽기 전용 상태 조회를 허용한 뒤 완료 결과를 남깁니다.
다음은 필드 이름을 단순화한 가상 로그입니다. 이 예의 게이트웨이는 연결 ID를 먼저 만들고, 애플리케이션 요청을 받은 뒤에 요청 ID를 만듭니다.
| 출처와 UTC 시각 | 예시 기록 | 여기서 알 수 있는 것 |
|---|---|---|
| TLS 게이트웨이, 10:00:00.045 | conn=t42 version=TLS1.3 client_mode=required verify=pass client_id=reporter issuer=client-ca serial=01 |
게이트웨이가 당시 정책으로 이 인증서를 검증함 |
| 애플리케이션, 10:00:00.060 | request=r17 conn=t42 principal=reporter action=status decision=allow result=completed |
해당 주체의 동작을 허용했고 실제로 완료함 |
| 애플리케이션, 10:00:02.060 | request=r18 conn=t43 principal=observer action=status decision=deny |
요청을 권한 정책으로 거부함. 인증 결과는 게이트웨이에서 t43을 찾아 확인 |
연결 하나에 요청이 여러 번 들어올 수 있습니다. 요청 ID를 연결 ID나 게이트웨이 추적 ID와 함께 맞춰 보세요. ID가 없으면 서비스 인스턴스, 제한된 시간 구간, 시계 오차, 확보한 연결 정보를 함께 사용하고 어느 정도 확신하는지 기록합니다. 같은 공인 IP를 여러 클라이언트가 공유할 수 있고, 보이는 IP가 프록시 주소일 수도 있습니다.
4. 인증이 성공해도 살펴볼 위험
- 개인키 유출. 누군가 승인된 인증서와 사용할 수 있는 개인키를 확보하면 해당 자격 증명이 유효하게 받아들여지는 동안 그 신원으로 인증할 수 있습니다. 발급 기록, 저장 위치와 사용 이력, 사용한 워크로드의 활동을 확인하세요. 영향받은 발급자·일련번호 또는 지문과 서비스 범위를 파악하고 인증서 소유자와 교체·격리를 진행합니다. 관련 TLS 종료 지점에 폐지나 자격 증명 제거 정책이 적용됐는지, 기존 연결과 재개 세션에 어떤 영향이 있는지 확인하세요.
- 너무 넓은 CA 신뢰 범위. 체인 검증에 성공했다는 것은 구성한 신뢰 정책을 통과했다는 뜻입니다. 클라이언트용 CA 또는 적절히 제한한 신뢰 범위와 명시적인 SAN 매핑, 동작별 인가를 함께 쓰면 권한이 부당하게 부여될 가능성을 낮출 수 있습니다. 처음 보이는 주체나 예상 밖 서비스에서 받아들인 인증서를 발견했다면 발급 목록과 배포 변경을 대조하세요.
- 프록시 뒤에는 다시 신뢰 경계가 생김. 게이트웨이에서 mTLS를 종료하면 원본 서버가 다음 TLS 구간에서 만나는 상대는 게이트웨이입니다. 원본 서버가 검증된 클라이언트 정보에 의존하려면 전달 경로를 통제해야 합니다. RFC 9440의 선택적 HTTP 필드
Client-Cert,Client-Cert-Chain을 쓴다면 프록시에서 들어온 동명 필드를 제거하거나 덮어씁니다. 원본 접근을 신뢰한 프록시 경로로 제한하고 그 구간을 인증하거나, 플랫폼이 지원하는 동등한 방법을 사용하세요. 직접 원본에 접근할 수 있는 경로, 프록시 라우팅, 신원 기록 설정을 함께 검토합니다.
5. 수집할 로그와 조사 순서
수집 전 확인. TLS를 끝내는 장비나 서비스를 찾고 CA 묶음을 누가 관리하는지 확인합니다. 해당 종료 지점의 인증 성공·실패 로그, 애플리케이션 권한 로그, 발급 목록이 수집기에 들어오는지 알려진 정상 요청으로 확인합니다. UTC 시각, 기록한 구성 요소와 통신 방향, 생성된 연결·추적 ID, 정책 버전, TLS 버전, 실패 단계를 확보합니다. 검증된 SAN 또는 주체, 발급자와 일련번호 또는 지문, 대상과 판단 결과는 조사에 필요한 범위만 수집하고 열람·보존을 제한하세요. 개인키나 세션 키, 원문 비밀값은 일반 로그에 넣지 않습니다.
| 관측 | 가장 먼저 볼 것 | 확인 후 대응 |
|---|---|---|
| 게이트웨이에 클라이언트 인증서 누락 | 프로그램의 인증서 선택과 개인키 사용 가능 여부, 리스너의 필수·선택 설정 | 승인된 설정을 복구하고 정상 인증서와 인증서가 없는 대조 사례로 재확인 |
| 게이트웨이에 체인·용도 실패 | 운영 중인 CA 묶음, 발급 체인, 시계, EKU, 배포 변경 | 확인한 발급·체인·정책 문제를 수정. 경보를 없애기 위해 신뢰 범위를 넓히지 않음 |
| 클라이언트에 서버 이름 불일치 | 기대한 이름, 연결 대상, 인증서 DNS SAN, 리스너 | 이름이나 배포 설정을 바로잡고 인증서 검증을 켠 상태로 재확인 |
| 클라이언트 인증은 성공했지만 앱에서 거절 | 연결과 요청을 맞추고 주체 매핑, 동작, 정책 버전을 비교 | 권한 설정이나 예상된 역할 제한을 확인. 허용과 거부를 모두 재시험 |
| 배포 뒤 실패 증가 | 검증 주체, 이유, 서비스, 정책 버전별로 나누고 같은 수집 지점의 연결 수와 정상 대조군 비교 | 수집 상태와 배포 시점을 검토한 뒤 오용 가능성을 평가. 대표 성공·실패 기록 보존 |
TLS가 HTTP 요청보다 먼저 실패할 수 있습니다. 애플리케이션 접근 로그가 비었다면 초기 연결 실패, 수집 누락, 샘플링, 다른 서비스의 로그를 조회했을 가능성을 함께 살펴보세요. 클라이언트에서 뒤늦게 받은 경고가 서버가 먼저 거부한 결과일 수도 있습니다. 판단을 내린 쪽의 로그부터 확인하고 가까운 시간의 정상 연결과 비교하세요.
6. 승인된 실습 · 로컬 연결 여섯 가지
Python 실습 파일을 내려받아 내용을 확인합니다. 본인 소유 머신이나 샌드박스에 TLS 1.3을 지원하는 라이브러리와 연결된 Python 3.10 이상, PATH에서 실행할 수 있는 OpenSSL 3.x가 필요합니다. 표준 라이브러리를 사용하는 스크립트는 127.0.0.1과 OS가 배정한 포트에만 연결합니다. 임시 폴더에서 실습용 CA와 인증서, 개인키를 생성하고 정상 종료 시 삭제합니다. 애플리케이션은 TLS 위에서 status 한 줄과 응답을 주고받습니다. HTTP, 프록시, SIEM, 클라우드 서비스는 필요하지 않습니다.
python3 mtls-client-identity-lab.py
서비스는 실습의 클라이언트 CA만 신뢰합니다. 클라이언트는 실습의 서비스 CA만 신뢰하고 localhost DNS SAN을 기대합니다. 애플리케이션은 정확히 일치하는 실습용 URI SAN 하나에만 권한을 부여합니다. 정상 reporter 사례를 기준으로 조건을 하나씩 바꾼 결과를 비교해 보세요.
| 사례 | 예상 판단 | 실행에서 확인한 결과 |
|---|---|---|
| 신뢰된 reporter | TLS 성공 후 앱에서 허용 | 양쪽에 ALLOWED |
| 신뢰된 observer | TLS 성공 후 앱에서 거부 | 양쪽에 DENIED |
| 클라이언트 인증서 없음 | 서버 쪽 TLS 거부 | 상대 인증서 누락 |
| reporter SAN을 가진 미신뢰 CA의 인증서 | 서버 쪽 TLS 거부 | 발급 체인이 신뢰 CA에 도달하지 못함 |
| 신뢰한 CA가 발급했지만 서버 전용 EKU인 클라이언트 인증서 | 서버 쪽 TLS 거부 | 인증서 용도가 맞지 않음 |
같은 소켓에 접속하되 wrong.lab.example을 기대 |
클라이언트가 서비스 신원 거부 | 클라이언트에서 이름 불일치, 서버에서 TLS 경고 |
실행 기록. 2026-11-21에 Python 3.12.14(연결된 OpenSSL 3.5.8)와 OpenSSL CLI 3.5.7에서 여섯 결과가 모두 예상과 일치했습니다. 표의 결과명과 인증서 값은 로컬 실습에서 나왔습니다. 라이브러리에 따라 경고 문구가 달라질 수 있습니다. 서버가 거부했을 때 클라이언트가 자신의 핸드셰이크 함수 반환 후 첫 읽기·쓰기에서 실패를 알게 될 수 있으니 양쪽 열을 보세요. 운영 프록시와 로그의 동작은 공식 자료에서 확인했습니다.
막히면. 실행 파일을 못 찾으면 openssl version과 PATH부터 확인하세요. 소켓 오류나 시간 초과가 나면 샌드박스에 로컬 리스너와 루프백 연결 권한이 있는지 보세요. 검증 실패가 예상과 다르면 시스템 시각, 출력된 라이브러리 버전, 인증을 판단한 쪽, 처음 실패한 사례를 확인합니다. 스크립트는 예상과 다른 판단이 나오면 오류로 종료합니다. 실습 CA를 시스템 신뢰 저장소에 추가할 필요가 없습니다.
7. 확인 문제와 완료 기준
- observer가
DENIED를 받았습니다. 클라이언트 인증이 실패했나요? 인증은 성공했습니다. 애플리케이션이 TLS 요청을 읽고 확인된 observer의 권한을 검사할 수 있었지만, 상태 조회는 그 역할에 허용되지 않았습니다. - 패킷에서 ServerHello 뒤로 암호화된 레코드가 보입니다. 클라이언트 SAN을 읽을 수 있나요? 이 전체 TLS 1.3 핸드셰이크에서는 인증서 메시지가 암호화됩니다. TLS 종료 지점의 검증된 신원과 애플리케이션 요청 기록을 연결하세요.
- 다른 CA에서 발급한 인증서에 같은 reporter SAN이 있어도 왜 거절되나요? 권한 판단에 그 문자열을 쓰려면 인증을 먼저 통과해야 합니다. 서버는 실습 클라이언트 CA만 신뢰하므로 다른 체인은 검증에서 거부됩니다.
- 클라이언트는 이름 불일치를 기록했고 HTTP 로그는 비었습니다. 어디부터 보나요? 클라이언트 검증 결과를 확보하고 접속하려던 이름과 배포 인증서, 리스너를 비교합니다. TLS에서 연결을 멈췄다면 HTTP 로그가 생기기 전일 수 있습니다.
여섯 결과를 재현하고 각 사례에서 누가 어느 단계에서 판단했는지, 실제 동작의 완료를 확인하려면 어떤 기록이 필요한지 설명할 수 있으면 이 장을 마친 것입니다. 다음으로 인증서 검증 입문에서 체인과 EKU, 폐지를 살펴보거나 TLS 핸드셰이크 증거에서 센서별 가시성을 복습하세요.
공식 참고자료
검토일은 2026-11-21입니다. 각 항목에 표준의 발표 시점이나 제품 문서의 대상 버전을 표시했습니다.
- RFC 9846 §§ 4.4.2, 4.5, 4.7.2 · TLS 1.3, 2026년 7월. 2018년의 RFC 8446을 대체합니다. 인증서 요청과 인증 메시지, 핸드셰이크 이후 인증을 설명합니다.
- RFC 5280 §§ 4.2, 6 · 인터넷 X.509 PKI, 2008년 5월. 인증서 확장과 신뢰 경로 검증을 설명합니다.
- RFC 9525 · TLS 서비스 신원, 2023년 11월. 클라이언트의 서비스 신원 검증 기준을 설명합니다.
- RFC 9440 · Client-Cert HTTP 헤더 필드, 2023년 7월. TLS를 종료하는 리버스 프록시의 인증서 정보 전달에 관한 참고용 RFC입니다.
- Python 3.12
ssl, OpenSSL 3.5openssl req와openssl x509. 실습에 사용한 API와 명령을 설명합니다.