네트워크 보안 · Beginner
공개키·개인키와 전자서명: 암호화 기초부터 TLS·증거 해석까지
암호화·서명·키 합의를 구분하고, TLS의 결합 구조와 신뢰 문제를 이해하며 정상·변조·잘못된 키를 오프라인 OpenSSL 실습으로 비교합니다.
업데이트 2026-11-18
이 문서의 목차
처음 배우는 암호학 기초 장입니다. 1–6절에서 구조를 이해하고, 7–8절에서 조사 방법을 배운 뒤, 9–11절에서 직접 결과를 확인하세요. 다음 문서는 AD CS 보안과 네트워크 관측입니다.
1. 알고리즘보다 먼저 질문을 구분하세요
Alice가 Bob에게 변경 승인 문서를 보낸다고 해 봅시다. 다른 사람이 읽지 못하게 하려는 것인가요? 중간에 내용이 바뀌지 않았는지 확인하려는 것인가요? 어떤 키로 승인되었는지 확인하려는 것인가요? 각각 기밀성(Confidentiality), 무결성(Integrity), 진정성·인증성(Authenticity)이라는 다른 목표입니다. 비밀로 보낸 문서에도 거짓말이 들어갈 수 있고, 서명한 문서는 누구나 읽을 수 있습니다. 서명이 맞더라도 우리가 기대한 조직의 키인지 따로 확인해야 합니다.
키(Key)는 암호 알고리즘의 동작에 쓰이는 값입니다. 공개키와 개인키는 수학적으로 관련된 한 쌍이지만, 적절한 알고리즘과 매개변수에서는 공개키만으로 개인키를 계산하는 것이 현실적으로 어려워야 합니다. 공개키는 필요한 상대에게 전달하고, 개인키와 그 키를 사용할 권한은 보호합니다. 키 파일을 잠그는 비밀번호는 개인키 그 자체와는 별도의 비밀입니다.
대칭 암호는 공유한 비밀 키 재료로 많은 데이터를 효율적으로 보호합니다. 비대칭 암호는 키 쌍을 활용해, 미리 같은 비밀을 나누지 않은 상대와도 특정 암호 작업을 할 수 있게 합니다. 그러나 “이 공개키가 정말 Bob의 것인가?”는 여전히 해결해야 합니다. 복잡한 수학이 신원 확인을 자동으로 대신하지는 않습니다.
2. 반드시 구분할 다섯 가지 작업
| 작업 | 어떤 키를 쓰나요? | 주된 목적 | 이것만으로 알 수 없는 것 |
|---|---|---|---|
| 공개키 암호화 | 수신자 공개키로 암호화, 수신자 개인키로 복호화 | 의도한 수신자에게 기밀성 제공 | 누가 보냈는지 |
| 전자서명 | 서명자 개인키로 서명, 서명자 공개키로 검증 | 그 키를 기준으로 내용·서명 관계 확인 | 비밀 유지, 사람의 실제 승인, 내용의 안전성 |
| ECDHE 같은 키 합의 | 각자의 개인 기여와 상대 공개 기여를 조합 | 공유 비밀 재료 확립 | 별도 인증 없는 상대의 신원 |
| 암호학적 해시 | 비밀 키 없이 입력의 요약값 생성 | 신뢰하는 기준값과 무결성 비교 | 작성자가 누구인지 |
| MAC·HMAC | 공유 비밀 키로 메시지 인증 | 비밀 보유자 사이의 무결성·인증 | 외부인에게 어느 보유자가 작성했는지 증명 |
그림 읽는 법: 암호화 경로는 Bob의 키 쌍, 서명 경로는 Alice의 키 쌍을 사용합니다. 서명한 원문은 서명값과 함께 전달되며 읽을 수 있는 상태일 수 있습니다. “개인키로 암호화하면 서명이다”라는 설명은 피하세요. 서명 방식에는 별도의 인코딩·검사·보안 요구가 있습니다.
알고리즘 이름과 목적도 구분해야 합니다. RSA에는 별개의 암호화·서명 방식이 있으며 이 실습에서는 RSA-OAEP와 RSA-PSS를 사용합니다. ECDSA·Ed25519는 서명 방식이고 X25519는 키 합의에 쓰입니다. 모두 임의 파일을 암호화하는 같은 기능이 아닙니다. Base64는 되돌릴 수 있는 표현 방식이지 암호화가 아닙니다. 빠른 일반 해시로 비밀번호를 한 번 요약하는 것도 적절한 비밀번호 저장 설계가 아닙니다.
3. 정상적인 비밀 메시지는 어떻게 전달되나요?
- Bob이 키 쌍을 만들고 개인키를 보호합니다.
- Alice가 인증된 전달 경로에서 Bob의 공개키를 받습니다.
- Alice가 해당 방식에서 허용하는 입력을 Bob의 공개키로 암호화합니다.
- Bob이 개인키로 복호화합니다.
- Alice의 신원도 확인하려면 별도로 인증을 제공하는 구조가 필요합니다.
공격자가 2단계에서 자신의 공개키를 Bob의 것처럼 바꿔 전달하면 어떻게 될까요? 암호 계산 자체는 정상이어도 공격자가 의도된 복호화 상대가 됩니다. 따라서 키를 어디서 받았고 어떻게 확인했는지가 중요합니다.
실제 큰 문서는 보통 공개키로 직접 암호화하지 않습니다. 새 대칭 키 재료를 생성하고 적절한 인증 암호화 방식으로 문서를 보호한 뒤, 지원되는 비대칭 구조로 키를 보호하거나 확립합니다. 이런 봉투 구조에는 알고리즘 식별자, nonce, 인증 태그, 수신자 정보가 정확히 정의되어야 합니다. 직접 파일 형식을 발명하기보다 유지·검증되는 프로토콜이나 라이브러리를 사용하세요.
4. 정상 서명과 신원 확인 사이의 간격
Alice는 정확한 바이트열을 자신의 서명 키로 서명합니다. Bob은 같은 바이트, 서명값, 의도한 알고리즘 매개변수, 신뢰할 수 있는 Alice의 공개키로 검증합니다. 성공은 그 키 아래에서 수학적 관계가 맞는다는 뜻입니다. 당시 서명 서비스의 실제 통제자가 누구였는지까지 알려 주지는 않습니다.
인증서(Certificate)는 공개키와 인증서 정보를 연결하는 서명된 진술입니다. CA(인증기관)는 인증서를 발급하고, 신뢰 앵커(Trust anchor)는 로컬 정책에서 신뢰하는 출발점입니다. 중간 인증서는 최종 인증서와 앵커 사이의 경로를 연결할 수 있습니다. 명시적으로 구성한 사설 시스템에서는 자체 서명 인증서를 사용할 수 있습니다. 낯선 자체 서명 인증서라는 사실 하나로 악성코드라고 단정하지 마세요.
검증에는 허용된 인증 경로, 유효 시간, 제약, 용도와 애플리케이션의 참조 신원, 적용되는 해지·상태 정책 등이 관여합니다. 인증서 내용을 화면에 표시하거나 익숙한 발급자 이름을 발견하는 것은 검증 완료가 아닙니다. 웹사이트에서는 인증서의 그럴듯한 이름보다 요청한 호스트명이 해당 이름 검증 규칙에 맞는지 확인해야 합니다.
지문(Fingerprint)은 무엇을 해시했는지에 따라 특정 인증서 또는 키 바이트를 식별합니다. 개인키도, 신뢰의 증명도 아닙니다. CSR은 인증서 발급 요청이며 보통 키 보유를 입증하는 요소를 포함하지만, 승인과 최종 발급 인증서는 별도로 확인해야 합니다. AD CS 수명주기에서 발급과 이후 인증의 차이를 이어서 공부하세요.
5. TLS는 이 기능들을 어떻게 결합하나요?
그림은 인증서로 서버를 인증하는 전체 TLS 1.3 핸드셰이크의 단순화입니다. 임시 키 공유로 비밀 재료를 확립하고, 서버 인증서와 핸드셰이크 서명으로 서버를 인증하며, 키 파생 함수로 트래픽 키를 만듭니다. Finished 메시지는 핸드셰이크 무결성과 키 보유를 확인합니다. 이후 애플리케이션 레코드는 AES-GCM·ChaCha20-Poly1305 같은 대칭 AEAD로 보호합니다. 방향별 키와 핸드셰이크·애플리케이션 비밀의 변화는 그림에서 생략했습니다.
인증서의 서명 키와 임시 키 합의용 키는 역할이 다릅니다. TLS 1.3은 클라이언트가 서버 인증서 RSA 키로 premaster secret을 암호화해 보내던 옛 RSA 키 전달 구조를 사용하지 않습니다. 재개·PSK와 클라이언트 인증에는 다른 경로가 있으며, 그림이 모든 핸드셰이크를 표현하지는 않습니다.
임시 교환을 올바르게 구현하고 임시 비밀을 제거했다면, 나중에 인증서 개인키만 유출되어도 과거에 수집한 세션을 바로 풀 수 없습니다. 이것이 전방향 안전성(Forward secrecy)의 핵심입니다. 엔드포인트가 침해되어 평문을 읽거나 세션 비밀을 훔친 경우까지 보호한다는 뜻은 아닙니다. PCAP와 서버 인증서 개인키가 언제나 복호화의 만능 조합인 것은 아닙니다.
6. 키 수명주기와 현재 적용 범위
키마다 목적·담당자·사용 서비스·보관 장소·내보내기 가능 여부·갱신·복구 절차를 기록하세요. 서명과 복호화 등 용도를 분리하고, 내보내기 권한뿐 아니라 키 작업을 호출할 권한도 제한해야 합니다. 하드웨어에서 키를 내보낼 수 없더라도, 침해된 허용 프로세스가 서명 요청을 악용할 수 있습니다.
교체와 해지는 해당 시스템의 수명주기·사고 대응 절차로 수행합니다. 인증서 해지가 모든 캐시된 신뢰 판단, 접근 토큰, 기존 세션을 즉시 지우지는 않습니다. 복호화 키를 잃으면 데이터 복구가 불가능할 수 있고, 서명 키를 잃으면 신뢰가 훼손될 수 있습니다. 복구 요구도 목적별로 다릅니다.
이 장은 고전적인 RSA·ECDHE 개념을 가르치며 모든 2026년 운영 환경에 적용할 설정표가 아닙니다. 양자내성 ML-KEM은 표준화된 키 캡슐화 방식으로, 서명이나 큰 파일 직접 암호화 방식과 다릅니다. 제품 지원, 실제 협상 그룹과 전환 요구를 따로 확인해야 합니다. TLS 1.3 사용만으로 양자내성 교환을 했다고 볼 수 없습니다.
7. 공격·오용 원리와 방어 증거
| 원리 | 무엇이 잘못되나요? | 확인할 증거·방어 |
|---|---|---|
| 공개키 바꿔치기 | 올바른 계산이 엉뚱한 상대를 보호 | 승인된 배포 경로, 독립된 신뢰 경로로 지문 비교 |
| 서명 키 오용 | 승인받지 않은 바이트에 유효한 서명 생성 | 서명 서비스 신원·승인·파일 해시·키 ID·시간·결과, 서명 권한 제한 |
| 검증 우회 | 잘못된 상대를 클라이언트가 수용 | 신뢰·이름 검사 설정, 프록시 경로, 오류 처리, 검증을 끄지 않고 원인 수정 |
| 개인키 노출 | 내보내기·백업·비밀 저장소 접근이 오용으로 연결 | 설정된 호스트·저장소 접근·키 사용 감사, 백업 보호, 영향 키 교체 |
| 재전송 | 과거의 서명된 내용을 다른 문맥에서 재사용 | 거래 ID, nonce·기한, 재사용 기록, 서명 외의 신선성 검증 |
| 암호 기능의 악용 | 악성 프로세스가 정상 암호 기술 사용 | 프로세스·파일 변화·접근·영향 확인, 알고리즘 이름만으로 사고 판정 금지 |
낯선 인증서나 TLS 지문은 조사 단서입니다. User-Agent·단일 IP·지문만으로 악성코드나 공격자를 확정하지 마세요. 정상 서명자도 해로운 소프트웨어에 서명할 수 있습니다. 암호학적 진정성과 안전성 판단은 다릅니다.
8. 블루팀 수집·탐지·대응
먼저 주장하려는 내용을 정하세요. 검증 실패인가요, 예상 밖 신뢰인가요, 무단 서명인가요, 확인된 키 탈취인가요? 원본 파일·서명·해시, 신뢰한 키의 출처, 인증서 체인과 정책, 시각·시간 오차, 앱 검증 출력, 엔드포인트 프로세스 문맥을 수집합니다. 개인키와 세션 비밀은 공개 보고서나 일반 SIEM 로그에 넣지 마세요.
TLS 메타데이터와 실패 기록은 센서 위치·종단 지점에 따라 달라집니다. 수동 센서가 암호화된 핸드셰이크 안의 TLS 1.3 서버 인증서를 자동으로 보는 것은 아닙니다. 승인된 엔드포인트·프록시 자료는 다른 가시성을 제공합니다. Zeek·Suricata·Arkime에서 관측·패킷 보존 한계를 확인하세요.
경보를 만들기 전에 알려진 정상 사건을 생성하고 로컬 기록, 전달, 필드 추출, 시각과 보존을 검증하세요. 모든 시스템에 공통인 “개인키 도난” Windows Event ID나 Splunk 필드는 없습니다. 서명 서비스·HSM의 감사 범위는 제품과 설정에 따라 달라집니다. 원문과 문서화한 필드 매핑을 보존하세요.
오용이 뒷받침되면 해당 서명·복호화 경로를 제한하고 증거를 보존하며 영향 파일·소비자를 식별합니다. 침해 키 교체와 필요한 해지정보 게시 후 소비자 검증과 기존 세션 처리를 시험하세요. 신뢰 앵커 변경은 의존 서비스 장애를 일으킬 수 있으므로 복구 담당자와 조정해야 합니다.
9. 승인된 오프라인 실습
자신이 관리하는 실습 시스템에서 Python 3과 OpenSSL 3.x 실행 파일을 사용합니다. 스크립트는 임시 폴더에 3072비트 RSA 키 쌍 세 개를 만들고 다섯 가지 대조 시험을 수행한 뒤, 정상 종료 시 임시 파일을 제거합니다. 서버 접속·신뢰 앵커 등록·운영 키 사용은 없습니다.
전체 실행용 실습 다운로드. public-key-lab.py로 저장하고 내용을 확인한 뒤 실행하세요.
openssl version
python3 public-key-lab.py
실습 키를 암호화하지 않는 것은 일회성 오프라인 실험을 위한 선택이지 키 보관 권고가 아닙니다. 비정상 종료·중단 후에는 자신의 임시 폴더에 남은 파일을 점검하세요. 삭제만으로 물리적 완전 소거가 보장되지는 않습니다.
스크립트가 키·메시지 파일을 준비한 상태에서의 핵심 서명·검증 명령은 다음과 같습니다.
openssl dgst -sha256 -sign signer.pem -out signature.bin \
-sigopt rsa_padding_mode:pss -sigopt rsa_pss_saltlen:digest \
-sigopt rsa_mgf1_md:sha256 message.txt
openssl dgst -sha256 -verify signer.pub.pem -signature signature.bin \
-sigopt rsa_padding_mode:pss -sigopt rsa_pss_saltlen:digest \
-sigopt rsa_mgf1_md:sha256 message.txt
위 명령은 설명용 발췌입니다. 파일 생성까지 하려면 전체 스크립트를 실행하세요. OAEP SHA-256·MGF1-SHA-256과 PSS 매개변수를 명시해 기본값에 실험 의미가 좌우되지 않게 했습니다. RSA-3072 OAEP/SHA-256의 입력 상한은 318바이트(384 − 2×32 − 2)입니다. 작은 메시지로 원리를 시험하는 것이며 큰 문서 암호화 구현이 아닙니다. 수신용·서명용 키를 따로 만들어 목적 분리도 보여 줍니다.
10. 기대 결과·실패 점검·검증 한계
| 시험 | 기대 결과 | 입증 범위 |
|---|---|---|
| 수신자 복호화 | 원본 바이트와 정확히 일치 | 암호화·복호화 정상 대조 |
| 다른 개인키로 복호화 | 0이 아닌 종료 코드 | 잘못된 키 음성 대조 |
| 원문 서명 검증 | 종료 코드 0 | 바이트·키·매개변수와 서명이 일치 |
| 42를 43으로 변경 | 0이 아닌 종료 코드 | 내용 변경 음성 대조 |
| 다른 공개키로 검증 | 0이 아닌 종료 코드 | 검증 키 음성 대조 |
PASS: 다섯 줄 뒤에 DONE: temporary lab keys and files removed가 나와야 합니다. OAEP 암호문과 PSS 서명은 난수 때문에 실행할 때마다 달라질 수 있습니다. 암호문이 매번 같아야 한다고 기대하지 마세요.
OpenSSL이 없으면 정상적인 시스템 설치 절차로 지원 버전을 준비하세요. 공급자·보안 정책이 연산을 금지한다면 버전·설정을 기록하고 실습 환경에서 원인을 해결하세요. 운영 정책을 약화시킬 이유는 아닙니다. 줄바꿈·인코딩·키·패딩·해시 설정 차이도 검증 실패를 만들 수 있습니다. 입력을 보존한 뒤 공격 여부를 판단하세요. Python assertion 실패는 실습 실패이며 통과가 아닙니다.
실행 기록: 게시용 클라우드 환경의 OpenSSL 3.5.7에서 다섯 시험을 실행했습니다. 실제 TLS 핸드셰이크·CA 경로 검증·HSM 감사·Windows·운영 SIEM 검증은 수행하지 않았습니다. 승인 메시지는 교육용 가상 자료입니다.
11. 확인 문제·해설·완료 기준
- Bob이 OAEP 암호문을 풀었다면 Alice가 보냈다고 입증하나요? 아닙니다. Bob의 공개키를 가진 누구나 암호문을 만들 수 있습니다.
- 파일 옆에서 받은 공개키로 서명이 맞으면 배포자를 확인한 것인가요? 아닙니다. 키를 독립적으로 인증하거나 검증된 신뢰 구조를 사용해야 합니다.
- 줄바꿈만 바뀌어도 실패하나요? 일반적으로 서명 대상 바이트가 달라집니다. 지정된 형식이 정규화하는 경우인지 따로 확인해야 합니다.
- 해지하면 모든 과거 TLS 세션과 서명 파일이 즉시 무효인가요? 아닙니다. 소비자·캐시·프로토콜 상태·서명 검증 정책이 관여합니다.
- 검증 실패가 악의적 변조의 증명인가요? 아닙니다. 검사 실패라는 사실을 기록하고 매개변수·수집 경로부터 점검해야 합니다.
두 키 방향을 직접 그릴 수 있고, TLS 대칭 트래픽 키를 설명하며, 다섯 대조 시험을 재현하고, 공개키 신뢰 문제를 짚고, 수학적 결과·신원·악의적 의도를 나눠 조사 결과를 쓰면 완료입니다.
학습 경로: 이 기초 장 → AD CS·인증서 인증 → 네트워크 증거와 관측 범위. 후속 PKI·TLS 장에서는 같은 기초를 반복하기보다 경로 구성·호스트명 검증·해지를 심화할 수 있습니다.
12. 공식 참고자료와 검토 범위
검토일: 2026년 11월 18일. 아래 자료는 발표 시점이 서로 다릅니다. 오래된 기반 표준을 현재 제품 기본값의 증거로 읽지 마세요. RFC 9846은 RFC 8446을 대체하므로 2018년 문서를 최신 TLS 명세로 표시하지 않았습니다. 명령은 버전을 지정한 OpenSSL 문서와 위 실행 기록을 기준으로 확인했습니다. 그림·상황·실습은 직접 구성한 교육 자료입니다.
- RSA: RFC 8017, 2016년 11월, 7–9절
- TLS 1.3: RFC 9846, 2026년 7월, 2·4·7절: 2018년 8월 RFC 8446을 대체.
- X.509 PKI 기반: RFC 5280, 2008년 5월, 4·6절: 연결된 갱신 문서와 앱 정책을 함께 확인.
- OpenSSL 3.5: genpkey, pkeyutl, dgst.
- NIST SP 800-57 Part 1 Rev. 5, 2020년 5월: 키 관리 기반.
- NIST FIPS 203, 2024년 8월: ML-KEM.
인증서 검증 심화 연결
신뢰 체인·SAN·용도·만료를 여섯 대조 시험으로 구분하기
패스키와 WebAuthn 로그인 증거
공개키 신뢰를 SSH 서버에 적용하기
호스트와 사용자 서명을 구분하고 오프라인에서 OpenSSH 지문을 대조합니다