CHAPTER 05 · SOURCE HIGHLIGHTS
5장 교수님 강조 요약
원문의 파랑·굵게·밑줄 구절과 보완 설명을 구분해 신뢰성의 조건과 인공지능의 신뢰감을 복습합니다.
표시는 원본의 실제 강조(파랑·굵게·밑줄)를 뜻하며 시험 출제 확정을 뜻하지 않습니다. 5장 본문에는 빨간 강조가 없습니다. 회색 글자는 원문 강조가 단어 중간에서 끝난 경우 단어를 완성하도록 덧붙인 부분이며, 강조 범위에 포함되지 않습니다.
신뢰성의 정의와 출발점
상대방에 대한 ‘신뢰’
믿고 사용할 수 없는 시스템은 결국 사용자로부터 외면받기
신뢰란 무엇이고, 신뢰를 얻기 위해서는 어떤 노력을 해야 할까?
신뢰성(Reliability)
특정한 사용 조건에서 고유의 기능을 안전하고 지속적으로 고장 없이 수행할 수 있는 성질
별다른 고장 없이 충실하게 알람이 울린다면 그것은 신뢰성이 높다
신뢰성의 개념
주어진 기간 동안 주어진 작업을 문제없이 안전하게 수행하는 것으로 정립
설계 단계의 결함에 의해
응답자가 개인 의료 정보 보호 및 보안 문제를 우려했음
의료 분야와 같이 작업이 복잡하고 위험한 상황에서는
진정한 사용 경험을 제공하기 위한 선결 조건이 될 수밖에 없으며
유용성은 목적 달성, 신뢰성은 고장 없는 지속 수행을 뜻합니다. 알람이 사용자를 깨우는 기능과 매일 빠짐없이 울리는 성질을 구분하면 됩니다. p. 10의 19.4%는 의료 정보 보호와 보안을 걱정한 응답자의 비율입니다.
감성의 하위 개념과 신뢰감
신뢰감
디지털 프로덕트가 갖춘 신뢰성에 대해 사용자가 지속적으로 믿음을 가지는
정서, 정취, 인상
감성을 구성하는 가장 핵심적이면서도 복잡한 요소로, 특정 대상에 대해 비교적
정취
인상
강도는 미약하지만 정서보다 더 오랜 기간 지속되는
세상의 대상에 의해 사람에게 각인되는 변화로, 어떤 대상물에 대해 처음 느끼는
디지털 프로덕트가 핵심적으로 전달해야 하는 감정
믿음
디지털 프로덕트에 대한 신뢰감을 가질 수 있음
정서는 특정 대상에 대해 짧게 느끼는 감성, 정취는 약하지만 오래가는 기분, 인상은 대상에 대해 처음 느끼는 감성입니다. 신뢰성은 프로덕트의 성질이며, 신뢰감은 그 성질을 믿는 사용자의 마음입니다.
신뢰성의 세 조건
안전성(Safety), 보안성(Security), 안정성(Stability)
(Product Performance Analytics, PPA)에 속하는 속성들
안전성 • 보안성 • 안정성
디지털 프로덕트가 사용자에게 해를 가하지 않고 안전하다는 것
시스템 내에 생성되고 저장되는 데이터를 보호하는 속성
시스템 내부나 외부 요인들에 영향받지 않고 서비스의 본질적인 기능을 일정하게 제공하는
신뢰성의 세 가지 구성 요소
안전성은 사용자에게 해가 없는지, 보안성은 데이터가 보호되는지, 안정성은 기능이 일정하게 작동하는지를 봅니다.
| 조건 | 한 줄로 구분하기 | 원본 사례 |
|---|---|---|
| 안전성 | 사용자에게 해를 끼치지 않는가 | 스마트워치 심박 경고 오류 (p. 28) |
| 보안성 | 데이터를 보호하는가 | 자동 로그아웃, 암호화 저장·전송 (pp. 31–33) |
| 안정성 | 기능이 일정하게 작동하는가 | 잴 때마다 다른 혈당 수치 (p. 34) |
안전성과 위험 매트릭스
안전성 분석은 세 가지 단계
‘심각도’와 ‘발생 가능성’을 결합
2차원 위험 매트릭스(Risk Matrix)로 표현됨(ISO 14971)
매우 높은 안전성인 ‘1등급’으로 간주
매우 낮은 안전성인 ‘5등급’으로 간주
가로축(Severity, 심각도)
세로축(Likelihood, 발생 가능성)
네 가지 문제의 위험 정도의 평균치인
심각도 5단계(사소한~치명적)와 발생 가능성 5단계(매우 낮음~매우 높음)를 조합해 1~5등급을 정합니다. p. 27의 뽀미 사례는 2등급으로 추정되지만, p. 28의 스마트워치 사례는 점수를 곱하는 다른 척도를 사용합니다.
보안성의 세부 항목
사이버 공격이나 데이터 가로채기, 데이터 조작 또는 오용의 발생에 대비하는 것
디지털 프로덕트의 약점인 정보 취약성(Information Vulnerabilities)
표 3과 같이 보안 정책, 사용자 데이터 암호화, 변경 방지, 경보 발생, 기밀성
기밀성
가용성
기밀성
사용자의 개인 정보가 허가되지 않은 사람에게 공개되거나 허락되지 않은 용도로 사용되지
변경 방지
개인 정보가 승인된 사람에게 필요한 때 필요한 곳에서 즉시 사용될 수 있게 돕는 것
보안성의 여섯 항목은 보안 정책·사용자 데이터 암호화·변경 방지·경보 발생·기밀성·가용성입니다. 자동 로그아웃은 기밀성, 잘못된 변경 알림은 변경 방지·경보 발생, 승인된 사람의 즉시 이용은 가용성 사례입니다.
안정성
안정적
시스템이 망가지지 않고 잘 작동하는 것과, 의도하지 않은 오류가 발생하지 않는 것 전반을 아우르는
측정 도구가 안정적이지 못해 환자가 혈당을 측정할 때마다 다른 수치가 나온다면, 환자는
외부의 신뢰할 수 있는 기관으로부터 공인 인증
안정성은 고장 없이 작동하고 의도하지 않은 오류가 없는 성질입니다. 혈당 측정기의 불규칙한 수치는 안정성 문제이며, 외부 공인 인증 시험은 안정성을 확보하는 방법의 하나입니다.
위험 관리 세 단계
발생 가능한 문제
‘위험 요소 분석 및 식별’-‘대응 방안 평가’-‘위험 요소 통제’
(IEC 80001-1:2020)’
대응 방안 평가
모든 검진 데이터를 익명화하고 개인 식별이 가능한 자료는 삭제하는 대안을 마련할
위험 요소 통제
데 발생할 이익과 손해를 분석함으로써 적절한 위험 요소 통제 방안을 선택함
분석 및 식별 → 대응 방안 평가 → 위험 요소 통제가 하나의 주기로 반복됩니다. ‘마음검진’ 사례는 익명화(대응 방안)와 암호화·보안 서버(통제)를 단계별로 보여 줍니다.
사용자 중심 보안
사용자 보안
‘사용자 중심 보안(Usable Security)’
치중하다 보면 사용성이 낮아져 보안성이 훼손될 수 있음
핵심은 사용성과 신뢰성 간의 상충관계를 이해하고 그 균형을 맞추는 데에 있음
시스템 인터페이스상에 가시적으로 보안 기능을 제공해 사용자의 접근성을 높일 필요가 있음
AI-UX 디자인 가이드라인
보안 절차가 불편하면 사용자는 위험한 우회 방법을 택할 수 있습니다. 이해하기 쉬운 정보와 찾기 쉽고 단순한 보안 기능을 제공해 사용성과 신뢰성의 균형을 맞춥니다.
인공지능의 신뢰감
안전성, 보안성, 안정성
인공지능의 판단 결과와 과정을 사용자에게 설명하는 것은 매우 어려움
인공지능의 구조에 대한 문제와 인공지능의 지식에 대한 문제 때문임
결과를 확인할 수 있지만, 결과를 산출한 과정과
인공지능에 대한 사람들의 신뢰감이 충분히 형성되지 못했다고 해석할 수 있음
인공지능에 의한 프로덕트는 기존의 프로덕트에 비해 더욱 안전하고
운전에 대한 주도권이 사람에서 시스템으로 넘어간다는 것
인공지능이 가지지 못한 신뢰감을 HCI적 접근으로 해결
인공지능은 통계적 확률을 기반으로 하기 때문에 99.9%의 정확도를 가지고 있다고 할지라도 0.1%의 확률로 틀린
AI의 구조가 복잡하고 사용자의 지식이 부족하면 판단 과정과 근거를 설명하기 어렵습니다. 성능이 좋아도 주도권을 시스템에 넘기는 사용자는 불안할 수 있으므로, 정확도와 신뢰감을 구분해야 합니다.
책임지는 인공지능
‘책임지는 인공지능(Responsible AI)’이란 그림 3과 같이 공정성, 안전성, 보안성 등의 개념으로 정의
총체적이고, 능동적으로 사회적 선행을 추구해야 한다는 점
공정성
신뢰성의 요인으로 설명한 안전성과 보안성
다양성
편향된 데이터가 주어질 경우 편향된 인공지능 모델
투명성
책무성
인공지능 시스템을 설계하는 담당자가 시스템의 작동에 대한 책임을 지는 것
책임지는 인공지능은 공정성·안전성·보안성·다양성·투명성·책무성을 포함합니다. 법률 AI의 편파적 판단은 공정성, 운동 데이터의 편향은 다양성, 인사 AI의 판단 근거는 투명성과 관련됩니다. 설명 가능한 인공지능(Explainable AI, XAI)이 판단 근거를 설명하는 데서 더 나아가, 책임지는 인공지능은 사회에 도움이 되도록 설계하고 운영하는 책임을 다룹니다.
믿음직한 인공지능과 장 정리
믿음직한 인공지능(Trustable AI),
예측 가능성(Predictability)
의지 가능성(Dependability)
믿음(Faithfulness)
깊은 수준의 믿음은 디지털 프로덕트가 도출한 결론이 사용자의 상식 혹은 외부 정보에 반하는 것이더라도
신뢰성의 속성인 안전성, 보안성, 안정성을 기반으로 예측 가능하고, 의지할 수 있으며, 믿을 수 있는 인공지능
디지털 프로덕트가 안전하고 효과적으로 사용되기 위한 필수 조건으로
‘위험 요소 분석 및 식별 → 대응 방안 평가 → 위험 요소 통제’
예측 가능성은 납득할 수 있는 결과에 대한 기대, 의지 가능성은 상호작용으로 쌓인 친밀감, 믿음은 목표를 맡길 수 있는 마음입니다. AI의 신뢰감도 안전성·보안성·안정성을 바탕으로 형성됩니다.
서술형 복습
이해 보완 · 답을 먼저 설명한 뒤 펼쳐서 이유를 확인하는 서술형 복습입니다.
알람 시계가 정확한 시각에 적절한 소리로 울리지만, 한 달에 한 번꼴로 이유 없이 울리지 않습니다. 가장 먼저 문제 삼을 특성은?
신뢰성
기능 자체는 목적에 맞으므로 유용성은 갖췄습니다. 고장 없이 지속적으로 수행하지 못하는 것은 신뢰성 문제입니다. (p. 8)
소프트웨어 신뢰성을 주로 해치는 원인으로 원본이 든 것은?
설계 단계의 결함
하드웨어와 달리 소프트웨어는 설계 단계의 결함에 의해 타격을 받으므로 분석·설계 단계부터 신중해야 합니다. (p. 10)
특정 대상과 상관없이 하루 종일 이어지는 불쾌한 기분은 감성의 어떤 하위 개념인가?
정취
정취는 강도는 약하지만 오래 지속되며 특정 대상과 관계없는 막연한 상태입니다. (p. 15)
혈당 측정기가 잴 때마다 다른 수치를 보여 줍니다. 원본의 설명에 가장 가까운 요소는?
안정성
원본은 이 사례를 안정성의 예로 들며, 수치가 일정하지 않으면 도구를 신뢰할 수 없다고 설명합니다. (p. 34)
p. 26 위험 매트릭스에서 심각도 ‘치명적’, 발생 가능성 ‘매우 낮음’의 안전성 등급은?
3등급
매트릭스의 해당 칸은 3입니다. 드물게 발생해도 결과가 치명적이면 높은 안전성으로 보지 않습니다. (pp. 25–26)
일정 시간 사용하지 않으면 자동으로 로그아웃되는 기능을 원본 p. 32는 어떤 항목의 반영으로 설명하나?
기밀성
허가되지 않은 사람의 접근을 막아 개인 정보가 공개되지 않게 하므로 기밀성으로 설명합니다. (p. 32)
IEC 80001-1:2020 기반 위험 관리에서 ‘대응 방안의 이익과 손해를 분석해 선택하고 효과를 평가’하는 단계는?
위험 요소 통제
위험 요소 통제 단계에서 방안을 선택·시행하고 효과를 평가해 한 주기를 마무리합니다. (p. 40)
비밀번호를 여러 번 입력하게 했더니 사용자들이 같은 비밀번호를 반복해 쓰기 시작했습니다. 원본이 강조한 관점은?
사용자 중심 보안: 지나친 보안은 사용성을 낮춰 오히려 보안성을 해칠 수 있다.
보안과 사용성의 상충을 이해하고 균형을 맞추는 것이 핵심입니다. (pp. 41–43)
인사 담당자가 AI의 추천 결과를 받았지만 근거를 이해할 수 없어 수용하기 어렵습니다. 책임지는 인공지능의 어떤 개념과 관련되나?
투명성
투명성은 사용자가 AI의 판단과 근거를 이해할 수 있어야 한다는 개념입니다. (p. 56)
마음 건강 앱이 ‘기분 전환을 위해 밀린 업무를 해보세요’라고 제안해 사용자가 당황했습니다. 믿음직한 인공지능의 어떤 조건이 부족한가?
예측 가능성
예측 가능성은 결과가 납득 가능할 것임을 예측할 수 있는 것인데, 이 제안은 예측도 납득도 어렵습니다. 책무성은 책임지는 인공지능의 개념입니다. (p. 58)
강조 표기와 출처
강조 라벨과 쪽 번호를 함께 보고, 원문 구절과 보완 설명을 구분해 읽으세요.
- 기준: PDF 본문의 색·굵게·밑줄이며, 색과 글자 서식이 겹치면 색으로 표시합니다.
- 범위: 본문의 개념 설명을 발췌하며, 제목·표 머리글·캡션·장식의 서식은 강조에서 제외합니다.
- 보완: 정의 풀이·비교표·추가 사례·복습 문제는 원문과 구분한 설명이며, 강조 표시는 실제 출제 여부를 뜻하지 않습니다.