IT변호사 | 고영향 AI 규제 시대, 기업이 점검해야 할 법적 의무와 대응 전략

이러한 규제 구조의 핵심이 바로 ‘고영향 AI’ 개념입니다.

고영향 AI란 단지 자동화 기능을 수행하거나 업무를 보조하는 수준의 시스템이 아니라 채용·신용평가·의료·안전·공공 서비스 등에서 개인의 권리, 생명, 안전에 실질적인 영향을 미칠 수 있는 AI 시스템을 의미합니다.

AI 기본법은 이러한 고영향 AI에 대해 기업이 기술을 개발·운영한다는 이유만으로 책임을 묻기보다 해당 AI가 어떤 위험을 가질 수 있는지 사전에 인식하고, 이를 관리하기 위한 구조를 마련했는지를 중점적으로 평가합니다.

이를 위해 법은 투명성, 안전성, 책임성을 핵심 관리 축으로 설정하고 기업에게는 AI 활용 사실에 대한 고지, 설명 가능한 구조의 확보, 위험관리 체계의 구축, 그리고 필요 시 사람의 개입이 가능하도록 하는 운영 체계를 요구하고 있습니다.

결국 AI 기본법상 기업 책임은 해당 AI를 어떤 기준과 절차로 관리하고 통제했는지에 따라 판단되도록 설계되어 있습니다.

고영향 AI는 기술의 성능이나 자동화 수준이 아니라 그 활용 결과가 사람의 생명·신체 안전·기본권에 중대한 영향을 미칠 수 있는지를 기준으로 판단됩니다.

AI 기본법상 고영향 AI는 다음과 같은 분야에서 활용되는 인공지능 시스템을 포함합니다.

• 의료·보건 분야
  보건의료 제공 및 이용체계의 구축·운영, 의료기기 및 디지털 의료기기의 개발·이용
  → 진단·치료·예후 판단에 영향을 미치는 AI

• 채용·대출심사 등 개인 권리 판단 영역
  채용, 신용평가, 대출심사 등 개인의 권리·의무에 중대한 영향을 미치는 판단 또는 평가
  → 자동화된 점수 산정, 합격·탈락 결정, 금융 접근성 제한

• 범죄수사 및 공공안전 영역
  범죄수사·체포 업무를 위한 얼굴·지문·홍채 등 생체인식정보의 분석·활용
  → 오인식 시 인권 침해로 직결될 수 있는 영역

• 공공서비스 및 행정 의사결정 영역
  국가·지자체·공공기관의 자격 확인, 비용 부과, 서비스 제공 여부 결정
  → 국민 개개인에게 직접적인 행정상 불이익 발생 가능

• 교육·교통·에너지·안전 인프라 영역
  학생 평가, 교통수단·시설·체계의 운영, 에너지·먹는물 생산공정, 원자력시설 관리 등
  → 시스템 오류가 대규모 안전사고로 이어질 수 있는 분야

이처럼 고영향 AI는 특정 산업에 한정되지 않고 기업의 서비스가 사회적 판단 구조에 얼마나 깊이 관여하는지에 따라 폭넓게 문제 될 수 있습니다.

AI 기본법은 고영향 AI 여부를 사후적으로 문제 삼기 전에 사업자가 사전에 이를 검토하도록 명시적으로 요구하고 있습니다.

• 사업자의 사전 검토 의무

인공지능 사업자는 인공지능 또는 이를 이용한 제품·서비스를 제공하는 경우 해당 AI가 고영향 AI에 해당하는지 여부를 사전에 검토해야 할 의무를 부담합니다.

이 검토는 단순한 내부 판단이 아니라, 이후 책임 판단의 출발점이 됩니다.

• 과학기술정보통신부 확인 요청 제도

사업자는 필요한 경우 과학기술정보통신부 장관에게 고영향 AI 해당 여부에 대한 공식적인 확인을 요청할 수 있습니다.

장관은 필요 시 전문위원회를 구성해 자문을 거쳐 판단하며 일정 기간 내에 검토 결과를 회신하도록 되어 있습니다.

• 판단 시 주요 고려 요소

고영향 AI 여부 판단에서는 다음 요소들이 종합적으로 고려됩니다.

이 절차를 거쳐 판단된 결과와 검토 과정은 향후 분쟁이나 감독 과정에서 기업이 관리 의무를 이행했는지를 입증하는 핵심 자료로 작용하게 됩니다.

AI 개발사업자란 인공지능 시스템을 직접 개발하거나 그 성능에 중대한 영향을 미치는 수준의 수정·변경·개량을 수행하는 주체를 말합니다.

대표적인 개발에 해당하는 사례는 다음과 같습니다.

• 대규모 추가 학습을 통해 AI 모델의 성능을 현저히 향상시키는 경우 (예: 기존 모델 대비 누적 연산량이 1/3을 초과하는 추가 학습)
• 모델 아키텍처의 구조적 변경
• 알고리즘 자체의 개선 또는 핵심 변수 변경
• 추론 엔진의 효율성을 근본적으로 향상시키는 작업

AI 이용사업자는 타인이 개발한 AI를 이용해 제품 또는 서비스를 제공하는 주체를 의미합니다.

예를 들어 다음과 같은 경우가 이에 해당합니다.

• 글로벌 기업이 제공한 AI를 탑재한 스마트폰을 출시하는 제조사
• 생성형 AI를 활용해 콘텐츠를 제작·제공하는 기업
• AI 진단 결과를 참고해 의료 서비스를 제공하는 의료기관
• 생성형 AI로 만든 영상·이미지를 관람객에게 제공하는 극장이나 플랫폼

중요한 점은 AI 사용 결과물이 소비자·환자·지원자 등에게 제공되는 순간 해당 기업은 AI 기본법상 이용사업자로서 일정한 법적 의무를 부담하게 된다는 점입니다.

다음과 같은 변경은 AI 기본법상 개발에 해당할 가능성이 높습니다.

• 사전에 정의된 범위를 벗어난 기능 변경
• AI의 목적이나 용도를 실질적으로 변경하는 수정
• AI 성능이 급격히 향상되거나 작동 방식에 중대한 영향을 미치는 변경
• 핵심 알고리즘이나 주요 판단 구조의 변경

이 경우, 기존에 이용사업자에 불과하다고 생각했던 기업도 개발사업자로서의 책임을 함께 부담할 수 있습니다.

반면 다음과 같은 행위는 일반적으로 개발에 해당하지 않습니다.

• AI 성능 유지를 위한 패치·업데이트
• 보안 취약점 보완 및 버그 수정
• 사용자 경험 개선을 위한 인터페이스 변경
• 사전 학습된 AI 모델을 제품·서비스에 단순 적용하는 경우

다만, 이 역시 누적 효과나 변경 범위에 따라 평가가 달라질 수 있어 기업의 자체 판단은 상당한 위험을 수반합니다.

고영향 AI에 대해 가장 핵심적인 요구는 위험을 관리할 수 있는 구조를 갖추고 있었는지입니다.

위험관리 체계 미비 시 문제

• 사고 발생 여부와 무관하게 관리 부실 자체가 문제
• “문제는 없었다”는 주장으로는 방어 어려움

사람의 개입 구조 부재 시 리스크

• 완전 자동화 구조는 고위험으로 평가될 가능성
• 개입 가능성만으로는 부족, 실제 개입 프로세스 필요

문서화·설명체계 부족의 법적 의미

내부 정책·절차가 문서로 정리돼 있지 않으면 관리 의무 이행을 입증하기 어려움

법무법인 대륜의 IT변호사 자문은 AI 규제를 사건 단위로 대응하는 것이 아니라 기업이 설명할 수 있는 구조를 미리 만드는 것에 목적이 있습니다.

AI 규제 대응이 고민되는 기업이라면 지금 단계에서의 법적자문이 향후 가장 강력한 방어 수단이 될 수 있습니다.

대륜은 다음과 같은 지점에서 실질적인 법률 자문을 제공합니다.

• 기업의 AI 서비스·제품을 기준으로 고영향 AI 해당 가능성 사전 검토
• 개발사업자·이용사업자 지위 중첩 여부 분석
• 과학기술정보통신부 고영향 AI 확인 요청 절차 설계 및 대응 전략 자문
• 향후 분쟁을 대비한 검토 이력·판단 근거 문서화
• 고지·설명 의무 대상과 범위 정리
• 표시 누락·과장으로 문제 되는 구조 사전 차단
• 위험관리 체계 및 사람의 개입 구조 설계 자문
• 내부 규정·운영 매뉴얼 정비를 통한 실무 대응력 강화
• 감독·조사·분쟁 발생 시 제출 가능한 자료 기준 정리
• 기술 문서와 법률 설명 간 연결 구조 마련
• 경영진·실무자 책임 확산 방지 전략 수립

IT변호사의 도움이 필요한 상황이라면 지금 바로 🔗법률상담예약을 진행해보시기 바랍니다.