AI전문변호사 | AI 기본법 시행에 따른 고영향 인공지능 규제와 기업 대응 방향

많은 기업이 “우리 AI가 정말 고영향 AI에 해당하는지 애매하다”고 느끼는 이유는 AI 기본법이 기술 자체가 아니라 ‘활용 맥락’을 기준으로 판단하기 때문입니다.

동일한 AI 모델이라도 의료 진단의 최종 판단에 쓰이면 고영향에 해당할 수 있고 단순 참고 자료로만 활용되면 해당되지 않을 수도 있습니다.

고영향 판단 사전 확인·문서화 전략

고영향 인공지능 해당 여부는 단순히 기술 사양이나 성능 수치만으로 결정되지 않고 활용 영역과 맥락, 사람의 생명·신체·기본권에 미치는 영향 가능성을 종합적으로 고려해 판단됩니다.

이 과정에서 기업이 자체적으로 고영향 해당 여부를 판단할 수는 있으나, 판단 근거와 검토 과정을 문서로 남기지 않는 경우 사후 분쟁이나 행정 조사 시 다음과 같은 불리함이 발생할 수 있습니다.

• 법정 10개 영역에 해당함에도 비해당으로 오인
• 영향 범위를 과소평가하여 의무 미이행
• 사후 문제 발생 시 “사전 검토 부재”가 책임 사유로 작용

AI 기본법은 불확실한 경우 과학기술정보통신부 장관에게 고영향 여부 확인을 요청할 수 있도록 하고 있으며 실무적으로는 이 제도를 법적 리스크를 관리하기 위한 안전장치로 활용할 필요가 있습니다.

중요한 것은 최종 결론 자체보다 해당 결론에 이르기까지 어떤 기준과 자료를 바탕으로 검토했는지에 대한 기록을 남기는 것입니다.

• AI 개발사업자

AI를 개발하거나 성능에 중대한 영향을 미치는 수정·변경·개량을 하는 자

• AI 이용사업자

개발된 AI를 활용하여 제품·서비스를 제공하는 자

• 이용자 / 영향받는 자

AI 결과를 사용하는 자 또는 그로 인해 권리·의무에 영향을 받는 자

특히 개발사업자와 이용사업자는 겸업 구조가 빈번하며 이 경우 의무가 중첩될 수 있습니다.

개발에 해당하는 변경

• 누적 학습 연산량의 대규모 추가(Flops 1/3 초과)
• 모델 아키텍처 구조 변경
• 알고리즘 핵심 로직 변경

개발에 해당하지 않는 변경

• 성능 유지 목적의 업데이트
• UI 개선
• 사전학습 모델 단순 적용

이 구분을 잘못하면 의무 주체를 오인하여 법적 리스크가 발생합니다.

서비스 내 제공 vs 외부 반출 시 표시 방식 구분 필요

우선 서비스 내 제공과 외부 반출을 명확히 구분하여 표시 방식을 설계해야 합니다.

AI 생성 결과물이 서비스 화면 안에서만 소비되는 경우에는 화면 내 문구, 로고, 안내 배너 등 UI·UX 차원의 표시로도 투명성 의무를 충족할 수 있습니다.

그러나 이용자가 결과물을 다운로드하거나 외부로 공유할 수 있는 구조라면 상황이 달라집니다.

이 경우에는 결과물 자체에 워터마크를 삽입하거나 메타데이터를 포함하는 등 서비스 영역을 벗어나더라도 AI 생성물임을 제3자가 인식할 수 있는 표시 방식이 필수적입니다.

딥페이크는 메타데이터만으로는 부족, 반드시 육안 인식 가능해야 함

다음으로 딥페이크 생성물에 대해서는 메타데이터만으로는 법적 요구를 충족할 수 없습니다.

실제 인물과 구분이 어려운 음성·이미지·영상의 경우, AI 기본법은 이용자가 즉시 인식할 수 있는 가시적·가청적 표시를 전제로 합니다.

파일 속성이나 숨겨진 메타데이터에 AI 생성 정보를 넣는 방식은 일반 이용자가 이를 확인하기 어렵기 때문에 충분한 표시로 인정되기 어렵습니다.

따라서 화면 내 워터마크, 재생 중 지속 표시, 음성 시작 시 명확한 안내 멘트 등 육안 또는 청각으로 즉시 인지 가능한 방식을 병행해야 합니다.

예술적 표현물도 표시 의무 자체는 면제되지 않음

또한 영화·게임·전시 콘텐츠 등 예술적 표현물이라 하더라도 표시 의무 자체가 면제되는 것은 아닙니다.

다만 콘텐츠 감상 경험을 과도하게 해치지 않도록 표시 시점이나 방식에 있어 일정한 완화가 허용될 뿐입니다.

예를 들어 작품 시작 전 안내 문구, 엔딩 크레딧을 통한 고지, 전시장 내 안내문 게시 등은 허용될 수 있으나, 아무런 표시도 하지 않는 것은 원칙적으로 허용되지 않습니다.

예술적 목적이라는 이유만으로 표시 의무가 사라진다고 오인하는 것은 실무상 위험한 판단입니다.

투명성 의무 위반은 소비자 기만·기본권 침해·형사 책임 논의로 확대될 수 있음

마지막으로 투명성 의무 위반은 단순한 ‘표시 누락’ 문제로 끝나지 않을 수 있다는 점을 유의해야 합니다.

AI 활용 사실을 고지하지 않거나 생성물 표시를 제대로 하지 않은 경우, 이는 소비자에게 서비스의 성격을 오인하게 하는 행위로 평가되어 소비자 기만 문제로 확대될 수 있습니다.

더 나아가 의료·금융·채용 등 영역에서는 개인의 기본권 침해 논의로 이어질 수 있으며 사안에 따라 형사 책임이나 행정 제재의 근거로 활용될 가능성도 배제할 수 없습니다.

따라서 투명성 의무는 기업의 법적 책임 구조 전반과 직결된 핵심 컴플라이언스 요소로 인식하고 접근해야 합니다.

AI 기본법상 안정성 확보 의무는 실제 사고 발생 여부와 무관하게 적용됩니다.

즉, AI 시스템으로 인한 안전 사고가 현실화되지 않았더라도 위험 식별·평가·완화 체계가 존재하지 않거나 형식적으로만 운영되는 경우에는 의무 불이행으로 판단될 수 있습니다.

특히 위험 평가 조직이 개발 부서와 실질적으로 독립되어 있지 않거나 위험 관리 문서가 단순 체크리스트 수준에 그치는 경우, 또는 완화 조치가 실제 운영에 반영되지 않은 경우에는 규제 준수로 인정받기 어렵습니다.

안정성 의무는 결과 책임이 아니라 사전 예방과 관리 체계 구축 자체를 요구하는 절차적 의무라는 점에서 사고가 없다는 사정만으로는 법적 리스크를 해소할 수 없습니다.

인공지능 영향 평가는 고영향 AI에 대해 사람의 기본권에 미치는 영향을 사전에 평가하는 절차입니다.

이 제도의 핵심은 다음과 같습니다.

• 법적 성격: 노력의무
• 평가 시기: 신규 제공 전 / 핵심 변경 시 재평가
• 평가 구조: 사전 준비 → 본평가 → 사후 조치

채용, 의료, 교육 분야에서 영향 평가는 향후 분쟁 발생 시 기업의 선제적 관리 노력 입증 자료로 기능합니다.

인공지능 영향평가는 법문상 ‘노력의무’로 규정되어 있으나 선택사항으로 보기는 어렵습니다.

고영향 인공지능을 제공하는 기업이 영향평가를 수행하지 않은 경우 향후 분쟁이나 감독 과정에서 기본권 침해 가능성에 대한 사전 검토를 소홀히 했다는 점이 불리하게 작용할 수 있기 때문입니다.

또한 국가기관 납품, 공공조달, 글로벌 기업과의 협업 과정에서는 AI 영향평가 결과를 사실상 필수 자료로 요구하는 사례가 늘어나고 있습니다.

특히 EU AI Act 등 국제 규제 환경과의 정합성을 고려할 때, 영향평가는 국내 규제 대응을 넘어 신뢰 확보와 사업 지속성을 위한 전략적 문서로 기능하게 될 가능성이 큽니다.

법무법인 대륜은 AI 기본법 대응을 사건 대응이 아닌 ‘관리 체계 구축’ 관점에서 접근합니다.

• 고영향 AI 해당 여부 법률 검토
• 개발·이용 지위 구조 정리
• 투명성·안전성·책무 이행 구조 설계
• 문서화 및 내부 대응 매뉴얼 구축
• 분쟁·감독 대응 연계 자문

기업에게 지금 필요한 것은 “문제가 생기면 대응”이 아니라 문제가 생기지 않도록 설명 가능한 구조를 만드는 것입니다.

AI 활용이 기업 경쟁력인 시대 AI전문변호사의 개입은 선택이 아니라 리스크 관리의 출발점입니다.