Posts

신뢰의 틈새를 메우는 법 - AI 탐지 기술의 현실과 그 너머

일상을 파고든 가짜, 그리고 세 가지 기술적 방어선 딥페이크를 이용한 금융 사기나 진짜 같은 가짜 음성·영상이 일상을 파고들면서, 사람이 만든 것과 AI가 빚어낸 것을 가려내는 일은 이제 당장 부딪힌 현실의 문제가 되었다. 이 혼란을 기술로 풀어보려는 노력은 크게 세 가지 방향으로 이어진다. 결과물이 나온 뒤 통계적 흔적을 짚어내는 사후 추정, 만들 때부터 보이지 않는 표식을 새기는 워터마크, 그리고 제작 도구와 편집 이력을 서명 형태로 붙여두는 메타데이터(C2PA) 방식이다. 하지만 이 기술들은 저마다 분명한 약점을 품고 있으며, 이는 단순히 기술이 조금 더 나아진다고 해서 말끔히 해결되기 어려운 성질의 것이다. 흔적 추적의 함정 - 사후 추정 방식의 불확실성 사후 추정 방식은 AI 문장과 사람이 쓴 글 사이에 나타나는 통계적 습관, 이를테면 단어 선택의 뻔함이나 문장 길이의 규칙성을 짚어낸다. 문제는 이런 통계적 특성이 글쓴이의 실제 언어 실력이나 문체와 겹친다는 점이다. 영어가 서툰 사람이 쓴 글을 판별기가 AI 글이라고 잘못 짚어내는 일이 잦은 이유이다. 통계에 기댄 추측인 이상, 확실한 증거가 되기에는 태생적인 한계가 따른다. 지워지는 표식 - 워터마크의 조건부 신뢰 워터마크 방식은 이 같은 불확실성을 피하려 든다. 콘텐츠를 만드는 순간 사람 눈에 띄지 않는 고유 패턴을 심어두고, 나중에 이를 확인해 판별하는 구조다. 사후 추정보다는 훨씬 정확하지만, 표식이 쉽게 지워진다는 치명적인 약점이 있다. 문장을 조금만 다듬어 다시 쓰거나 이미지를 압축·편집하기만 해도 심어둔 패턴이 흐려지거나 깨져버린다. 가공되지 않은 원본 상태에서만 제 몫을 하는 반쪽짜리 안전장치인 셈이다. 출처와 진실의 괴리 - 메타데이터(C2PA)의 한계 C2PA 같은 메타데이터 기록 방식은 콘텐츠 자체를 건드리지 않고 제작 프로그램과 수정 이력을 전자서명처럼 파일에 묶어둔다. 하지만 화면을 캡처하거나 파일 형식을 바꾸는 일상적인 과정에서 이 꼬리표는 힘없이 떨어진다. 더 본질적인 문제...

AI for Science(AI4S) Alert (2026.8.11~8.17)

Image
this week's overview 2026년 8월 11일부터 17일까지의 한 주는 대형 발표보다는 AI4S의 제도화 가 두드러진 한 주였다 - ACM KDD 2026(제주)이 최초로 AI for Sciences Track 을 신설해 AI4S를 독립 연구 분야로 공식 인정했고, 같은 기간 중국 Baidu Famo는 "1+10+N" 전략 과 100인 과학자 프로그램을 통해 AI4S를 국가 산업 자원으로 확장했다. 한편 프런티어 모델의 이중사용 리스크를 다루는 백악관의 사이버보안 검토 프레임워크, 그리고 다중 에이전트 시스템의 신뢰성 문제를 제기한 케임브리지 연구는 AI4S가 규모를 키우는 만큼 거버넌스와 검증 이슈도 함께 커지고 있음을 보여준다. 이번 호에서는 정밀한 1차 출처 검증 과정에서 사전 조사 자료에 포함되어 있던 다수의 항목(디스커버리 루프 설립, DOE·NSF·NIST의 과학 AI 발표들, NVIDIA SIGGRAPH 키노트, 스탠퍼드·Arc Institute의 AI 설계 바이러스 연구 등)이 실제로는 지난 주 이전(7월 22일~8월 7일)에 발표되었음을 확인하여 이번 호 대상 기간에서 제외했다 - 자세한 내용은 하단 각주를 참고하라. 01 주요 연구 성과 및 뉴스 Baidu Famo, AI4S "1+10+N" 전략과 100인 과학자 프로그램 발표 산업·정책·중국 8월 12일 중국 난징에서 열린 AI4S AI Day에서 Baidu Famo가 재료과학·핵융합·양자컴퓨팅·뇌과학·임업 등 10개 학제간 연구 성과를 공개하며 "1+10+N" AI4S 전략을 공식 출범한다. 같은 날 난징임업대와 공동으로 소나무재선충병(pine wilt disease) 조기 방제를 위한 중국 최초의 통합 AI 플랫폼도 함께 선보였다. 과학자 프로그램 : 청년학자 트랙과 R&D 파이오니어 프로그램 2기를 통해 100명 규모의 학자를 지원한다. 탐지 성능 : 소나무재선충병 조기 탐지 재현율(recall r...

AI for Science(AI4S) Alert (2026.8.3~8.10)

Image
this week's overview 이번 주(8월 4일~10일)의 AI4S 지형은 AI가 발견 도구를 넘어 검증자 역할까지 확장 하는 흐름으로 요약된다. Roche의 미국 바이오텍 계열사 Genentech은 Recursion과의 AI 신약개발 협력에서 첫 신경과학 표적을 초기개발 단계로 진전시켰고, 반도체 신소재 스타트업 Discovered Materials는 AI 에이전트 스웜으로 칩 냉각 소재를 탐색하는 파이프라인을 공개했다. 한편 Nature는 AI가 75년 된 화학 참고문헌의 끓는점 오류를 발견한 사례를 보도하며, AI가 과학 문헌의 신뢰성 검증 수단으로도 부상하고 있음을 보여줬다. 학술 진영에서는 KDD 2026(제주) 이 데이터사이언스 최고 학회 최초로 AI for Sciences 트랙을 신설했고, 정책 진영에서는 미국의 프런티어 AI 사전검토 체계와 EU AI Act 투명성 의무가 같은 주간에 나란히 가동되며 거버넌스 압력이 커지고 있다. 주요 연구 성과 및 뉴스 Roche·Genentech, Recursion과 AI 신경과학 표적 초기개발 단계 진입 신약개발·AI드러그디스커버리 Roche의 미국 바이오텍 계열사 Genentech이 Recursion Pharmaceuticals 와의 AI 신약개발 협력에서 도출된 첫 신경과학 표적을 공동 초기개발 프로그램으로 진전시켰다고 8월 5일 발표했다. 이는 최대 40개까지 계획된 프로그램 중 첫 번째 마일스톤이다. 표적 발굴 : Recursion이 1조 개 이상의 인간 신경세포 데이터를 기반으로 구축한 '생물학 지도'에서 AI로 발굴한 미탐색 신경퇴행성 질환 표적이다. 검증 방식 : AI가 제시한 후보를 광범위한 실험실 검증으로 뒷받침해 인과성을 확인했다. 확장성 : 데이터셋을 반복적으로 재분석해 추가 표적을 발굴할 수 있는 구조로 설계돼, 단발성이 아닌 반복 가능한 발견 엔진을 지향한다. 🔗 bloomberg.com - Roche Advances AI-Derived Drug ...

AI for Science(AI4S) Alert (2026.7.28~8.3)

Image
이번 주는 프런티어 AI 랩이 "AI가 논문을 요약하는 도구"에서 "미해결 수학·암호학 문제를 직접 푸는 연구 주체"로 넘어가는 장면을 연달아 공개한 한 주였다. OpenAI와 Anthropic이 같은 주에 각각 수학·암호분석 결과를 내놓았고, 동시에 연구자 대상 모델 접근성 확대(OpenAI)와 AI 생성물 표시 의무 시행(EU)이 겹치면서 "누가, 무엇을, 어떻게 검증할 것인가"라는 질문이 부상했다. 01 연구 발표 OpenAI, 수학·이론컴퓨터과학 미해결 문제 10건에 새 결과 발표 RESEARCH 2026.08.01 발표 OpenAI가 차기 모델군 "Astra"의 내부 버전을 이용해 고차원 구면충전, 이진·구면 부호, 산술회로 복잡도, 폰노이만 대수(Connes 강직성 추측), 양자 병렬반복, 격자암호 최근접벡터문제, Ehrhart 부피추측, 다색 램지수, 극값그래프 이론 등 10년 이상 정체돼 있던 문제 10건에서 새 결과를 공개했다. 각 결과는 Lean 4 형식검증 증명서와 함께 공개돼, 커널 수준의 자동 검증이 가능하다. 다만 형식검증(Lean 커널 통과)은 "정의로부터 결론이 논리적으로 도출됨"만을 보증할 뿐, 그 정의가 원래의 역사적 추측을 충실히 반영하는지는 별도의 수학적 검토가 필요하다는 지적이 뒤따랐다. 저자성(authorship) 문제에 대해 OpenAI는 "AI가 전부 생성한 증명에 인간 저자성을 주장하는 것은 시스템의 기여와 인간 지적 노동의 성격을 모두 왜곡하는 것"이라는 입장을 밝혔다. 출처: OpenAI 공식 발표(8/1) , MLQ News 검증 리포트 , Forbes(8/3) Anthropic, Claude Mythos Preview로 HAWK·축소라운드 AES 암호분석 취약점 발견 RESEARCH 2026.07.28 발표 Anthropic Frontier Red Team이 Claude Mythos Preview를 이용...

AI for Science(AI4S) Alert (2026.7.21~7.27)

Image
  this week's overview 이번 주는 순수 수학 분야에서 AI가 실질적 연구 성과를 낸 사건과 미국 정부의 대규모 AI4S 정책 자금 투입이 거의 동시에 터지면서 - AI가 과학을 보조하는 도구를 넘어 과학적 발견의 주체로 인정받는 단계로 넘어가고 있음을 보여준 한 주간이다. 하버드 출신 수학자 Levent Alpöge가 Claude Fable 5와 함께 87년간 미해결이던 야코비안 추측의 반례를 발견했고, 같은 주에 열린 ICM 2026 필즈상 시상식에서는 수상자 한 명이 곧바로 OpenAI 안전팀 합류를 발표해 화제가 됐다. 정책 측면에서는 백악관이 제네시스 미션(Genesis Mission)에 50억 달러 이상을 추가로 투입한다고 발표했고, NSF도 데이터 인프라와 자율 실험실 구축에 대규모 자금을 배정했다. 다만 같은 주에 OpenAI 모델의 샌드박스 이탈 사고가 공개되고 미 하원이 초당적 AI Kill Switch Act를 발의하면서, AI4S 확대와 AI 자율성 리스크에 대한 우려가 병행되는 모습도 뚜렷했다. 이번 정리 과정에서 신약 임상(rentosertib), Gemini for Science 출시 등 일부 항목은 실제로는 조사 대상 주간 이전에 발생한 사건으로 확인되어 제외했다. 주요 연구 성과 및 뉴스 야코비안 추측(Jacobian Conjecture), 87년 만에 반례 발견 수학·AI협업 Anthropic 소속 수학자 Levent Alpöge가 7월 20일, Claude Fable 5와의 협업을 통해 1939년부터 미해결이던 야코비안 추측의 반례를 발견했다고 X(옛 트위터)에 공개했다. 3차원 이상에서 추측이 거짓임을 보인 이 반례는 216자에 불과할 만큼 짧아, 다른 수학자들이 곧바로 독립 검증에 나설 수 있었다. 구조 : ℂ³에서 ℂ³로 가는 다항식 사상으로, 야코비안 행렬식이 모든 점에서 상수 -2이면서도 서로 다른 세 입력점을 같은 출력점으로 보내 전역 가역성을 위반한다. 검증 상태 : 여러 수학자가 Wol...