OpenAI의 Deep Research에 대한 문제점 분석

The Deep Research problem 에 수록된 내용입니다. OpenAI의 Deep Research에 대한 분석이 굉장히 날카롭습니다. 연구와 분석을 주된 업무로 하는 입장에서 보면, 현재 LLM(대형 언어 모델)이 가지고 있는 한계를 정확하게 짚어낸 것 같습니다. 특히 확률적 모델이 결정론적 질문에 적용될 때 발생하는 문제 가 핵심이라는 점이 인상적입니다. 핵심적인 문제점 정리 1. 신뢰의 문제 모델이 대부분 맞는 답을 내놓지만, "대부분"이란 표현이 문제가 됩니다. 연구와 분석에서는 정확성(accuracy)이 핵심 이기 때문에 일부라도 틀린 데이터가 포함되면 전체 결과를 신뢰하기 어렵습니다. 만약 연구자가 모든 데이터를 직접 검증해야 한다면, 결국 시간을 절약할 수 없고, 오히려 신뢰할 수 없는 데이터가 포함될 위험이 커집니다. 따라서 이런 모델을 사용할 때는 사람이 철저히 검증하는 프로세스가 필요 합니다. 2. 출처(Source)의 문제 Deep Research는 데이터를 제시할 때 신뢰도가 떨어지는 출처를 사용하기도 합니다. 예를 들어, Statcounter는 "사용 비율"을 기준으로 데이터를 산출하는데, 이를 "시장 점유율"로 해석하면 오류가 발생 합니다. 또한, Statista는 원 데이터를 제공하는 것이 아니라 다른 자료를 모아 놓은 형태이기 때문에 원 출처가 불분명하고 신뢰도가 낮을 수 있음 을 고려해야 합니다. 결국, 연구자는 어떤 출처를 신뢰할 것인가 에 대한 판단이 필요하며, 현재 AI는 이 부분에서 제대로 작동하지 않습니다. 3. 확률적 vs. 결정론적 문제 LLM은 요약(Summarization), 개념적 통합(Synthesis), 추론(Inference) 등의 작업에는 강하지만, 정확한 데이터 검색(Deterministic Retrieval)에는 취약 합니다. 예를 들어, "일본 스마트폰 시장 점유율"을 찾을 때, LLM은 다양한 소스를 활용하여 ...