AI가 자신 있게 틀릴 때: 출처·반대 질문·숫자 재계산 3단계

AI 답변 검증은 생성된 문장을 그대로 믿는 대신, 출처 원문·결론의 성립 조건·계산 결과를 따로 대조하는 작업이에요. 자신 있는 말투가 정확성의 증거는 아니에요. 거래처에 보낼 제안서나 매장 운영비 계산에 AI 답변을 붙이기 전, ‘출처 요구 → 반대 질문 → 숫자 재계산’ 순서로 확인해 보세요. 이 3단계는 니앱이 제안하는 실무 점검 순서이며, 정확성을 보장하는 공식 인증 절차는 아니에요.

실제로 없는 판례를 진짜라고 다시 확인해 줬다고요?

2023년 5월 27일 BBC 보도에는 뉴욕 변호사가 소송 자료를 조사하면서 ChatGPT를 이용한 사례가 나와요. 항공사 상대 손해배상 소송에 제출한 자료에서 상대 측이 인용된 판례들을 찾지 못했고, 판사는 제출된 판례 가운데 6건이 가짜 판결과 인용문을 담은 것으로 보인다고 지적했어요. 당시 기사는 징계 여부를 설명할 심리가 예정된 시점의 보도예요. 그 이후 처분을 이 기사만으로 단정하지는 않아요.

특히 중요한 장면은 재질문이에요. 공개된 대화에서 사용자가 Varghese 사건이 실제인지 묻자 AI는 그렇다고 답했고, 출처를 요구하자 LexisNexis와 Westlaw 같은 법률 데이터베이스에서 찾을 수 있다고 다시 주장했어요. ‘정말 맞아?’라는 질문에 같은 AI가 고개를 끄덕였다고 검증이 끝난 게 아니었던 거예요. 이 사례는 과거 사건이며, 오늘의 모든 AI 답변이 같은 방식으로 틀린다는 뜻은 아니에요.

1단계: 출처를 받았다면 무엇을 직접 열어야 할까요?

먼저 답변을 주장 단위로 나눠요. 예를 들어 ‘이 도구를 쓰면 견적 작성 비용이 줄어든다’는 문장에는 기능 제공 여부, 요금 조건, 비용 절감이라는 서로 다른 주장이 섞여 있어요. 다음처럼 요청해 보세요. ‘각 주장의 원문 URL, 발행 기관, 작성·수정일, 근거가 있는 문단을 구분해 줘. 확인하지 못한 주장은 미확인으로 표시해 줘.’

그다음 사람이 링크를 직접 열어 실제로 그 내용이 있는지 대조해요. 링크가 열려도 다른 상품·다른 국가·옛 기준의 페이지라면 근거로 쓰기 어려워요. 공식 도움말은 기능 확인에, 공고 원문은 대상과 기간 확인에 사용하는 식으로 주장에 맞는 자료를 고르세요. 원문을 찾지 못했다면 고객 안내나 계약 문구에 확정 사실처럼 넣지 않는 편이 안전해요.

오늘 확인한 OpenAI 공식 도움말도 AI가 잘못된 날짜나 정의뿐 아니라 존재하지 않는 연구·인용·출처를 제시할 수 있다고 설명해요. 웹 접근은 기술 문제, 유료벽, 사이트 접근 정책 때문에 막힐 수 있어요. 또 검색 없이 생성한 답변은 학습 시점 이후의 변화를 반영하지 못할 수 있어요. 따라서 출처가 없다는 사실을 ‘그런 정보는 없다’는 결론으로 바꾸면 안 돼요.

2단계: 반대 질문은 결론을 뒤집으라는 뜻인가요?

무조건 반박하라고 하면 그럴듯한 반론이 하나 더 생길 수 있어요. 대신 결론이 성립하지 않는 조건을 물어보세요. ‘이 추천이 틀리는 조건 3개와 각 조건을 확인할 자료를 알려 줘. 사실, 가정, 아직 확인하지 못한 내용을 나눠 줘.’ 매장 예약 도구를 추천받았다면 해외 결제만 지원하는지, 우리 매장의 취소 규정과 맞는지처럼 적용 조건을 확인하는 거예요. 이 질문은 기능 안내가 아니라 자체 실무 예시예요.

OpenAI는 한쪽 관점을 유일한 정답처럼 제시하거나 복잡한 논점을 단순화하는 한계도 안내해요. 반대 질문의 목적은 AI끼리 말싸움을 시키는 게 아니라 빠진 조건을 드러내는 데 있어요. 같은 대화에서 나온 두 답변은 독립된 출처 두 개가 아니에요. 중요한 판단은 별도의 공식 문서나 담당자 확인으로 마무리해요. AI가 어떤 글을 작성했는지 스스로 판별한 답도 저작 주체를 입증하는 자료로 쓰기 어렵다는 공식 안내를 함께 기억하세요.

3단계: 숫자는 어떤 식으로 다시 계산하나요?

다음은 검증 방법을 보여 주기 위한 가상 견적이에요. 월 사용료 30,000원, 12개월 이용, 연간 합계에서 10% 할인, 세금·추가 요금 제외라는 조건을 먼저 고정해요. 계산기에 30,000 × 12 × 0.9를 입력하면 324,000원이에요. 할인 전 360,000원과의 차이는 36,000원이고, 월 환산은 27,000원이에요. 실제 서비스 요금이나 할인 혜택을 소개하는 수치는 아니에요.

AI에는 ‘계산식, 금액 단위, 부가세 포함 여부, 반올림 위치를 보여 줘’라고 요청하고, 최종 값은 계산기나 스프레드시트로 따로 구해요. 원화와 달러, 월 요금과 연 요금, 퍼센트와 퍼센트포인트가 섞이면 식이 맞아도 결론은 틀릴 수 있어요. 공식 도움말은 검색으로 최신 근거를 찾고, 데이터 분석 도구로 계산을 수행하며, 심층 리서치로 여러 자료를 비교하는 기능도 안내해요. 다만 도구 접근과 화면 구성은 버전·플랜에 따라 다를 수 있어요. 특정 버튼을 반드시 눌러야 이 점검을 할 수 있는 것은 아니에요.

검증한 뒤에는 무엇을 남겨야 할까요?

업무 메모에 주장 한 줄, 확인한 원문 URL과 확인일, 남은 예외 조건, 계산식과 결과를 함께 적어 두세요. 링크가 없거나 조건이 다르거나 계산이 맞지 않으면 그 항목은 미확인으로 두고 외부 안내에서 빼요. 초안 작성은 AI에 맡기되, 돈·계약·법률·건강에 영향을 주는 결론은 해당 분야의 공식 자료나 전문가 검토로 연결하는 게 좋아요. 빠르게 쓰는 것보다 틀린 내용을 고객에게 보내지 않는 것이 이 습관의 목적이에요.

자주 묻는 질문

아니요. 원문에 같은 주장이 있는지, 날짜와 적용 대상이 맞는지 직접 확인해야 해요. 존재하는 링크도 답변을 뒷받침하지 않을 수 있어요.

아니요. 반대 질문은 누락된 가정을 찾는 보조 수단이에요. 원문 대조와 별도 계산이 필요하고, 같은 AI의 재확인은 독립된 증거가 아니에요.

아니요. 일반 계산기나 스프레드시트로도 계산식을 대조할 수 있어요. AI 서비스의 검색·데이터 분석 도구 제공 조건은 버전·플랜에 따라 다를 수 있어요.

참고 출처

2026년 11월 1일 원문 확인. 아래 자료의 사실관계를 바탕으로 한국 실무용 점검 순서와 가상 견적 예시를 자체 구성했어요.

• OpenAI 공식 도움말: Does ChatGPT tell the truth?
• BBC, 2023-05-27: ChatGPT: US lawyer admits using AI for case research