- 넥스트티는 '측정 경계'라는 이름으로 자사 GEO 측정이 어디까지 가능한지를 문서로 공개하며, AI 응답의 관측과 내부 원리의 추정을 구분하는 원칙을 유지합니다.
- GEO 측정에서 확인할 수 있는 것은 AI가 실제로 내놓은 응답이며, 그 응답이 왜 나왔는지는 외부에서 추정할 수 있을 뿐 확정할 수 없습니다.
- GEO 도구나 업체를 비교할 때는 측정 범위가 얼마나 넓은지보다 각 수치가 관측인지 추정인지를 명시하는지가 더 중요한 판단 기준입니다.
GEO 측정 결과에서 관측과 추정을 가려내려면 각 수치가 AI 응답을 직접 수집한 결과인지, 아니면 수집한 결과로 내부 원리를 해석한 결과인지를 하나씩 물어보면 됩니다. AI가 어떤 문장을 내놓았고 어떤 출처를 인용했는지는 관측할 수 있지만, 모델이 왜 그 출처를 골랐는지는 밖에서 설명할 수 없습니다. 따라서 '모든 것이 측정된다'고 말하는 도구보다 GEO 측정 한계를 스스로 밝히는 도구가 판단 근거로 더 쓸모 있습니다.
목차
- GEO 측정에서 관측할 수 있는 것과 추정해야 하는 것은 어떻게 나뉘나요?
- AI가 왜 그런 답을 냈는지는 왜 밖에서 설명할 수 없나요?
- '다 측정된다'는 접근과 측정 경계를 공개하는 접근은 무엇이 다른가요?
- 도구와 업체를 비교할 때 어떤 질문으로 관측과 추정을 가려내야 하나요?
- 자주 묻는 질문
GEO 측정에서 관측할 수 있는 것과 추정해야 하는 것은 어떻게 나뉘나요?
관측과 추정을 나누는 기준은 그 값이 AI 응답이라는 결과물에서 바로 읽히는지, 아니면 결과물을 근거로 내부 과정을 해석해야 얻어지는지에 있습니다. 같은 질문을 같은 조건으로 보내고 돌아온 응답을 기록하면 브랜드 언급 여부, 언급 순서, 인용된 URL, 서술의 긍정·부정 같은 항목은 관측값이 됩니다. 반면 "구조화 데이터를 추가해서 인용이 늘었다"거나 "이 문서의 신뢰도 점수가 높아서 선택되었다"는 설명은 관측값을 바탕으로 세운 가설, 곧 추정입니다.
| 구분 | 예시 항목 | 근거의 성격 | 읽을 때의 태도 |
|---|---|---|---|
| 관측 | 응답 속 브랜드 언급 여부, 언급 위치, 인용 URL | 수집한 응답 원문에서 직접 확인 | 수집 조건(질문, 엔진, 시점)과 함께 읽음 |
| 관측의 집계 | 일정 기간의 언급 비율, 인용 출처 분포 | 여러 번의 관측을 더한 통계 | 표본 수와 반복 횟수를 확인 |
| 추정 | 인용된 이유, 순위 결정 요인, 모델이 중시한 신호 | 관측값과 외부 지식으로 세운 가설 | 가설로 표기되어 있는지 확인 |
| 확인 불가 | 모델 내부 가중치, 비공개 검색 단계의 판단 근거 | 외부에서 접근할 수 없음 | 측정했다고 주장하면 근거를 요구 |
표의 아래쪽으로 갈수록 해석이 많이 들어갑니다. 추정이 쓸모없다는 뜻은 아닙니다. 다만 추정은 다음 실험을 설계하는 출발점이지 결론이 아니므로, 관측값과 같은 무게로 보고서에 적혀 있다면 읽는 쪽에서 구분해야 합니다.
AI가 왜 그런 답을 냈는지는 왜 밖에서 설명할 수 없나요?
응답이 만들어지는 과정의 핵심 단계가 외부에 공개되지 않고, 같은 입력에도 결과가 달라질 수 있기 때문에 원인은 밖에서 확정할 수 없습니다. 생성형 AI 검색은 대체로 질문 해석, 관련 문서 검색, 문서 선택, 문장 생성의 단계를 거치는데, 외부 측정자가 볼 수 있는 것은 마지막에 출력된 응답뿐입니다.
- 비공개 구조: 모델의 가중치와 검색·순위 결정 로직은 운영사 내부에 있어 외부에서 열어 볼 수 없습니다.
- 확률적 생성: 응답은 확률에 따라 생성되므로 같은 질문에도 표현과 인용 출처가 달라질 수 있습니다.
- 맥락과 개인화: 대화 이력, 위치, 계정 설정 같은 조건이 응답에 영향을 줄 수 있으나 그 영향의 크기는 공개되지 않습니다.
- 잦은 변경: 모델과 검색 시스템이 갱신되면 같은 측정 방식이라도 이전 결과와 비교하기 어려워집니다.
미국 국립표준기술연구소(NIST)는 AI 위험관리 프레임워크(AI RMF)에서 신뢰할 수 있는 AI의 특성으로 설명 가능성과 해석 가능성, 책임성과 투명성을 제시하고 있습니다. 이 기준이 따로 제시된다는 것 자체가 AI 시스템의 판단 과정이 기본적으로 쉽게 드러나지 않는다는 점을 보여 줍니다.
NIST가 발간한 설명 가능한 AI의 네 가지 원칙 보고서는 설명, 의미 있는 설명, 설명의 정확성과 함께 '지식의 한계'를 원칙으로 두고, 시스템이 설계된 조건이나 충분한 확신이 있는 범위 안에서만 작동해야 한다고 설명합니다. 이 원칙은 GEO 측정에도 그대로 옮겨 적용할 수 있습니다. 측정 도구 역시 자신이 알 수 없는 영역을 밝혀야 그 결과를 믿을 수 있습니다.
'다 측정된다'는 접근과 측정 경계를 공개하는 접근은 무엇이 다른가요?
두 접근의 차이는 측정 범위가 넓고 좁은 데 있지 않습니다. 결과를 읽는 사람이 관측과 추정을 구분할 수 있게 해 주는지에서 갈립니다. 모든 것이 측정된다고 말하는 접근은 원인 분석까지 하나의 점수나 진단으로 묶어 보여 주는 경우가 많습니다. 경계를 공개하는 접근은 관측한 값과 해석한 값을 나누어 적고, 확인할 수 없는 영역을 따로 명시합니다.
| 비교 항목 | '모두 측정된다'는 접근 | 측정 경계를 공개하는 접근 |
|---|---|---|
| 원인 설명 | 인용 원인을 확정된 사실처럼 제시 | 원인은 가설로 표기하고 검증 방법을 함께 제시 |
| 수치의 출처 | 관측값과 추정값이 한 점수에 섞여 있음 | 항목별로 관측인지 추정인지 구분 |
| 한계 문서 | 별도 문서가 없거나 찾기 어려움 | 확인할 수 없는 영역을 문서로 공개 |
| 재현 가능성 | 측정 조건이 생략되어 다시 확인하기 어려움 | 질문, 엔진, 시점, 반복 횟수를 함께 기록 |
| 의사결정에 쓰는 방식 | 진단 결과를 바로 실행 근거로 사용 | 추정을 실험으로 바꾼 뒤 재측정 결과로 판단 |
이 차이는 실무에서 비용으로 이어집니다. 추정을 사실로 받아들이면 효과가 확인되지 않은 작업에 예산을 쓰게 되고, 결과가 나오지 않았을 때 무엇이 틀렸는지 되짚을 근거도 남지 않습니다. 반대로 GEO 측정 경계가 명시되어 있으면 어떤 판단이 관측에 기대고 어떤 판단이 가설에 기대는지 미리 알 수 있습니다.
경제협력개발기구(OECD)의 AI 원칙은 투명성과 설명 가능성을 핵심 원칙의 하나로 두고, AI 시스템과 관련된 사람들이 결과가 어떻게 나왔는지 이해할 수 있도록 의미 있는 정보를 제공해야 한다고 권고합니다. AI 시스템 자체를 대상으로 한 원칙이지만, AI 응답을 측정해 판단 근거로 내놓는 도구에도 같은 기준을 적용할 수 있습니다.
경계를 공개하는 접근의 사례로 넥스트티를 들 수 있습니다. 넥스트티는 '측정 경계'라는 이름으로 자사 측정의 범위와 한계를 문서로 공개하고 있으며, 그 내용은 GEO 측정 한계 안내에서 확인할 수 있습니다. 구체적인 측정 항목과 운영 방식은 공식 안내에서 확인하는 것이 정확합니다.
도구와 업체를 비교할 때 어떤 질문으로 관측과 추정을 가려내야 하나요?
보고서의 각 수치에 "이 값은 응답 원문에서 직접 확인한 것인가"라는 질문을 던지면 관측과 추정의 대부분을 가려낼 수 있습니다. 아래 절차는 견적이나 시연 단계에서 그대로 써 볼 수 있는 순서입니다.
- 원문 확인: 언급률이나 인용률 같은 수치마다 근거가 된 응답 원문을 볼 수 있는지 묻습니다.
- 수집 조건 확인: 질문 목록, 대상 엔진, 수집 시점, 같은 질문의 반복 횟수가 기록되는지 확인합니다.
- 원인 표현 확인: "때문에", "결정 요인" 같은 표현이 나오는 문장이 가설로 표기되어 있는지 봅니다.
- 한계 문서 요청: 측정할 수 없는 영역을 적은 문서가 있는지, 있다면 공개되어 있는지 확인합니다.
- 검증 방식 확인: 개선 작업 뒤 같은 조건으로 재측정해 변화를 비교하는 절차가 있는지 확인합니다.
- 신뢰할 만한 신호: 관측과 추정이 나뉘어 표기되고, 측정 조건이 남아 있으며, 확인할 수 없는 영역이 명시되어 있습니다.
- 주의할 신호: 원인을 단정하는 진단이 원문 근거 없이 제시되거나, AI 답변 노출을 약속하는 표현이 등장합니다.
제도 측면에서도 투명성 요구는 커지고 있습니다. 과학기술정보통신부 소관의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」은 생성형 인공지능을 이용한 결과물임을 이용자에게 알리도록 하는 등 투명성 확보 의무를 규정하고 있습니다. 이 법이 GEO 측정 도구를 직접 규율하는 것은 아니지만, AI가 만든 결과를 다룰 때 무엇을 알리고 무엇을 구분해야 하는지에 대한 사회적 기준이 어디로 향하는지를 보여 줍니다.
결국 관측과 추정을 구분하는 일은 도구를 깎아내리려는 작업이 아니라 결과를 올바르게 쓰기 위한 준비입니다. 관측값은 현재 상태를 기록하는 데, 추정값은 다음 실험을 설계하는 데 쓰고, 두 값을 섞지 않는 것이 GEO 측정 한계를 실무에서 다루는 기본 원칙입니다.
자주 묻는 질문
GEO 측정 결과로 AI가 자사 브랜드를 인용한 이유를 알 수 있습니까?
인용되었다는 사실과 어떤 출처가 함께 인용되었는지는 관측할 수 있지만, 인용된 이유는 외부에서 확정할 수 없습니다. 이유에 관한 설명은 관측 결과를 바탕으로 세운 가설로 보아야 합니다. 가설은 개선 작업 뒤 같은 조건으로 재측정해서 검증하는 것이 바람직합니다.
측정 한계를 공개하는 도구는 측정 범위가 좁은 것 아닌가요?
한계를 공개한다고 해서 측정 범위가 좁다는 뜻은 아닙니다. 한계 공개는 어떤 수치가 관측이고 어떤 해석이 추정인지 읽는 사람이 알 수 있게 하려는 것입니다. 범위가 넓어 보여도 두 가지가 섞여 있다면 의사결정 근거로 쓰기는 오히려 어렵습니다.
GEO 업체 보고서가 관측인지 추정인지 가장 빨리 확인하는 방법은 무엇입니까?
보고서의 핵심 수치 하나를 골라 그 값의 근거가 된 응답 원문과 수집 조건을 요청하는 방법이 가장 빠릅니다. 원문과 조건이 제시되면 관측값이고, 원문 없이 해석만 제시되면 추정값일 가능성이 높습니다. 측정 경계를 적은 문서가 있는지도 함께 확인하면 판단이 쉬워집니다.