# 모델 경로를 감사하는 데에는 토큰 하나만 있으면 충분합니다. > 단일 토큰 행동 지문이 재현 가능한 API 일관성 감사를 어떻게 지원하는지 알아보세요. 165 LLMs 언어에 걸쳐 발표된 연구를 기반으로 합니다. - Canonical page: https://chinaapi.ai/ko/model-consistency-audit/ - Human-readable page: https://chinaapi.ai/ko/model-consistency-audit/ - Live pricing: https://dash.chinaapi.ai/pricing?lang=ko&utm_source=chinaapi&utm_medium=markdown&utm_campaign=model-consistency-audit 공개된 블랙박스 방식에 따르면, 반복적인 단일 토큰 출력은 측정 가능한 행동 패턴을 형성할 수 있습니다. ChinaAPI는 API 경로에 대한 재현 가능한 일관성 감사 프로토타입을 개발 중입니다. [비공개 베타 신청](#beta) [연구 자료를 읽어보세요](https://arxiv.org/abs/2607.10252) ## 공개된 방법, 제안된 제품. 아래 결과는 독립적인 공공 조사에서 나온 것입니다. ChinaAPI는 아직 생산 경로 검증 서비스를 출시하지 않았으며 자체 감사 결과도 발표하지 않았습니다. 데이터셋 **165 models · 4 languages** [ 1 ] 이 보고서는 영어, 중국어, 러시아어, 아랍어 테스트 결과를 제공합니다. 이는 ChinaAPI 데이터셋이 아닙니다. [종이](https://arxiv.org/abs/2607.10252) · [데이터 기록](https://zenodo.org/records/21278557) 감사 비용 **~100 one-token queries** [ 1 ] 이 논문은 8-cell 프로토콜에 대한 대략적인 요청 횟수를 보고합니다. 실제 API 비용과 증거 강도는 엔드포인트 및 구성에 따라 달라집니다. [종이](https://arxiv.org/abs/2607.10252) 검증 결과 **<11% EER with 8 probe cells** [ 1 ] 이 결과는 논문의 실험 프로토콜에 따라 보고된 것입니다. 임의의 경로, 프롬프트 또는 제공자에 대해 보장된 오류율은 아닙니다. [종이](https://arxiv.org/abs/2607.10252) ## model ID 는 메타데이터입니다. 단일 답변은 잡음이 섞인 관찰입니다. 01 ### 이름은 주장입니다 모델 식별자는 경로가 제공한다고 주장하는 서비스에 대한 정보를 제공합니다. 이는 경로의 동작에 대한 독립적인 증거가 아닙니다. 02 ### 샘플링은 출력값을 변경합니다. 무작위 샘플링, 서비스 업데이트, 시스템 메시지 및 라우팅 정책은 모두 완료 시점에 변경될 수 있습니다. 03 ### 지연 시간이 불완전합니다. 응답 시간은 인프라 상태를 드러낼 수 있지만, 그 자체만으로는 모델을 식별할 수 없습니다. 04 ### 분포는 신호를 전달합니다. 실질적인 증거는 개별 답변이 아니라 반복적으로 정규화된 답변들의 형태에서 나온다. ## 통제된 행동 패턴을 구축한 다음 분포를 비교합니다. 연구진은 한 단어로 된 답변을 유도하도록 설계된 제한된 질문을 사용하고, 샘플링을 반복하고, 반환된 답변 범주를 정규화한 다음, 결과적으로 생성된 확률과 유사한 특징을 비교했습니다. 1 ### 제한된 프롬프트 답변 가능 범위를 좁히고 제한적인 질문을 하여 반복되는 답변을 일관되게 집계할 수 있도록 하십시오. → 2 ### 반복 샘플링 고정된 엔드포인트 및 샘플링 설정 하에서 여러 개의 독립적인 단일 토큰 출력을 수집합니다. → 3 ### 답변 정규화 비교하기 전에 동일한 표면 형태를 안정적인 답변 범주로 매핑합니다. → 4 ### 분포 비교 서로 다른 모델에 대해 두 답변 분포가 예상보다 더 가까운지 측정합니다. 행동적 지문 **반복적인 답변은 유사한 분포 형태를 만들어냅니다.** 예시용 개략도이며, ChinaAPI 생산 데이터가 아닙니다. ### 세 가지 모델 프로필 Model A Model B Model C ### 동일 모델, 샘플 분할 독립적인 분할은 비슷한 형태를 유지합니다. ### 다양한 모델 최고점과 범주 가중치가 서로 다릅니다. 왼쪽 패널은 세 가지 서로 다른 예시 막대 분포를 보여줍니다. 가운데 패널은 동일한 예시 모델에서 독립적으로 추출한 두 개의 분포를 겹쳐서 보여주며, 막대 높이가 유사함을 나타냅니다. 오른쪽 패널은 서로 다른 두 개의 예시 모델을 겹쳐서 보여주며, 뚜렷한 봉우리와 범주 가중치를 보여줍니다. 실제 모델 측정값은 표시되지 않습니다. ## 동일 모델 간의 지문은 훨씬 더 유사한 것으로 나타났습니다. 이 논문은 동일 모델 지문이 서로 다른 모델의 지문보다 훨씬 더 유사하다는 사실을 발견했습니다. 같은 모델에서 채취한 샘플을 반으로 나눴을 때, 그 지문은 서로 다른 모델에서 채취한 샘플보다 약 10배 정도 더 유사했습니다.[ 1 ] 이 비교는 논문에서 프로브 구성 및 거리 측정 항목 아래에 보고되어 있습니다. [종이](https://arxiv.org/abs/2607.10252) 또한 이 논문은 독점적인 플래그십 레이블을 가진 하나의 엔드포인트가 오픈 Qwen 모델과 분포적으로 구별할 수 없는 생태계 이상 현상을 보고합니다.[ 1 ] 이는 논문 저자들이 보고한 관찰 결과이며, ChinaAPI 테스트나 귀속 주장이 아닙니다. [종이](https://arxiv.org/abs/2607.10252) 논문 결과보고된 값 모델 제품군 분류[ 1 ] 논문에서 보고된 leave-one-out 정확도. [종이](https://arxiv.org/abs/2607.10252) 59.5% 확률 기준선[ 1 ] 분류 결과와 함께 무작위 기준선이 보고됩니다. [종이](https://arxiv.org/abs/2607.10252) 18.4% 40-cell 검증 EER[ 1 ] 논문에 제시된 40-cell 프로토콜 하에서의 오류율은 동일합니다. [종이](https://arxiv.org/abs/2607.10252) 7.3% 8-cell EER[ 1 ] 대략 100 개의 토큰 요청으로 보고되었으며, 보편적인 경로 보장은 아닙니다. [종이](https://arxiv.org/abs/2607.10252) 11% 미만 - 모범가족 분류(한 명 제외): 59.5 %. - 확률 기준치: 18.4 %. - 40-cell 전체 검증 시 오류율은 7.3 %입니다. - 8-cell 검증 등가 오류율: 11 % 미만. 모든 값은 다음과 같이 보고됩니다. [토큰 하나면 충분합니다](https://arxiv.org/abs/2607.10252)관련 연구 기록은 다음에서 확인할 수 있습니다. [제노도](https://zenodo.org/records/21278557). ## 연구 프로토콜부터 경로 관찰 가능성까지. 비공개 베타 버전은 비교 결과를 재현하고 검증하는 데 필요한 증거를 제공할 것입니다. 보고서는 결과 자체를 설명할 수 없는 점수로 축소하는 것이 아니라, 방법론의 맥락을 유지하도록 설계되었습니다. 01 ### 프로토콜 ID 요청 매개변수와 정확한 프로브 세트 버전입니다. 02 ### 샘플링 창 테스트 타임스탬프, 경로, 구성 및 샘플 수. 03 ### 답변 기록 정규화된 범주와 함께 원시 응답을 보여줍니다. 04 ### 반환된 신원 요청된 모델 이름과 API에서 반환된 모델 식별자입니다. 05 ### 거리 측정 버전 관리된 참조 지문과의 젠슨-섀넌 발산. 06 ### 불확실성 신뢰 구간, 이상 유형 및 이전 기간과의 변화. ## 세 가지 증거가 제시되었지만, 그 어느 것도 혐의를 제기하는 내용은 아닙니다. 참고 자료와 일치함 관찰된 차이점은 이 구성에 대해 예상되는 샘플링 범위 내에 있습니다. 증거 불충분 현재 샘플 또는 작업 패널로는 신뢰할 수 있는 비교를 할 수 없습니다. 불일치 신호가 감지되었습니다. 여러 개의 독립적인 프로브 셀이 명시된 임계값을 초과하여 기준 셀과 차이를 보입니다. 추가 조사가 필요합니다. **Mismatch signal is not attribution.** A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it. ## 경로 감사는 불변의 모델 식별자가 아니라 시간, 구성 및 동작을 설명합니다. - 모델은 사전 고지 없이 업데이트될 수 있으며, 이로 인해 유효한 참조 지문이 변경될 수 있습니다. - 동일한 모델이라도 시스템 프롬프트나 샘플링 매개변수에 따라 서로 다른 분포를 생성할 수 있습니다. - 공개 프로브 세트는 서버에 의해 특별히 인식되거나 처리될 수 있습니다. - 감사는 실제로 테스트된 경로, 시간 범위 및 구성만 평가할 수 있습니다. - 감사 결과는 독립적인 증거와 조사가 없이는 제3자를 공개적으로 비난하는 데 사용되어서는 안 됩니다. ## 이 양식에 타사 API key를 입력하지 마세요. 첫 번째 베타 버전은 참가자 본인의 ChinaAPI 계정으로 제출된 요청을 평가하기 위한 것입니다. 추후 대시보드 워크플로를 통해 단기적으로 사용 가능한 제한된 테스트 자격 증명이 제공될 수 있습니다. 이 페이지에서는 다른 제공업체의 장기 사용 키를 요구하지 않습니다. 관심 표명 양식에 포함된 세부 정보는 베타 테스트 참가 후보자를 평가하고 연락하는 데 사용됩니다. 베타 테스트 관계가 시작되지 않을 경우, 문의 내역은 90 일 이내에 삭제될 예정입니다. 참가자는 조기 삭제를 요청할 수 있습니다. [solution@ chinaapi .ai](mailto:solution@chinaapi.ai)참가자가 참여하게 되면, 테스트 시작 전에 표시되는 베타 계약서에 감사 기록 보존 기간 및 삭제 절차가 명시됩니다. 자세한 내용은 다음을 참조하십시오. [개인정보 보호정책](https://chinaapi.ai/privacy/). ## 재현 가능한 경로 일관성 표준을 만드는 데 도움을 주세요. 어떤 경로와 작업 부하가 중요한지 알려주세요. API key 기호, 프롬프트 내용, 고객 데이터 또는 기타 기밀 정보는 포함하지 마세요. [신문을 읽어보세요](https://arxiv.org/abs/2607.10252) [데이터 레코드를 엽니다.](https://zenodo.org/records/21278557) ## 모델 이름은 메타데이터이고, 동작은 증거입니다. ChinaAPI 비공개 베타에 참여하여 모델-경로 일관성 테스트를 위한 재현 가능한 표준을 만드는 데 도움을 주세요. [비공개 베타 신청](#beta) [$2 API 크레딧으로 무료로 시작하세요](https://dash.chinaapi.ai/register?lang=ko&utm_source=chinaapi&utm_medium=research&utm_campaign=model-consistency-audit) --- Markdown twin of https://chinaapi.ai/ko/model-consistency-audit/ — generated from its canonical HTML by scripts/gen_localization_release.py. Full site reference: https://chinaapi.ai/llms-full.txt