데이터셋
165 models · 4 languages
Research preview
Private beta proposed
모델 경로를 감사하는 데에는 토큰 하나만 있으면 충분합니다.
공개된 블랙박스 방식에 따르면, 반복적인 단일 토큰 출력은 측정 가능한 행동 패턴을 형성할 수 있습니다. ChinaAPI는 API 경로에 대한 재현 가능한 일관성 감사 프로토타입을 개발 중입니다.
감사 비용
~100 one-token queries[ 1 ]
이 논문은 8-cell 프로토콜에 대한 대략적인 요청 횟수를 보고합니다. 실제 API 비용과 증거 강도는 엔드포인트 및 구성에 따라 달라집니다.
종이검증 결과
<11% EER with 8 probe cells[ 1 ]
이 결과는 논문의 실험 프로토콜에 따라 보고된 것입니다. 임의의 경로, 프롬프트 또는 제공자에 대해 보장된 오류율은 아닙니다.
종이왜 하나의 답변으로는 아무것도 증명할 수 없는가
model ID 는 메타데이터입니다. 단일 답변은 잡음이 섞인 관찰입니다.
이름은 주장입니다
모델 식별자는 경로가 제공한다고 주장하는 서비스에 대한 정보를 제공합니다. 이는 경로의 동작에 대한 독립적인 증거가 아닙니다.
샘플링은 출력값을 변경합니다.
무작위 샘플링, 서비스 업데이트, 시스템 메시지 및 라우팅 정책은 모두 완료 시점에 변경될 수 있습니다.
지연 시간이 불완전합니다.
응답 시간은 인프라 상태를 드러낼 수 있지만, 그 자체만으로는 모델을 식별할 수 없습니다.
분포는 신호를 전달합니다.
실질적인 증거는 개별 답변이 아니라 반복적으로 정규화된 답변들의 형태에서 나온다.
그 논문이 실제로 한 일은 무엇이었을까요?
통제된 행동 패턴을 구축한 다음 분포를 비교합니다.
연구진은 한 단어로 된 답변을 유도하도록 설계된 제한된 질문을 사용하고, 샘플링을 반복하고, 반환된 답변 범주를 정규화한 다음, 결과적으로 생성된 확률과 유사한 특징을 비교했습니다.
제한된 프롬프트
답변 가능 범위를 좁히고 제한적인 질문을 하여 반복되는 답변을 일관되게 집계할 수 있도록 하십시오.
반복 샘플링
고정된 엔드포인트 및 샘플링 설정 하에서 여러 개의 독립적인 단일 토큰 출력을 수집합니다.
답변 정규화
비교하기 전에 동일한 표면 형태를 안정적인 답변 범주로 매핑합니다.
분포 비교
서로 다른 모델에 대해 두 답변 분포가 예상보다 더 가까운지 측정합니다.
행동적 지문
반복적인 답변은 유사한 분포 형태를 만들어냅니다.
예시용 개략도이며, ChinaAPI 생산 데이터가 아닙니다.
세 가지 모델 프로필
Model A
Model B
Model C
동일 모델, 샘플 분할
독립적인 분할은 비슷한 형태를 유지합니다.
다양한 모델
최고점과 범주 가중치가 서로 다릅니다.
왼쪽 패널은 세 가지 서로 다른 예시 막대 분포를 보여줍니다. 가운데 패널은 동일한 예시 모델에서 독립적으로 추출한 두 개의 분포를 겹쳐서 보여주며, 막대 높이가 유사함을 나타냅니다. 오른쪽 패널은 서로 다른 두 개의 예시 모델을 겹쳐서 보여주며, 뚜렷한 봉우리와 범주 가중치를 보여줍니다. 실제 모델 측정값은 표시되지 않습니다.
주요 연구 결과
동일 모델 간의 지문은 훨씬 더 유사한 것으로 나타났습니다.
이 논문은 동일 모델 지문이 서로 다른 모델의 지문보다 훨씬 더 유사하다는 사실을 발견했습니다.
같은 모델에서 채취한 샘플을 반으로 나눴을 때, 그 지문은 서로 다른 모델에서 채취한 샘플보다 약 10배 정도 더 유사했습니다. 이 비교는 논문에서 프로브 구성 및 거리 측정 항목 아래에 보고되어 있습니다.[ 1 ]
또한 이 논문은 독점적인 플래그십 레이블을 가진 하나의 엔드포인트가 오픈 Qwen 모델과 분포적으로 구별할 수 없는 생태계 이상 현상을 보고합니다. 이는 논문 저자들이 보고한 관찰 결과이며, ChinaAPI 테스트나 귀속 주장이 아닙니다.[ 1 ]
| 논문 결과 | 보고된 값 |
|---|---|
모델 제품군 분류[ 1 ]논문에서 보고된 leave-one-out 정확도. 종이 | 59.5% |
확률 기준선[ 1 ]분류 결과와 함께 무작위 기준선이 보고됩니다. 종이 | 18.4% |
40-cell 검증 EER[ 1 ]논문에 제시된 40-cell 프로토콜 하에서의 오류율은 동일합니다. 종이 | 7.3% |
8-cell EER[ 1 ]대략 100 개의 토큰 요청으로 보고되었으며, 보편적인 경로 보장은 아닙니다. 종이 | 11% 미만 |
- 모범가족 분류(한 명 제외): 59.5 %.
- 확률 기준치: 18.4 %.
- 40-cell 전체 검증 시 오류율은 7.3 %입니다.
- 8-cell 검증 등가 오류율: 11 % 미만.
모든 값은 다음과 같이 보고됩니다. 토큰 하나면 충분합니다관련 연구 기록은 다음에서 확인할 수 있습니다. 제노도.
비공개 베타 테스트 제안
연구 프로토콜부터 경로 관찰 가능성까지.
비공개 베타 버전은 비교 결과를 재현하고 검증하는 데 필요한 증거를 제공할 것입니다. 보고서는 결과 자체를 설명할 수 없는 점수로 축소하는 것이 아니라, 방법론의 맥락을 유지하도록 설계되었습니다.
프로토콜 ID
요청 매개변수와 정확한 프로브 세트 버전입니다.
샘플링 창
테스트 타임스탬프, 경로, 구성 및 샘플 수.
답변 기록
정규화된 범주와 함께 원시 응답을 보여줍니다.
반환된 신원
요청된 모델 이름과 API에서 반환된 모델 식별자입니다.
거리 측정
버전 관리된 참조 지문과의 젠슨-섀넌 발산.
불확실성
신뢰 구간, 이상 유형 및 이전 기간과의 변화.
보고서를 해석하는 방법
세 가지 증거가 제시되었지만, 그 어느 것도 혐의를 제기하는 내용은 아닙니다.
참고 자료와 일치함
관찰된 차이점은 이 구성에 대해 예상되는 샘플링 범위 내에 있습니다.
증거 불충분
현재 샘플 또는 작업 패널로는 신뢰할 수 있는 비교를 할 수 없습니다.
불일치 신호가 감지되었습니다.
여러 개의 독립적인 프로브 셀이 명시된 임계값을 초과하여 기준 셀과 차이를 보입니다. 추가 조사가 필요합니다.
Mismatch signal is not attribution. A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it.
방법 경계
경로 감사는 불변의 모델 식별자가 아니라 시간, 구성 및 동작을 설명합니다.
- 모델은 사전 고지 없이 업데이트될 수 있으며, 이로 인해 유효한 참조 지문이 변경될 수 있습니다.
- 동일한 모델이라도 시스템 프롬프트나 샘플링 매개변수에 따라 서로 다른 분포를 생성할 수 있습니다.
- 공개 프로브 세트는 서버에 의해 특별히 인식되거나 처리될 수 있습니다.
- 감사는 실제로 테스트된 경로, 시간 범위 및 구성만 평가할 수 있습니다.
- 감사 결과는 독립적인 증거와 조사가 없이는 제3자를 공개적으로 비난하는 데 사용되어서는 안 됩니다.
베타 데이터 경계
이 양식에 타사 API key를 입력하지 마세요.
첫 번째 베타 버전은 참가자 본인의 ChinaAPI 계정으로 제출된 요청을 평가하기 위한 것입니다. 추후 대시보드 워크플로를 통해 단기적으로 사용 가능한 제한된 테스트 자격 증명이 제공될 수 있습니다. 이 페이지에서는 다른 제공업체의 장기 사용 키를 요구하지 않습니다.
관심 표명 양식에 포함된 세부 정보는 베타 테스트 참가 후보자를 평가하고 연락하는 데 사용됩니다. 베타 테스트 관계가 시작되지 않을 경우, 문의 내역은 90 일 이내에 삭제될 예정입니다. 참가자는 조기 삭제를 요청할 수 있습니다. solution@ chinaapi .ai참가자가 참여하게 되면, 테스트 시작 전에 표시되는 베타 계약서에 감사 기록 보존 기간 및 삭제 절차가 명시됩니다. 자세한 내용은 다음을 참조하십시오. 개인정보 보호정책.
개인 베타 관심도
재현 가능한 경로 일관성 표준을 만드는 데 도움을 주세요.
어떤 경로와 작업 부하가 중요한지 알려주세요. API key 기호, 프롬프트 내용, 고객 데이터 또는 기타 기밀 정보는 포함하지 마세요.
연구 미리보기
모델 이름은 메타데이터이고, 동작은 증거입니다.
ChinaAPI 비공개 베타에 참여하여 모델-경로 일관성 테스트를 위한 재현 가능한 표준을 만드는 데 도움을 주세요.