Набор данных
165 models · 4 languages[ 1 ]
Данные, представленные в статье, были протестированы на английском, китайском, русском и арабском языках. Это не набор данных ChinaAPI.
Бумага · запись данных
Research preview
Private beta proposed
Одного токена достаточно для проверки маршрута модели.
Опубликованный метод «черного ящика» показывает, что повторяющиеся выходные данные, состоящие из одного токена, могут формировать измеримый поведенческий отпечаток. ChinaAPI разрабатывает прототип воспроизводимой проверки согласованности маршрутов API.
стоимость аудита
~100 one-token queries[ 1 ]
В статье приводится приблизительное количество запросов для протокола 8-cell . Фактическая стоимость API и сила подтверждения зависят от конечной точки и конфигурации.
БумагаРезультат проверки
<11% EER with 8 probe cells[ 1 ]
Результат, представленный в рамках экспериментального протокола, описанного в статье. Это не гарантированный уровень ошибок для произвольных маршрутов, запросов или поставщиков услуг.
БумагаПочему один ответ ничего не доказывает
A model ID — это метаданные. Единственный ответ представляет собой зашумленное наблюдение.
Имена — это утверждения.
Идентификатор модели указывает, что именно, по утверждению производителя, обслуживает данный маршрут. Он не является независимым доказательством поведения маршрута.
Изменение параметров выборки влияет на выходные данные.
Случайная выборка, обновления сервисов, системные подсказки и политика маршрутизации — все это может изменить один из вариантов завершения.
Задержка неполная
Время отклика может выявить состояние инфраструктуры, но само по себе оно не может определить модель.
Распределения передают сигнал
Полезные данные получаются из формы повторяющихся нормализованных ответов, а не из какого-либо одного ответа.
Что на самом деле сделала эта статья
Создайте контролируемый поведенческий отпечаток, а затем сравните распределения.
Исследователи использовали ограниченные по смыслу подсказки, рассчитанные на ответы одним словом, повторили выборку, нормализовали категории полученных ответов и сравнили полученные вероятностные характеристики.
Ограниченные подсказки
Задавайте вопросы с небольшим, контролируемым пространством для ответов, чтобы можно было последовательно подсчитывать повторяющиеся результаты.
Повторная выборка
Соберите множество независимых однотокенных выходных данных при фиксированных параметрах конечной точки и выборки.
Нормализация ответа
Перед сравнением сопоставьте эквивалентные формы поверхностей со стабильными категориями ответов.
Сравнение распределений
Оцените, насколько близко друг к другу находятся распределения ответов для разных моделей по сравнению с ожидаемыми.
Поведенческий отпечаток
Повторяющиеся ответы создают сопоставимую форму распределения.
Схематическое изображение, а ChinaAPI производственные данные.
Три профиля модели
Model A
Model B
Model C
Та же модель, разделенные выборки
Независимые шпагаты сохраняют схожую форму.
Различные модели
Весовые коэффициенты пиков и категорий расходятся.
Текстовое описание: на левой панели показаны три различных иллюстративных распределения столбцов. На средней панели наложены два независимо выбранных распределения из одной и той же иллюстративной модели, и показаны столбцы схожей высоты. На правой панели наложены две разные иллюстративные модели, и показаны отчетливые пики и весовые коэффициенты категорий. Реальные измерения модели не показаны.
Ключевые результаты исследований
Отпечатки пальцев у моделей одного и того же производителя оставались значительно ближе друг к другу.
В исследовании было установлено, что отпечатки пальцев, полученные от людей одной и той же модели, остаются значительно ближе друг к другу, чем отпечатки пальцев, полученные от людей разных моделей.
Когда образцы одной и той же модели были разделены пополам, их отпечатки пальцев оказались примерно на порядок ближе друг к другу, чем образцы разных моделей. Результаты этого сравнения приводятся в статье в разделе, посвященном конструкции зонда и метрикам расстояния.[ 1 ]
В статье также сообщается об аномалии в экосистеме, при которой одна из конечных точек, несущая фирменную метку, по распределению была неотличима от моделей с открытым исходным Qwen . Это наблюдение, изложенное авторами статьи, а не ChinaAPI или утверждение об установлении авторства.[ 1 ]
| Результаты исследования | Заявленное значение |
|---|---|
Классификация семейств моделей[ 1 ]В статье сообщается о точности метода «исключения одного образца». Бумага | 59.5% |
Базовый уровень вероятности[ 1 ]Случайная базовая линия отображается вместе с результатом классификации. Бумага | 18.4% |
40-cell проверка EER[ 1 ]Равный уровень ошибок при выполнении 40-cell протокола, описанного в статье. Бумага | 7.3% |
8-cell проверка EER[ 1 ]Сообщается о примерно 100 запросах на один токен; это не гарантирует универсальный маршрут. Бумага | < 11% |
- Классификация по принципу «исключения одного элемента» в рамках модельного семейства: 59.5 процента.
- Вероятность успеха: 18.4 процента.
- При полной проверке 40-cell частота ошибок составляет 7.3 процента.
- Показатель одинаковой погрешности при проверке 8-cell : менее 11 процентов.
Все значения указаны в отчете. Одного жетона достаточно.Соответствующая исследовательская запись доступна по адресу Зенодо.
Предлагаемое частное бета-тестирование
От исследовательского протокола к обеспечению наблюдаемости маршрута.
Закрытое бета-тестирование позволит получить доказательства, необходимые для воспроизведения и оспаривания результатов сравнения. Отчет призван сохранить контекст метода, а не свести результат к необъяснимому показателю.
Идентификатор протокола
Параметры запроса и точная версия набора зондов.
Окно отбора проб
Тестовые метки времени, маршрут, конфигурация и количество выборок.
Ответить на запись
Исходные ответы вместе с их нормализованными категориями.
Возвращенная идентификация
Запрашиваемое имя модели и любой идентификатор модели, возвращаемый API.
Измерение расстояния
Дивергенция Дженсена-Шеннона по версионированному эталонному отпечатку пальца.
Неопределенность
Доверительный интервал, тип аномалии и изменение по сравнению с предыдущими периодами.
Как интерпретировать отчёт
Три доказательства свидетельствуют об отсутствии обвинений.
Соответствует ссылке
Наблюдаемые различия остаются в пределах ожидаемого диапазона выборки для данной конфигурации.
Недостаточно доказательств
Имеющаяся выборка или панель заданий не позволяют провести надежное сравнение.
Обнаружено несоответствие сигнала
Результаты измерений нескольких независимых зондовых ячеек отличаются от эталонных значений более чем на величину, превышающую указанный порог. Необходимы дальнейшие исследования.
Mismatch signal is not attribution. A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it.
Границы метода
Аудит маршрута описывает время, конфигурацию и поведение, а не неизменяемую идентичность модели.
- Модели могут обновляться без предварительного уведомления, что может привести к изменению подлинного эталонного отпечатка пальца.
- Одна и та же модель может давать разные распределения при различных системных запросах или параметрах выборки.
- Сервер может распознавать или обрабатывать общедоступный набор запросов особым образом.
- В ходе аудита можно оценить только тот маршрут, временной интервал и конфигурацию, которые были фактически протестированы.
- Результаты аудита не должны использоваться для публичного обвинения третьей стороны без независимых доказательств и расследования.
Граница бета-данных
Не вводите в эту форму сторонний API key.
Первая бета-версия предназначена для оценки запросов, сделанных с использованием собственной учетной записи ChinaAPI участника. В более поздней версии рабочего процесса панели управления могут быть предложены краткосрочные, ограниченные тестовые учетные данные. На этой странице не будет запрашиваться долгосрочный ключ от другого поставщика.
Данные, предоставленные в анкете заинтересованности, используются для оценки и связи с кандидатами на участие в бета-тестировании. Если бета-тестирование не начинается, запрос планируется удалить в течение 90 дней; участники могут запросить досрочное удаление по адресу [указать адрес электронной почты или номер телефона]. solution@ chinaapi .aiЕсли участник присоединяется к бета-тестированию, в соглашении, отображаемом перед началом тестирования, будут указаны срок хранения записей аудита и порядок удаления. См. политика конфиденциальности.
Частный бета-доход
Помогите разработать воспроизводимый стандарт обеспечения согласованности маршрутов.
Укажите, какие маршруты и рабочие нагрузки важны. Не используйте символ API key , содержимое подсказок, данные клиентов или другую конфиденциальную информацию.
Предварительный обзор исследования
Названия моделей — это метаданные. Поведение — это доказательство.
Присоединяйтесь к закрытому бета-тестированию ChinaAPI, чтобы помочь сформировать воспроизводимый стандарт для тестирования согласованности моделей и маршрутов.