Research preview Private beta proposed

Satu token saja sudah cukup untuk mengaudit rute model.

Metode black-box yang telah dipublikasikan menunjukkan bahwa keluaran satu token yang berulang dapat membentuk sidik jari perilaku yang terukur. ChinaAPI sedang membuat prototipe audit konsistensi yang dapat direproduksi untuk rute API.

Minta akses beta pribadi Bacalah penelitian tersebut.

Kumpulan data

165 models · 4 languages

[ 1 ]

Dilaporkan oleh makalah untuk pengujian dalam bahasa Inggris, Mandarin, Rusia, dan Arab. Ini bukan dataset ChinaAPI.

Kertas · catatan data

Biaya audit

~100 one-token queries

[ 1 ]

Makalah ini melaporkan perkiraan jumlah permintaan untuk protokol 8-cell . Biaya API aktual dan kekuatan bukti bergantung pada titik akhir dan konfigurasi.

Kertas

Hasil verifikasi

<11% EER with 8 probe cells

[ 1 ]

Hasil yang dilaporkan berdasarkan protokol eksperimental makalah ini. Ini bukan jaminan tingkat kesalahan untuk rute, perintah, atau penyedia yang sembarangan.

Kertas

Mengapa satu jawaban tidak membuktikan apa pun

A model ID adalah metadata. Satu jawaban adalah pengamatan yang tidak akurat.

Nama adalah pernyataan

Pengidentifikasi model memberi tahu Anda apa yang diklaim dilayani oleh suatu rute. Ini bukanlah bukti independen tentang perilaku rute tersebut.

Pengambilan sampel mengubah output.

Pengambilan sampel acak, pembaruan layanan, perintah sistem, dan kebijakan perutean semuanya dapat mengubah satu penyelesaian.

Latensi tidak lengkap

Waktu respons dapat mengungkap kondisi infrastruktur, tetapi hal itu sendiri tidak dapat mengidentifikasi suatu model.

Distribusi membawa sinyal tersebut.

Bukti yang dapat digunakan berasal dari bentuk jawaban yang dinormalisasi dan diulang, bukan dari satu jawaban tunggal.

Apa yang sebenarnya dilakukan oleh makalah tersebut?

Bangun sidik jari perilaku yang terkontrol, lalu bandingkan distribusinya.

Para peneliti menggunakan petunjuk terbatas yang dirancang untuk menghasilkan jawaban satu kata, mengulangi pengambilan sampel, menormalkan kategori jawaban yang dikembalikan, dan membandingkan sidik jari seperti probabilitas yang dihasilkan.

Perintah terbatas

Ajukan pertanyaan dengan ruang lingkup jawaban yang kecil dan terkontrol sehingga keluaran yang berulang dapat dihitung secara konsisten.

Pengambilan sampel berulang

Kumpulkan banyak keluaran satu token independen di bawah pengaturan titik akhir dan pengambilan sampel yang tetap.

Normalisasi jawaban

Petakan bentuk permukaan yang setara ke dalam kategori jawaban yang stabil sebelum perbandingan.

Perbandingan distribusi

Mengukur apakah dua distribusi jawaban lebih dekat dari yang diharapkan untuk model yang berbeda.

Sidik jari perilaku Jawaban yang berulang menciptakan bentuk distribusi yang serupa.

Skema ilustratif, bukan data ChinaAPI

Tiga profil model

Model A

Model B

Model C

Model yang sama, sampel terpisah

Split independen mempertahankan bentuk yang serupa.

Model yang berbeda

Puncak dan bobot kategori berbeda.

Hasil penelitian utama

Sidik jari model yang sama tetap jauh lebih dekat.

Makalah tersebut menemukan bahwa sidik jari dari model yang sama tetap jauh lebih mirip daripada sidik jari dari model yang berbeda.

Ketika sampel dari model yang sama dibagi menjadi dua, sidik jarinya sekitar satu tingkat lebih dekat daripada sampel dari model yang berbeda.

[ 1 ]

Perbandingan ini dilaporkan dalam makalah tersebut berdasarkan konstruksi penyelidikan dan metrik jaraknya.

Kertas

Makalah ini juga melaporkan anomali ekosistem di mana satu titik akhir yang membawa label unggulan eksklusif secara distribusi tidak dapat dibedakan dari model Qwen terbuka.

[ 1 ]

Ini adalah pengamatan yang dilaporkan oleh penulis makalah, bukan uji ChinaAPI atau klaim atribusi.

Kertas

Hasil makalah	Nilai yang dilaporkan
Klasifikasi keluarga model [ 1 ] Akurasi leave-one-out yang dilaporkan oleh makalah tersebut. Kertas	59.5%
Garis dasar peluang [ 1 ] Data dasar acak dilaporkan bersamaan dengan hasil klasifikasi. Kertas	18.4%
Verifikasi 40-cell lengkap [ 1 ] Tingkat kesalahan yang sama di bawah protokol 40-cell makalah ini. Kertas	7.3%
8-cell EER [ 1 ] Dilaporkan dengan sekitar 100 permintaan satu token; bukan jaminan rute universal. Kertas	< 11%

Semua nilai dilaporkan oleh Satu Token Saja Sudah Cukup; catatan penelitian terkait tersedia di Zenodo.

Usulan versi beta privat

Dari protokol penelitian hingga pengamatan rute.

Versi beta tertutup ini akan mengungkap bukti yang dibutuhkan untuk mereproduksi dan menantang perbandingan tersebut. Laporan ini dirancang untuk mempertahankan konteks metode, bukan untuk mereduksi hasilnya menjadi skor yang tidak dapat dijelaskan.

Identitas protokol

Parameter permintaan dan versi probe-set yang tepat.

Jendela pengambilan sampel

Stempel waktu pengujian, rute, konfigurasi, dan jumlah sampel.

Catatan jawaban

Respons mentah beserta kategori yang dinormalisasi.

Identitas yang dikembalikan

Nama model yang diminta dan pengidentifikasi model apa pun yang dikembalikan oleh API.

Pengukuran jarak

Penyimpangan Jensen-Shannon dari sidik jari referensi yang diberi versi.

Ketakpastian

Interval kepercayaan, jenis anomali, dan perubahan dari jendela sebelumnya.

Cara menafsirkan laporan

Tiga bukti menyatakan, tak satu pun di antaranya merupakan tuduhan.

Sesuai dengan referensi

Perbedaan yang diamati tetap berada dalam rentang pengambilan sampel yang diharapkan untuk konfigurasi ini.

Bukti tidak cukup

Sampel atau panel tugas saat ini tidak dapat mendukung perbandingan yang andal.

Sinyal ketidaksesuaian terdeteksi

Beberapa sel uji independen berbeda dari sel referensi di luar ambang batas yang ditentukan. Investigasi lebih lanjut diperlukan.

Mismatch signal is not attribution. A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it.

Batasan metode

Audit rute menjelaskan waktu, konfigurasi, dan perilaku—bukan identitas model yang tidak dapat diubah.

Model dapat diperbarui tanpa pemberitahuan sebelumnya, yang dapat mengubah sidik jari referensi yang sah.
Model yang sama dapat menghasilkan distribusi yang berbeda di bawah perintah sistem atau parameter pengambilan sampel yang berbeda.
Kumpulan probe publik dapat dikenali atau ditangani secara khusus oleh server.
Audit hanya dapat mengevaluasi rute, rentang waktu, dan konfigurasi yang benar-benar diuji.
Hasil audit tidak boleh digunakan untuk menuduh pihak ketiga secara terbuka tanpa bukti dan investigasi independen.

Batas data beta

Jangan masukkan API key pihak ketiga ke formulir ini.

Versi beta pertama ini bertujuan untuk mengevaluasi permintaan yang dibuat melalui akun ChinaAPI milik peserta sendiri. Alur kerja Dasbor selanjutnya mungkin akan menawarkan kredensial uji coba yang berumur pendek dan terbatas. Halaman ini tidak akan meminta kunci jangka panjang dari penyedia lain.

Rincian formulir minat digunakan untuk mengevaluasi dan menghubungi kandidat beta. Jika tidak ada hubungan beta yang dimulai, permintaan tersebut dijadwalkan untuk dihapus dalam waktu 90 hari; peserta dapat meminta penghapusan lebih awal di solusi@ chinaapi .aiJika peserta bergabung, perjanjian beta yang ditampilkan sebelum pengujian akan menyatakan periode penyimpanan catatan audit dan alur kerja penghapusan. Lihat Kebijakan Privasi.

Minat beta pribadi

Bantu membentuk standar konsistensi rute yang dapat direproduksi.

Sebutkan rute dan beban kerja mana yang penting. Jangan menyertakan tanda API key , isi prompt, data pelanggan, atau rahasia lainnya.

Bacalah makalah itu Buka catatan data

Pratinjau penelitian

Nama model adalah metadata. Perilaku adalah bukti.

Bergabunglah dengan program beta privat ChinaAPI untuk membantu membentuk standar yang dapat direproduksi untuk pengujian konsistensi model-rute.

Minta akses beta pribadi Mulai gratis dengan kredit API $2