# Satu token saja sudah cukup untuk mengaudit rute model. > Pelajari bagaimana sidik jari perilaku token tunggal dapat mendukung audit konsistensi API yang dapat direproduksi. Berdasarkan penelitian yang dipublikasikan di LLMs 165 dan empat bahasa. - Canonical page: https://chinaapi.ai/id/model-consistency-audit/ - Human-readable page: https://chinaapi.ai/id/model-consistency-audit/ - Live pricing: https://dash.chinaapi.ai/pricing?lang=id&utm_source=chinaapi&utm_medium=markdown&utm_campaign=model-consistency-audit Metode black-box yang telah dipublikasikan menunjukkan bahwa keluaran satu token yang berulang dapat membentuk sidik jari perilaku yang terukur. ChinaAPI sedang membuat prototipe audit konsistensi yang dapat direproduksi untuk rute API. [Minta akses beta pribadi](#beta) [Bacalah penelitian tersebut.](https://arxiv.org/abs/2607.10252) ## Metode yang dipublikasikan, produk yang diusulkan. Temuan di bawah ini berasal dari riset publik independen. ChinaAPI belum merilis layanan verifikasi rute produksi atau menerbitkan hasil auditnya sendiri. Kumpulan data **165 models · 4 languages** [ 1 ] Dilaporkan oleh makalah untuk pengujian dalam bahasa Inggris, Mandarin, Rusia, dan Arab. Ini bukan dataset ChinaAPI. [Kertas](https://arxiv.org/abs/2607.10252) · [catatan data](https://zenodo.org/records/21278557) Biaya audit **~100 one-token queries** [ 1 ] Makalah ini melaporkan perkiraan jumlah permintaan untuk protokol 8-cell . Biaya API aktual dan kekuatan bukti bergantung pada titik akhir dan konfigurasi. [Kertas](https://arxiv.org/abs/2607.10252) Hasil verifikasi **<11% EER with 8 probe cells** [ 1 ] Hasil yang dilaporkan berdasarkan protokol eksperimental makalah ini. Ini bukan jaminan tingkat kesalahan untuk rute, perintah, atau penyedia yang sembarangan. [Kertas](https://arxiv.org/abs/2607.10252) ## A model ID adalah metadata. Satu jawaban adalah pengamatan yang tidak akurat. 01 ### Nama adalah pernyataan Pengidentifikasi model memberi tahu Anda apa yang diklaim dilayani oleh suatu rute. Ini bukanlah bukti independen tentang perilaku rute tersebut. 02 ### Pengambilan sampel mengubah output. Pengambilan sampel acak, pembaruan layanan, perintah sistem, dan kebijakan perutean semuanya dapat mengubah satu penyelesaian. 03 ### Latensi tidak lengkap Waktu respons dapat mengungkap kondisi infrastruktur, tetapi hal itu sendiri tidak dapat mengidentifikasi suatu model. 04 ### Distribusi membawa sinyal tersebut. Bukti yang dapat digunakan berasal dari bentuk jawaban yang dinormalisasi dan diulang, bukan dari satu jawaban tunggal. ## Bangun sidik jari perilaku yang terkontrol, lalu bandingkan distribusinya. Para peneliti menggunakan petunjuk terbatas yang dirancang untuk menghasilkan jawaban satu kata, mengulangi pengambilan sampel, menormalkan kategori jawaban yang dikembalikan, dan membandingkan sidik jari seperti probabilitas yang dihasilkan. 1 ### Perintah terbatas Ajukan pertanyaan dengan ruang lingkup jawaban yang kecil dan terkontrol sehingga keluaran yang berulang dapat dihitung secara konsisten. → 2 ### Pengambilan sampel berulang Kumpulkan banyak keluaran satu token independen di bawah pengaturan titik akhir dan pengambilan sampel yang tetap. → 3 ### Normalisasi jawaban Petakan bentuk permukaan yang setara ke dalam kategori jawaban yang stabil sebelum perbandingan. → 4 ### Perbandingan distribusi Mengukur apakah dua distribusi jawaban lebih dekat dari yang diharapkan untuk model yang berbeda. Sidik jari perilaku **Jawaban yang berulang menciptakan bentuk distribusi yang serupa.** Skema ilustratif, bukan data ChinaAPI ### Tiga profil model Model A Model B Model C ### Model yang sama, sampel terpisah Split independen mempertahankan bentuk yang serupa. ### Model yang berbeda Puncak dan bobot kategori berbeda. Alternatif teks: panel kiri menunjukkan tiga distribusi batang ilustratif yang berbeda. Panel tengah menampilkan dua distribusi yang diambil sampelnya secara independen dari model ilustratif yang sama dan menunjukkan tinggi batang yang serupa. Panel kanan menampilkan dua model ilustratif yang berbeda dan menunjukkan puncak serta bobot kategori yang berbeda. Tidak ada pengukuran model sebenarnya yang ditampilkan. ## Sidik jari model yang sama tetap jauh lebih dekat. Makalah tersebut menemukan bahwa sidik jari dari model yang sama tetap jauh lebih mirip daripada sidik jari dari model yang berbeda. Ketika sampel dari model yang sama dibagi menjadi dua, sidik jarinya sekitar satu tingkat lebih dekat daripada sampel dari model yang berbeda.[ 1 ] Perbandingan ini dilaporkan dalam makalah tersebut berdasarkan konstruksi penyelidikan dan metrik jaraknya. [Kertas](https://arxiv.org/abs/2607.10252) Makalah ini juga melaporkan anomali ekosistem di mana satu titik akhir yang membawa label unggulan eksklusif secara distribusi tidak dapat dibedakan dari model Qwen terbuka.[ 1 ] Ini adalah pengamatan yang dilaporkan oleh penulis makalah, bukan uji ChinaAPI atau klaim atribusi. [Kertas](https://arxiv.org/abs/2607.10252) Hasil makalahNilai yang dilaporkan Klasifikasi keluarga model[ 1 ] Akurasi leave-one-out yang dilaporkan oleh makalah tersebut. [Kertas](https://arxiv.org/abs/2607.10252) 59.5% Garis dasar peluang[ 1 ] Data dasar acak dilaporkan bersamaan dengan hasil klasifikasi. [Kertas](https://arxiv.org/abs/2607.10252) 18.4% Verifikasi 40-cell lengkap[ 1 ] Tingkat kesalahan yang sama di bawah protokol 40-cell makalah ini. [Kertas](https://arxiv.org/abs/2607.10252) 7.3% 8-cell EER[ 1 ] Dilaporkan dengan sekitar 100 permintaan satu token; bukan jaminan rute universal. [Kertas](https://arxiv.org/abs/2607.10252) < 11% - Klasifikasi model keluarga dengan prinsip "tinggalkan satu orang": 59.5 persen. - Peluang dasar: 18.4 persen. - Tingkat kesalahan setara verifikasi 40-cell lengkap: 7.3 persen. - Tingkat kesalahan setara verifikasi 8-cell : di bawah 11 persen. Semua nilai dilaporkan oleh [Satu Token Saja Sudah Cukup](https://arxiv.org/abs/2607.10252); catatan penelitian terkait tersedia di [Zenodo](https://zenodo.org/records/21278557). ## Dari protokol penelitian hingga pengamatan rute. Versi beta tertutup ini akan mengungkap bukti yang dibutuhkan untuk mereproduksi dan menantang perbandingan tersebut. Laporan ini dirancang untuk mempertahankan konteks metode, bukan untuk mereduksi hasilnya menjadi skor yang tidak dapat dijelaskan. 01 ### Identitas protokol Parameter permintaan dan versi probe-set yang tepat. 02 ### Jendela pengambilan sampel Stempel waktu pengujian, rute, konfigurasi, dan jumlah sampel. 03 ### Catatan jawaban Respons mentah beserta kategori yang dinormalisasi. 04 ### Identitas yang dikembalikan Nama model yang diminta dan pengidentifikasi model apa pun yang dikembalikan oleh API. 05 ### Pengukuran jarak Penyimpangan Jensen-Shannon dari sidik jari referensi yang diberi versi. 06 ### Ketakpastian Interval kepercayaan, jenis anomali, dan perubahan dari jendela sebelumnya. ## Tiga bukti menyatakan, tak satu pun di antaranya merupakan tuduhan. Sesuai dengan referensi Perbedaan yang diamati tetap berada dalam rentang pengambilan sampel yang diharapkan untuk konfigurasi ini. Bukti tidak cukup Sampel atau panel tugas saat ini tidak dapat mendukung perbandingan yang andal. Sinyal ketidaksesuaian terdeteksi Beberapa sel uji independen berbeda dari sel referensi di luar ambang batas yang ditentukan. Investigasi lebih lanjut diperlukan. **Mismatch signal is not attribution.** A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it. ## Audit rute menjelaskan waktu, konfigurasi, dan perilaku—bukan identitas model yang tidak dapat diubah. - Model dapat diperbarui tanpa pemberitahuan sebelumnya, yang dapat mengubah sidik jari referensi yang sah. - Model yang sama dapat menghasilkan distribusi yang berbeda di bawah perintah sistem atau parameter pengambilan sampel yang berbeda. - Kumpulan probe publik dapat dikenali atau ditangani secara khusus oleh server. - Audit hanya dapat mengevaluasi rute, rentang waktu, dan konfigurasi yang benar-benar diuji. - Hasil audit tidak boleh digunakan untuk menuduh pihak ketiga secara terbuka tanpa bukti dan investigasi independen. ## Jangan masukkan API key pihak ketiga ke formulir ini. Versi beta pertama ini bertujuan untuk mengevaluasi permintaan yang dibuat melalui akun ChinaAPI milik peserta sendiri. Alur kerja Dasbor selanjutnya mungkin akan menawarkan kredensial uji coba yang berumur pendek dan terbatas. Halaman ini tidak akan meminta kunci jangka panjang dari penyedia lain. Rincian formulir minat digunakan untuk mengevaluasi dan menghubungi kandidat beta. Jika tidak ada hubungan beta yang dimulai, permintaan tersebut dijadwalkan untuk dihapus dalam waktu 90 hari; peserta dapat meminta penghapusan lebih awal di [solusi@ chinaapi .ai](mailto:solution@chinaapi.ai)Jika peserta bergabung, perjanjian beta yang ditampilkan sebelum pengujian akan menyatakan periode penyimpanan catatan audit dan alur kerja penghapusan. Lihat [Kebijakan Privasi](https://chinaapi.ai/privacy/). ## Bantu membentuk standar konsistensi rute yang dapat direproduksi. Sebutkan rute dan beban kerja mana yang penting. Jangan menyertakan tanda API key , isi prompt, data pelanggan, atau rahasia lainnya. [Bacalah makalah itu](https://arxiv.org/abs/2607.10252) [Buka catatan data](https://zenodo.org/records/21278557) ## Nama model adalah metadata. Perilaku adalah bukti. Bergabunglah dengan program beta privat ChinaAPI untuk membantu membentuk standar yang dapat direproduksi untuk pengujian konsistensi model-rute. [Minta akses beta pribadi](#beta) [Mulai gratis dengan kredit API $2](https://dash.chinaapi.ai/register?lang=id&utm_source=chinaapi&utm_medium=research&utm_campaign=model-consistency-audit) --- Markdown twin of https://chinaapi.ai/id/model-consistency-audit/ — generated from its canonical HTML by scripts/gen_localization_release.py. Full site reference: https://chinaapi.ai/llms-full.txt