ชุดข้อมูล
165 models · 4 languages[ 1 ]
รายงานนี้จัดทำขึ้นสำหรับการทดสอบในภาษาอังกฤษ จีน รัสเซีย และอาหรับ นี่ไม่ใช่ชุดข้อมูล ChinaAPI
กระดาษ · บันทึกข้อมูล
Research preview
Private beta proposed
โทเค็นเดียวก็เพียงพอสำหรับการตรวจสอบเส้นทางโมเดลแล้ว
วิธีการแบบกล่องดำที่เผยแพร่แล้วแสดงให้เห็นว่า การส่งออกโทเค็นเดียวซ้ำๆ สามารถสร้างลายนิ้วมือพฤติกรรมที่วัดได้ ChinaAPI กำลังสร้างต้นแบบการตรวจสอบความสอดคล้องที่ทำซ้ำได้สำหรับเส้นทาง API
ค่าใช้จ่ายในการตรวจสอบ
~100 one-token queries[ 1 ]
เอกสารนี้รายงานจำนวนคำขอโดยประมาณสำหรับโปรโตคอล 8-cell ต้นทุน API จริงและความแข็งแกร่งของหลักฐานขึ้นอยู่กับปลายทางและการกำหนดค่า
กระดาษผลการตรวจสอบ
<11% EER with 8 probe cells[ 1 ]
ผลลัพธ์ที่รายงานภายใต้ระเบียบวิธีทดลองของบทความนี้ ไม่ใช่ค่าอัตราความผิดพลาดที่รับประกันได้สำหรับเส้นทาง ข้อความแจ้งเตือน หรือผู้ให้บริการใดๆ ก็ตาม
กระดาษทำไมการตอบสนองเพียงครั้งเดียวจึงพิสูจน์อะไรไม่ได้
model ID คือเมตาเดตา คำตอบเดียวคือการสังเกตที่ไม่แม่นยำ
ชื่อต่างๆ คือการยืนยัน
ตัวระบุโมเดลจะบอกคุณว่าเส้นทางนั้นให้บริการอะไรบ้าง แต่ไม่ใช่หลักฐานที่เป็นอิสระเกี่ยวกับพฤติกรรมของเส้นทางนั้น
การสุ่มตัวอย่างเปลี่ยนแปลงผลลัพธ์
การสุ่มตัวอย่าง การอัปเดตบริการ ข้อความแจ้งเตือนของระบบ และนโยบายการกำหนดเส้นทาง ล้วนสามารถเปลี่ยนแปลงความสำเร็จของการดำเนินการได้
ความหน่วงไม่สมบูรณ์
เวลาตอบสนองสามารถบ่งบอกถึงสภาพของโครงสร้างพื้นฐานได้ แต่ไม่สามารถระบุแบบจำลองได้ด้วยตัวมันเอง
การกระจายสัญญาณ
หลักฐานที่ใช้ได้นั้นมาจากการพิจารณารูปแบบของคำตอบที่ได้รับการปรับให้เป็นมาตรฐานซ้ำๆ ไม่ใช่จากคำตอบใดคำตอบหนึ่งเพียงคำตอบเดียว
สิ่งที่เอกสารนั้นทำจริง ๆ แล้วคืออะไร
สร้างรูปแบบพฤติกรรมที่ควบคุมได้ จากนั้นเปรียบเทียบการกระจายตัวของข้อมูล
นักวิจัยใช้คำถามที่จำกัดซึ่งออกแบบมาเพื่อให้ได้คำตอบเพียงคำเดียว ทำการสุ่มตัวอย่างซ้ำ ปรับมาตรฐานหมวดหมู่คำตอบที่ได้ และเปรียบเทียบรูปแบบความน่าจะเป็นที่ได้
การแจ้งเตือนแบบจำกัด
ตั้งคำถามโดยกำหนดช่วงคำตอบที่แคบและควบคุมได้ เพื่อให้สามารถนับคำตอบที่ซ้ำกันได้อย่างสม่ำเสมอ
การสุ่มตัวอย่างซ้ำ
รวบรวมเอาต์พุตโทเค็นเดียวอิสระจำนวนมากภายใต้การตั้งค่าจุดสิ้นสุดและการสุ่มตัวอย่างที่กำหนดไว้
การทำให้คำตอบเป็นมาตรฐาน
แปลงรูปแบบพื้นผิวที่เทียบเท่ากันให้เป็นหมวดหมู่คำตอบที่มั่นคงก่อนทำการเปรียบเทียบ
การเปรียบเทียบการกระจายตัว
ตรวจสอบว่าการกระจายคำตอบสองชุดมีความใกล้เคียงกันมากกว่าที่คาดไว้สำหรับแบบจำลองที่แตกต่างกันหรือไม่
ลายนิ้วมือทางพฤติกรรม
คำตอบที่ซ้ำกันจะสร้างรูปแบบการกระจายที่คล้ายคลึงกัน
แผนผังแสดงตัวอย่าง ChinaAPI ข้อมูลการผลิต
โปรไฟล์โมเดลสามแบบ
Model A
Model B
Model C
รุ่นเดียวกัน แต่แยกตัวอย่าง
การแบ่งแบบอิสระจะคงรูปทรงที่คล้ายคลึงกัน
แบบจำลองที่แตกต่างกัน
ค่าสูงสุดและน้ำหนักของแต่ละหมวดหมู่แตกต่างกันออกไป
คำอธิบายภาพ: แผงด้านซ้ายแสดงการกระจายตัวของแท่งกราฟสามแบบที่แตกต่างกัน แผงตรงกลางแสดงการซ้อนทับของการกระจายตัวที่สุ่มตัวอย่างอย่างอิสระสองแบบจากแบบจำลองเดียวกัน และแสดงความสูงของแท่งกราฟที่คล้ายคลึงกัน แผงด้านขวาแสดงการซ้อนทับของแบบจำลองสองแบบที่แตกต่างกัน และแสดงจุดสูงสุดและน้ำหนักของแต่ละหมวดหมู่ที่แตกต่างกัน ไม่มีการแสดงค่าการวัดจริงจากแบบจำลอง
ผลการวิจัยที่สำคัญ
ลายนิ้วมือรุ่นเดียวกันยังคงอยู่ใกล้กันมากขึ้นอย่างเห็นได้ชัด
ผลการวิจัยพบว่า ลายนิ้วมือจากรถรุ่นเดียวกันจะมีความใกล้เคียงกันมากกว่าลายนิ้วมือจากรถต่างรุ่นอย่างเห็นได้ชัด
เมื่อแบ่งตัวอย่างจากรุ่นเดียวกันออกเป็นสองส่วน ลายนิ้วมือของทั้งสองส่วนจะมีความใกล้เคียงกันมากกว่าตัวอย่างจากรุ่นที่แตกต่างกันประมาณหนึ่งลำดับความใกล้เคียง การเปรียบเทียบนี้ได้ถูกรายงานไว้ในบทความภายใต้หัวข้อการสร้างโพรบและเมตริกส์ระยะทาง[ 1 ]
นอกจากนี้ เอกสารยังรายงานถึงความผิดปกติของระบบนิเวศ ซึ่งจุดสิ้นสุดจุดหนึ่งที่ใช้ป้ายกำกับผลิตภัณฑ์ที่เป็นกรรมสิทธิ์นั้น ไม่สามารถแยกแยะได้จากการกระจายตัวของโมเดล Qwen เพนซอร์ส นี่เป็นการสังเกตที่ผู้เขียนรายงานไว้ ไม่ใช่การทดสอบหรือการอ้างสิทธิ์ ChinaAPI[ 1 ]
| ผลกระดาษ | มูลค่าที่รายงาน |
|---|---|
การจำแนกประเภทตระกูลโมเดล[ 1 ]ความแม่นยำแบบ Leave-one-out ที่รายงานโดยบทความวิจัย กระดาษ | 59.5% |
โอกาสพื้นฐาน[ 1 ]รายงานค่าพื้นฐานแบบสุ่มควบคู่ไปกับผลการจำแนกประเภท กระดาษ | 18.4% |
การตรวจสอบ EER เต็ม 40-cell แบบ[ 1 ]อัตราความผิดพลาดเท่ากันภายใต้โปรโตคอลที่สมบูรณ์ของ 40-cell กระดาษ | 7.3% |
8-cell การตรวจสอบ EER[ 1 ]รายงานระบุว่ามีการร้องขอโทเค็นประมาณ 100 ครั้ง ไม่ใช่การรับประกันเส้นทางสากล กระดาษ | < 11% |
- การจัดประเภทแบบจำลองครอบครัวโดยไม่รวมสมาชิกบางส่วน: 59.5 เปอร์เซ็นต์
- โอกาสโดยบังเอิญ: 18.4 เปอร์เซ็นต์
- การตรวจสอบ 40-cell มีอัตราความผิดพลาดเท่ากับ 7.3 เปอร์เซ็นต์
- อัตราความผิดพลาดเท่ากันของการตรวจสอบ 8-cell : ต่ำกว่า 11 เปอร์เซ็นต์
ค่าทั้งหมดได้รับการรายงานโดย โทเค็นเดียวก็พอแล้ว; สามารถดูบันทึกการวิจัยที่เกี่ยวข้องได้ที่ เซโนโด.
เสนอเบต้าส่วนตัว
จากระเบียบวิธีวิจัยไปจนถึงการตรวจสอบเส้นทาง
การทดสอบเบต้าแบบส่วนตัวจะเปิดเผยหลักฐานที่จำเป็นสำหรับการจำลองและตรวจสอบความถูกต้องของการเปรียบเทียบ รายงานนี้ออกแบบมาเพื่อรักษาบริบทของวิธีการ ไม่ใช่ลดทอนผลลัพธ์ให้เหลือเพียงคะแนนที่ไม่สามารถอธิบายได้
เอกลักษณ์ของโปรโตคอล
พารามิเตอร์คำขอและเวอร์ชันชุดตรวจสอบที่แน่นอน
หน้าต่างการสุ่มตัวอย่าง
ตรวจสอบเวลาที่ทำการทดสอบ เส้นทาง การกำหนดค่า และจำนวนตัวอย่าง
บันทึกคำตอบ
คำตอบดิบพร้อมกับหมวดหมู่ที่ปรับให้เป็นมาตรฐานแล้ว
การยืนยันตัวตนที่ส่งคืน
ชื่อรุ่นที่ร้องขอและตัวระบุรุ่นใดๆ ที่ได้รับจาก API
การวัดระยะทาง
ค่าเบี่ยงเบน Jensen-Shannon จากลายนิ้วมืออ้างอิงเวอร์ชัน
ความไม่แน่นอน
ช่วงความเชื่อมั่น ประเภทความผิดปกติ และการเปลี่ยนแปลงจากช่วงเวลาก่อนหน้า
วิธีการตีความรายงาน
มีหลักฐานสามข้อ แต่ไม่มีข้อใดเป็นการกล่าวหา
สอดคล้องกับเอกสารอ้างอิง
ความแตกต่างที่สังเกตได้ยังคงอยู่ในช่วงการสุ่มตัวอย่างที่คาดไว้สำหรับการกำหนดค่านี้
หลักฐานไม่เพียงพอ
ชุดตัวอย่างหรือแผงงานปัจจุบันไม่สามารถรองรับการเปรียบเทียบที่น่าเชื่อถือได้
ตรวจพบสัญญาณความไม่ตรงกัน
เซลล์ตรวจวัดอิสระหลายเซลล์มีความแตกต่างจากเซลล์อ้างอิงเกินกว่าเกณฑ์ที่กำหนดไว้ จำเป็นต้องมีการตรวจสอบเพิ่มเติม
Mismatch signal is not attribution. A behavioral difference can identify a need to investigate. It does not, by itself, prove what changed or who caused it.
ขอบเขตของวิธีการ
การตรวจสอบเส้นทางจะอธิบายถึงเวลา การกำหนดค่า และพฤติกรรม ไม่ใช่ข้อมูลระบุตัวตนของโมเดลที่ไม่สามารถเปลี่ยนแปลงได้
- โมเดลอาจได้รับการอัปเดตโดยไม่แจ้งล่วงหน้า ซึ่งอาจทำให้ลายนิ้วมืออ้างอิงที่ถูกต้องเปลี่ยนแปลงไปได้
- แบบจำลองเดียวกันสามารถสร้างการกระจายที่แตกต่างกันได้ภายใต้เงื่อนไขการทำงานของระบบหรือพารามิเตอร์การสุ่มตัวอย่างที่แตกต่างกัน
- ชุดโพรบสาธารณะอาจได้รับการรับรู้หรือจัดการเป็นพิเศษโดยเซิร์ฟเวอร์
- การตรวจสอบสามารถประเมินได้เฉพาะเส้นทาง ช่วงเวลา และการกำหนดค่าที่ได้รับการทดสอบจริงเท่านั้น
- ผลการตรวจสอบบัญชีไม่ควรนำมาใช้กล่าวหาบุคคลที่สามต่อสาธารณะโดยปราศจากหลักฐานและการสืบสวนที่เป็นอิสระ
ขอบเขตข้อมูลเบต้า
ห้ามกรอก API key ของบุคคลที่สามในแบบฟอร์มนี้
เบต้าเวอร์ชันแรกนี้มีจุดประสงค์เพื่อประเมินคำขอที่ส่งผ่านบัญชี ChinaAPI ของผู้เข้าร่วมเอง ขั้นตอนการทำงานของแดชบอร์ดในภายหลังอาจเสนอข้อมูลรับรองการทดสอบแบบจำกัดและมีอายุสั้น หน้านี้จะไม่ขอคีย์ระยะยาวจากผู้ให้บริการรายอื่น
ข้อมูลจากแบบฟอร์มแสดงความสนใจจะถูกนำมาใช้ในการประเมินและติดต่อผู้สมัครเข้าร่วมโปรแกรมเบต้า หากไม่มีการเริ่มต้นความสัมพันธ์กับผู้เข้าร่วมเบต้า ระบบจะลบข้อมูลการสอบถามภายใน 90 วัน ผู้เข้าร่วมสามารถขอให้ลบข้อมูลก่อนกำหนดได้ที่ solution@ chinaapi .aiหากผู้เข้าร่วมรายใดเข้าร่วม ข้อตกลงเบต้าที่แสดงก่อนการทดสอบจะระบุระยะเวลาการเก็บรักษาบันทึกการตรวจสอบและขั้นตอนการลบข้อมูล โปรดดูที่... นโยบายความเป็นส่วนตัว.
ความสนใจในเบต้าส่วนตัว
ช่วยกำหนดมาตรฐานความสม่ำเสมอของเส้นทางที่สามารถทำซ้ำได้
โปรดระบุเส้นทางและปริมาณงานที่สำคัญ ห้ามใส่เครื่องหมาย API key เนื้อหาของข้อความแจ้งเตือน ข้อมูลลูกค้า หรือข้อมูลลับอื่นๆ
บทสรุปงานวิจัย
ชื่อโมเดลคือเมตาเดตา พฤติกรรมคือหลักฐาน
เข้าร่วมโปรแกรมเบต้าส่วนตัวของ ChinaAPI เพื่อช่วยกันกำหนดมาตรฐานที่สามารถทำซ้ำได้สำหรับการทดสอบความสอดคล้องระหว่างโมเดลและเส้นทาง