การทดสอบการเชื่อมต่อโมเดล
ไม่ใช่ทุกโมเดลภาษาที่เหมาะกับ Klacksy — โมเดลต้องสามารถส่งการเรียกฟังก์ชันที่มีโครงสร้างได้อย่างเชื่อถือได้ แทนที่จะตอบกลับเป็นข้อความร้อยแก้ว ที่ การตั้งค่า > การตรวจสอบโมเดลของ Klacksy Klacks จะทดสอบเรื่องนี้โดยอัตโนมัติสำหรับโมเดลที่กำหนดค่าไว้ทั้งหมด
วิธีการทำงาน
การทดสอบ: การคลิกปุ่ม "ค้นหาโมเดลที่ดีที่สุด" จะส่งงานทดสอบเล็ก ๆ ชิ้นเดียวกันไปยังทุกโมเดลที่กำหนดค่าไว้ (รวมถึงโมเดลที่ปิดใช้งานอยู่ด้วย) คือ "สร้างพนักงานใหม่ชื่อ Anna Müller" โมเดลต้องตอบกลับด้วยการเรียกฟังก์ชันที่มีโครงสร้างถูกต้องและพารามิเตอร์ชื่อที่ถูกต้อง ไม่ใช่ตอบกลับเป็นข้อความธรรมดา นอกจากนี้หน้าต่างบริบทต้องมีขนาดอย่างน้อย 32,000 โทเคน เพื่อให้ system prompt และความสามารถของ Klacksy ใส่เข้าไปได้พอดี การทดสอบแต่ละครั้งมีเวลาจำกัด 30 วินาที
ผลลัพธ์: โมเดลที่ผ่านทั้งสองเกณฑ์จะถือว่า "เหมาะสม" และถูกเปิดใช้งานโดยอัตโนมัติ ส่วนโมเดลที่ไม่เหมาะสมจะถูกปิดใช้งาน รายการผลลัพธ์จะถูกเรียงลำดับตามความเหมาะสมก่อน ตามด้วยความสามารถในการเรียกฟังก์ชัน ต้นทุน ความหน่วง และขนาดหน้าต่างบริบท
การตั้งโมเดลมาตรฐาน: ผ่านปุ่ม "ตั้งเป็นค่ามาตรฐาน" คุณสามารถเลือกได้โดยตรงจากรายการผลลัพธ์ว่าโมเดลใดที่ Klacksy จะใช้เป็นค่ามาตรฐานต่อจากนี้ หากคุณไม่เลือกเอง Klacks จะตั้งโมเดลที่เหมาะสมที่สุดเป็นค่ามาตรฐานให้โดยอัตโนมัติ
ข้อมูลที่ควรทราบ
- การทดสอบจะตรวจสอบโมเดลที่บันทึกไว้ทั้งหมด ไม่ใช่เฉพาะที่เปิดใช้งานอยู่เท่านั้น — แม้แต่โมเดลที่ปิดใช้งานอยู่ก่อนหน้านี้ก็สามารถถูกเปิดใช้งานได้หากผ่านการทดสอบ
- การผ่านการทดสอบไม่ได้เป็นการป้องกันเรื่องต้นทุน — โมเดลที่มีราคาแพงแต่เหมาะสมก็จะถูกเปิดใช้งานเช่นกัน ต้นทุนต่อ 1,000 โทเคนแสดงอยู่ในรายการผลลัพธ์
- การทดสอบนี้ออกแบบมาโดยเฉพาะสำหรับการเรียกฟังก์ชันเพื่อความสามารถในการลงมือทำงาน และแยกจากการตรวจสอบโมเดลในการตั้งค่าเสียง ซึ่งยอมรับหน้าต่างบริบทที่เล็กกว่าได้ เพราะใช้เพียงเพื่อการปรับแต่งข้อความถอดเสียงเท่านั้น
ลองใช้งานได้ทันที: Klacks Playground — เข้าสู่ระบบด้วย admin@test.com / P@ssw0rt1 ข้อมูลจะถูกรีเซ็ตทุกวัน