posttoday

คะแนนสอบเนติบัณฑิตแสดงให้เห็นว่า AI สามารถเอาชนะ 'นักกฎหมายมนุษย์' ได้

16 มีนาคม 2566

ผลการศึกษาใหม่ที่เผยแพร่เมื่อวันพุธ แสดงให้เห็นว่า ปัญญาประดิษฐ์สามารถเอาชนะผู้สำเร็จการศึกษาจากโรงเรียนกฎหมายส่วนใหญ่ในการสอบเนติบัณฑิตได้ จากการทดสอบทนายความเป็นเวลา 2 วันจะต้องผ่านเพื่อประกอบวิชาชีพกฎหมายในสหรัฐอเมริกา

GPT-4 ซึ่งเป็นโมเดล AI ที่ได้รับการอัปเกรดซึ่งเปิดตัวในสัปดาห์นี้โดย OpenAI ที่ได้รับการสนับสนุนจากMicrosoft ได้คะแนน 297 ในการสอบเนติบัณฑิต ในการทดลองที่ดำเนินการโดยอาจารย์กฎหมายสองคนและพนักงานสองคนของบริษัทเทคโนโลยีทางกฎหมาย Casetext

 

นักวิจัยพบว่า GPT-4 อยู่ในอันดับ 90 % แรกของผู้สอบจริง และเพียงพอที่จะได้รับการยอมรับในการปฏิบัติงานด้านกฎหมายในรัฐส่วนใหญ่

 

การสอบเนติบัณฑิตจะประเมินความรู้และการใช้เหตุผล รวมถึงเรียงความและการทดสอบประสิทธิภาพเพื่อจำลองการทำงานด้านกฎหมาย ตลอดจนคำถามแบบปรนัย

 

งานวิจัยระบุว่า

“แบบจำลองภาษาขนาดใหญ่สามารถตอบสนองมาตรฐานที่ใช้กับนักกฎหมายที่เป็นมนุษย์ในเขตอำนาจศาลเกือบทั้งหมดในสหรัฐอเมริกา โดยจัดการกับงานที่ซับซ้อนซึ่งต้องใช้ความรู้ด้านกฎหมายอย่างลึกซึ้ง ความเข้าใจในการอ่าน และความสามารถในการเขียน”

 

นักวิจัยสรุปว่าเมื่อไม่ถึง 4 เดือนที่ผ่านมา ChatGPT โมเดลภาษาขนาดใหญ่ก่อนหน้านี้ของ OpenAI ไม่ผ่านเกณฑ์การสอบเนติบัณฑิต แสดงให้เห็นว่าเทคโนโลยีมีการปรับปรุงอย่างรวดเร็วเพียงใด

 

GPT-4 รุ่นใหม่ทำคะแนนได้เกือบ 76% ในคำถามแบบปรนัยของข้อสอบเนติบัณฑิต เพิ่มขึ้นจากประมาณ50% สำหรับ ChatGPT ซึ่งมีประสิทธิภาพดีกว่าผู้สอบทั่วไปที่เป็นมนุษย์มากกว่า 7%

 

ขณะที่คณะกรรมการผู้ตรวจสอบเนติบัณฑิตแห่งชาติ ซึ่งออกแบบข้อสอบส่วนปรนัย กล่าวในแถลงการณ์เมื่อวันพุธว่า ทนายความมีทักษะเฉพาะตัวที่ได้รับจากการศึกษาและประสบการณ์ที่ "AI ไม่สามารถเทียบได้ในขณะนี้"

 

Daniel Martin Katz นักวิจัยร่วม ซึ่งเป็นศาสตราจารย์ที่วิทยาลัยกฎหมายชิคาโก-เคนต์ กล่าวในการให้สัมภาษณ์ว่าเขารู้สึกประหลาดใจมากที่สุดกับความสามารถของ GPT-4 ในการสร้างเรียงความที่เกี่ยวข้องและสอดคล้องกันเป็นส่วนใหญ่ 

 

“ผมได้ยินคนมากมายพูดว่า ‘มันอาจจะได้ทำข้อสอบแบบหลายตัวเลือกได้ แต่มันจะไม่มีทางผ่านในการเขียนเรียงความเลย’” 

 

AI ยังทำงานได้ดีในการทดสอบมาตรฐานอื่นๆ เช่น SAT และ GRE แต่การสอบเนติบัณฑิตได้รับความสนใจมากกว่า OpenAI ทำข้อสอบเนติบัณฑิตผ่าน ในขณะที่มีการประกาศโมเดลล่าสุดในวันอังคาร

 

Sean Silverman ติวเตอร์สอบเนติบัณฑิตระบุว่าการสอบเนติบัณฑิตเป็นเรื่องยากที่รับรู้กันทั่วไป อัตราการผ่านการสอบใบอนุญาตทนายความครั้งแรกของปีนี้คือ 78% ในกลุ่มผู้สอบที่ใช้เวลาสามปีในโรงเรียนกฎหมาย

 

Silverman กล่าวว่าผู้คนอาจรู้สึกประทับใจน้อยกว่านี้ หากรู้ว่า AI สามารถผ่านการทดสอบที่ออกแบบมาสำหรับเด็กมัธยม เช่น SAT "แทนที่จะเป็นการทดสอบเพื่อเป็นทนายความ"