VOID สุดยอดโมเดล AI แก้ไขวีดีโอตัวใหม่สมจริงเนียนกริบจาก Netflix
Netflix เปิดตัว VOID เฟรมเวิร์ก AI ตัดต่อวิดีโอที่ลบวัตถุพร้อมคำนวณแรงกระทบตามฟิสิกส์ เพิ่มความสมจริงถึง 64.8% ทิ้งห่างโมเดลเดิม
ปกติเราคุ้นเคยกับ Netflix ในฐานะสตรีมมิ่งแพลตฟอร์มและผู้ผลิตสื่อบันเทิง แต่ล่าสุดพวกเขาเปิดตัว Video Object and Interaction Deletion หรือ VOID เป็นเฟรมเวิร์ก AI สำหรับการตัดต่อวีดีโอประสิทธิภาพสูง ที่ไม่เพียงแก้ไขด้วยการลบวัตถุ แต่สามารถชดเชยผลกระทบทางฟิสิกส์ที่เกิดในวีดีโอได้
เดิมการใช้ AI ลบวัตถุออกจากภาพหรือวีดีโอ สิ่งทรี่เกิดคือบุคคลดังกล่าวจะถูกลบให้หายไปและถมด้วยพิกเซลให้แนบเนียน แต่การเคลื่อนไหวของวัตถุทั้งหมดภายในวีดีโอยังคงเดิม ทำให้เมื่อนำมาเปิดซ้ำจมีช่วงวัตถุที่ขาดหาย เช่น วีดีโอการผลักของชิ้นแรกล้มไปโดนชิ้นที่สองแล้วไปโดนชิ้นที่สามล้ม หากลบวัตถุชิ้นที่สองออกจะให้วัตถุชิ้นที่สามล้มโดยไม่ทราบสาเหตุ
ในขณะที่ VOID ทำงานไม่เหมือนกัน ในกรณีคลิปวีดีโอดังกล่าวเมื่อทำการลบวัตถุชิ้นที่สองออก AI จะคำนวณผลกระทบทราตามมาหลังจากนั้นภายในคลิป ทำให้เมื่อเกิดการลบวัตถุชิ้นที่สองด้วย VOID ภายในวีดีโออาจไม่มีการล้มของวัตถุชิ้นที่สามเกิดขึ้น เนื่องจากไม่มีแรงกระทำเกิดภายในภาพ
เบื้องหลังขีดความสามารถนี้เกิดจากการผสานเทคโนโลยีขั้นสูงอย่าง Gemini โมเดลเรือธงของ Google เพื่อทำความเข้าใจเนื้อหา วิเคราะห์บริบทและทำความเข้าใจผลกระทบของวัตถุที่เกิดภายในภาพ จากนั้นจึงใช้ SAM2 ของ Meta ในการรับรู้ขอบเขตที่ต้องการลบ แล้วสร้างวีดีโอใหม่ด้วยโมเดล Video Diffusion ให้สอดคล้องกับฟิสิกส์อย่างสมจริง
ในด้านการทดสอบนับว่า VOID ได้รับการประเมินในระดับสูง ได้รับคะแนนความสมจริงในระดับ 64.8% ทิ้งห่างเทคโนโลยีและโมเดลอื่นที่ถูกเปิดตัวก่อนหน้านี้อย่าง Runaway ที่ 18.4% นี่เป็นผลจากการลงทุนทางด้าน AI ของ Netflix อาจช่วยให้ต้นทุนการถ่ายทำและผลิตสื่อน้อยลง แม้จะต้องใช้การ์จดประสิทธิภาพสูงมากในการใช้งานก็ตาม
ปัจจุบัน VOID เปิดให้ใช้งานและเข้าถึงได้ ผ่านช่องทางโอเพนซอร์สทั่วไป