ปัจจุบันโมเดลที่ถ่ายโอนสไตล์ (Style Transfer) นั้นเป็นเรื่องที่ใหญ่และต้องการทรัพยากรในการประมวลผลอย่างยิ่งใหม่เพื่อที่จะทำให้ได้ผลลัพธ์ได้สำเร็จตามที่ต้องการ ซึ่งในการเร่งให้เครื่องมือที่ดำเนินการในการสร้างการถ่ายโอนสไตล์นั้นเป็นสิ่งที่กำลังนำมาใช้งานกันอย่างแพร่หลาย จึงทำให้นักวิจัยจาก NVIDIA และมหาวิทยาแคลิฟอร์เนีย เมอร์เซด (University of California, Merced) จึงได้ร่วมกันสร้างอัลกอริทึม deep learning ใหม่เพื่อทำเรื่องการถ่ายโอนสไตล์ที่มีความรวดเร็วและประสิทธิภาพดี
ในงานวิจัยนี้นำโดยคุณ Sifei Liu และคุณ Xueting Li จาก NVIDIA ได้วิเคราะห์อัลกอริทึมการถ่ายโอนสไตล์และส่วนต่อขยายที่มีมา ซึ่งสรุปได้ว่าแม้อัลกอริทึมที่มีอยู่ปัจจุบันจะสามารถดำเนินการได้ดี หากแต่พวกเขาไม่สามารถที่จะค้นหาโซลูชันที่เบ็ดเสร็จในการแปลงทั้งแมตริกซ์ (matrices) และยังมีข้อจำกัดขีดความสามารถในการนำไปใช้กับแอปพลิเคชันที่หลากหลายมากยิ่งขึ้น อย่างเช่น การปรับสไตล์ของรูปภาพเหมือนจริงและวีดีโอ
เพื่อที่จะจำลองประสิทธิภาพที่ดีของอัลกอริทึม นักวิจัยได้ทดสอบวิธีการของพวกเขางานของการถ่ายโอนสไตล์ 4 อย่าง ได้แก่ การถ่ายโอนสไตล์ของศิลปะ (artistic style transfer) วีดีโอและรูปภาพเหมือนจริง (video and photo-realistic style transfer) และประยุกต์ในโดเมน (domain adaptation)
“อัลกอริทึมของพวกเรานั้นมีประสิทธิภาพในการประมวลผล ยืดหยุ่นกับสไตล์หลากหลายแบบ และมีประสิทธิภาพในการปรับสไตล์ของภาพและวีดีโอ” นักวิจัยกล่าวในงานตีพิมพ์ “โดยปกติผู้คนจะใช้เพียงการถ่ายโอนสไตล์สำหรับวัตถุประสงค์ในเชิงศิลปะเท่านั้น แต่ตอนนี้คนจะสามารถใช้โมเดลนี้ในการทำภาพให้เสมือนจริงได้แล้ว” คุณ Liu อธิบาย
โดยทีมวิจัยใช้เฟรมเวิร์ก PyTorch ในการเทรนโครงข่าย Convolutional Neural Network บนภาพ 80,000 ภาพที่เป็นรูปของคน ฉากทิวทัศน์ สัตว์ และวัตถุเคลื่อนที่ ซึ่งภาพต่างๆ มากจากข้อมูล dataset WikiArt และ MS-COCO
“อัลกอริทึมของพวกเรานั้นนอกจากมีประสิทธิภาพสูงแล้วยังยืดหยุ่นต่อการผสมผสานสไตล์ในหลายๆ ระดับได้ ในขณะที่ยังเก็บข้อมูลดั้งเดิมไว้ระหว่างกระบวนการถ่ายโอนสไตล์” นักวิจัยกล่าว
“โซลูชันของพวกเรานั้นทำให้ผู้ใช้สามารถปรับวีดีโอได้ real-time ซึ่งคุณสามารถใช้รูปแบบที่หลากหลายที่จะค้นหาสไตล์ที่ทำงานของคุณให้ดีที่สุดได้” คุณ Liu อธิบาย
“ผลการทดลองจำลองให้เห็นว่าอัลกอริทึมที่นำเสนอนั้นสามารถดำเนินการได้สวยงานกว่าวิธีการ state-of-the-art ในเรื่องการถ่ายโอนสไตล์ของวีดีโอและภาพในปัจจุบัน” ทีมงานอธิบายในงานตีพิมพ์
“ฉันคิดว่าสิ่งนี้จะช่วยทำให้ผู้จัดเนื้อหา producer สามารถสร้างได้มากขึ้น บางทีคนที่อาจจะไม่ได้เก่งในการแต่งภาพอาจจะใช้การถ่ายโอนสไตล์เพื่อสร้างศิลปะขึ้นมาได้” คุณ Liu กล่าว “ฉันหวังว่าการถ่ายโอนสไตล์ที่ทำได้อย่าง real-time นี้จะมีความโดดเด่นขึ้นมาในแอปพลิเคชันในชีวิตจริงได้ ลองคุณดูว่าถ้าคุณสามารถนำมันไปใส่ไว้ใน VR headset และดำเนินการ render ได้แบบ real time” เขากล่าวเพิ่มเติม
