AI ของ NVIDIA สามารถซ่อมแซมภาพโดยรู้ได้ว่าอะไรคือส่วนที่หายไป

0
https://o.aolcdn.com/images/dims?quality=100&image_uri=http%3A%2F%2Fo.aolcdn.com%2Fhss%2Fstorage%2Fmidas%2F887775834c8a199464345266fd4b1669%2F206321893%2Fnvidia-ai-photo-repair.jpg&client=cbc79c14efcebee57402&signature=085db57a71eec4eb1919c6e762046d1493fed3b9

Tool ที่ใช้แก้ไขภาพส่วนใหญ่นั้นยังไม่ได้มีความฉลาดมากนักเมื่อคุณต้องการให้ซ่อมแซมภาพ โดย Tool เหล่านั้นจะยืมเอาข้อมูลจาก pixel ที่อยู่ติดกันมาใช้ โดยตัวอย่างก็คือที่ Adobe ได้แสดงให้เห็นวิธีการเติมด้วยระบบ AI โดยใช้ context-aware หากแต่ก็จะยังไม่สามารถตัดสินได้จริงว่าอะไรคือสิ่งที่ควรจะอยู่ตรงนั้น และมันก็คงจะไม่ดีถ้าหากว่าคุณพยายามที่จะซ่อมแซมภาพเก่าๆ โดยที่คุณก็รู้อยู่ว่าอะไรหายไป ทาง NVIDIA จึงมีวิธีการแก้ไข โดยได้พัฒนาระบบ Deep Learning ที่จะสามารถซ่อมแซมภาพโดยการตัดสินใจได้ว่าอะไรควรที่จะต้องเป็นในช่องว่างที่สูญหายไป ตัวอย่างคือถ้าหากมีภาพดวงตาหายไปในภาพ portrait ดวงหนึ่ง ระบบก็สามารถรู้ที่จะใส่ภาพดวงตาลงไปถึงแม้ว่าพื้นที่ที่หายไปจะค่อนข้างคลุมเครือก็ตาม

ในความจริงแล้วก่อนหน้านี้ก็ได้มีความพยายามที่จะพัฒนาระบบ AI ที่ช่วยเติมแต่งลงในภาพได้ แต่ว่าระบบโดยทั่วไปจะมีข้อจำกัดว่าต้องเป็นในส่วนกรอบสี่เหลี่ยมเท่านั้น ทั้งยังสนใจในส่วนช่องว่างใกล้ส่วนกลางของภาพและไม่สามารถปรับขนาดตามไซส์ภาพต่างๆ ได้อีกด้วย

หากแต่ด้วยวิธีการ Partial Convolution ของ NVIDIA ที่จะช่วยรับรองว่า output ของส่วนพิกเซลที่หายไปนั้นจะไม่ได้ขึ้นอยู่กับข้อมูล input จึงทำให้สามารถทำงานได้กับหลุมช่องว่างในรูปลักษณะใดก็ได้ ขนาดใดก็ได้ หรือว่าอยู่ที่จุดใดก็ได้ และนั่นเองกลับพบว่าระบบสามารถที่จะให้ผลลัพธ์ที่ดีในหลายๆ กรณีได้อย่างไม่น่าเชื่อ ถึงแม้ว่าระบบ AI จะไม่ได้รู้อย่างแน่นอนว่าอะไรคือส่วนที่หายไป หากแต่ผลลัพธ์นั้นมักจะดูเหมือนถูกต้องจนทำให้ดูวิธีการก่อนๆ ที่ผ่านมาเหมือนจะทำงานผิดพลาดไปเลยทีเดียว

โดย NVIDIA ได้เทรนระบบโดยการสร้างข้อมูลภาพหลักหมื่นภาพที่มีส่วนที่หายไปในหลากหลายแบบ แล้วสร้างระบบ AI ที่เรียนรู้วิธีการที่จะซ่อมแซมภาพนั้นๆ กลับมา โดยระบบได้ทดสอบโดยใช้ข้อมูลหลายๆ ชุดภาพเพื่อทำให้มั่นใจว่าระบบ AI นั้นเข้าใจโดยแท้จริงในการซ่อมแซมภาพได้ด้วยตัวเอง

อย่างไรก็ดี ผลลัพธ์นั้นก็ไม่ได้ออกมาแบบไร้ที่ติ คุณอาจจะเห็นภาพหน้าคนที่ดูเหมือนไปดึงเอามาจากของใครสักคนได้เลย อีกทั้งการที่จะต้องจัดการกับส่วนภาพที่หายไปที่มีขนาดใหญ่ ก็จะทำให้ไม่มีข้อมูลเพียงพอในการซ่อมแซมให้ดูเป็นไปได้จริงด้วย หากแต่สิ่งนี้เองก็ยังคงมีประโยขน์อย่างเหลือเชื่อ โดยคุณจะสามารถซ่อมแซมภาพที่ดูเหมือนจะไร้ความหวังแล้วที่จะจัดการได้ โดยไม่ต้องใช้เวลาและแรงกายหลายชั่วโมงในการลงมือแก้ไข

นอกจากนี้ นักวิทยาศาสตร์ยังได้วาดฝันว่าระบบ AI จะสามารถซ่อมแซมภาพที่ใหญ่และละเอียดขึ้นได้โดยที่ไม่เสียความคมชัดไป ซึ่งหากทำได้ ผลก็คือจะเหลืองานให้คุณทำเพียงแค่ส่วนการแก้ไขรายละเอียดเพียงเล็กน้อยเท่านั้น ส่วนของการแก้ไขภาพโดยการสร้างใหม่จากเริ่มต้นนั้นก็จะหายไปในอีกไม่ช้า

Source : https://www.engadget.com/2018/04/24/nvidia-ai-fixes-photos/