หลังเหตุการณ์ถ่ายทอดสดการฆ่าตัวตายในปี 2017 Facebook ได้จัดตั้งโครงการเฝ้าระวังการทำร้ายตัวเอง (Self-harm) ด้วยการใช้อัลกอริทึมปัญญาประดิษฐ์มาช่วยคาดการณ์ว่าผู้ใช้รายใดมีความเสี่ยง
อัลกอริทึม AI ที่ช่วยเฝ้าระวังนี้ทำงานด้วยการตรวจสอบเนื้อหาที่ถูกโพสต์ลง Facebook ไม่ว่าจะเป็นข้อความ รูปภาพ วิดีโอ หรือไลฟ์ และคอมเมนท์ที่อยู่ในโพสต์ดังกล่าว และทำนายออกมาว่าเนื้อหาของโพสต์นั้นสื่อถึงแนวโน้มการทำร้ายตัวเองที่กำลังจะเกิดขึ้นหรือไม่ โดยอัลกอริทึมจะทำการให้คะแนนของแต่ละโพสต์ ตั้งแต่ 0 (ไม่มีแนวโน้ม) ไปจนถึง 1 (มีแนวโน้มสูง)
หากโพสต์ใดถูกอัลกอริทึมตัดสินว่ามีแนวโน้มในการทำร้ายตัวเองสูง โพสต์นั้นก็จะถูกส่งต่อไปยังทีมงานของเฟซบุ๊คผู้จะทำการรีวิวโพสต์ในขั้นต้น และหากโพสต์นั้นดูมีความเสี่ยงจริง ก็จะถูกส่งต่อไปยังทีมงานระดับต่อไปซึ่งมีข้อมูลเกี่ยวกับผู้ใช้เจ้าของโพสต์มากกว่าทีมเดิม และเป็นผู้มีประสบการณ์ในการจัดการกับเหตุเช่นนี้ ซึ่งทีมดังกล่าวประกอบไปด้วยผู้ที่เคยทำงานด้านบังคับใช้กฎหมาย และสายด่วนป้องกันการฆ่าตัวตาย เป็นต้น
ผู้รีวิวในลำดับถัดมานี้สามารถเลือกให้ความช่วยเหลือผู้ใช้ได้ 2 แบบ คือการส่งข้อมูลเพื่อช่วยป้องกันการฆ่าตัวตายไปยังผู้ใช้ หรือการติดต่อไปยังเจ้าหน้าที่ฉุกเฉินเพื่อเข้าให้ความช่วยเหลือ
ปัจจุบันอัลกอริทึมที่ว่านี้สามารถทำงานตรวจสอบโพสตที่อยู่ในภาษาอังกฤษ สเปน โปรตุเกส และอาหรับ ซึ่งในปีที่ผ่านมา Mark Zuckerberg เผยว่าโครงการดังกล่าวได้ติดต่อส่งความช่วยเหลือผู้มีความเสี่ยงไปกว่า 3,500 รายทั่วโลก
อย่างไรก็ตาม เคยมีรายงานจาก The New York Times ว่าโครงการเฝ้าระวังการทำร้ายตัวเองดังกล่าวทำงานผิดพลาดและส่งเจ้าหน้าที่ตำรวจไปตรวจสอบผู้ใช้ที่ไม่ได้มีความคิดฆ่าตัวตายพร้อมทั้งนำส่งโรงพยาบาลเพื่อตรวจสอบสภาพจิตใจโดยไม่จำเป็น
อีกประเด็นหนึ่งที่เป็นที่กังวลกันคือประเด็นของความเป็นส่วนตัวของผู้ใช้ เนื่องจากอัลกอริทึมและทีมงานเฝ้าระวังนั้นทำงานโดยใช้ข้อมูลที่เรียกได้ว่าเป็นข้อมูลสุขภาพทางจิตของผู้ใช้ และมีการจัดเก็บข้อมูลการประเมินไว้ 30 วันแม้จะมีความเสี่ยงไม่ถึงเกณฑ์ จึงทำให้เกิดคำถามว่า การที่บริษัทเทคโนโลยีทำการตัดสินใจทางการแพทย์ด้วยข้อมูลทั่วไปโดยที่ไม่มีกรอบกฎหมายมารับรองความเป็นส่วนตัวให้กับผู้ใช้นั้นเหมาะสมแล้วหรือ?
และเพราะข้อมูลที่ Facebook ใช้งานถูกมองว่าเป็นข้อมูลทางสุขภาพจิต โครงการเฝ้าระวังการฆ่าตัวตายจึงไม่สามารถปฏิบัติการในสหภาพยุโรปได้ เพราะกฎหมาย GDPR ได้ระบุไว้อย่างชัดเจนว่าหากจะใช้งานข้อมูลที่มีความอ่อนไหว เช่น ข้อมูลเกี่ยวกับสุขภาพจิต ต้องได้รับการยินยอมอย่างเฉพาะเจาะจงจากผู้ใช้เสียก่อน
แม้ผู้เชี่ยวชาญด้านความเป็นส่วนตัวและสาธารณะสุขหลายรายจะออกมาให้ความเห็นว่าโครงการดังกล่าวของเฟซบุ๊คเป็นโครงการที่ดีและมีศักยภาพในการช่วยเเหลือผู้ใช้ ผู้เชี่ยวชาญหลายท่านก็ได้เสนอว่าเฟซบุ๊คควรเปิดโอกาสให้ผู้ใช้เลือกเปิดใช้บริการเฝ้าระวังนี้ด้วยความยินยอมขอตัวเอง หรืออย่างน้อยๆก็ควรมีทางเลือกให้ออก (Opt out) จากการเฝ้าระวังได้
ด้าน Facebook ก็ได้ออกมาแถลงการว่าจากการคาดคำนวณของพวกเขา ความเสี่ยงในการถูกรุกล้ำความเป็นส่วนตัวนั้นคุ้มที่จะแลกกับการป้องกันการฆ่าตัวตาย และ Facebook เองก็มีมาตรการเกี่ยวกับความเป็นส่วนตัวที่ตั้งขึ้นเพื่อรองรับโครงการนี้ เพื่อสร้างสมดุลที่ดีระหว่างความเป็นส่วนตัวและความปลอดภัยของผู้ใช้