การทำความเข้าใจการรับรู้เกี่ยวกับโทโพโลยีในเครือข่ายประสาทเทียมแบบกราฟ: ผลกระทบต่อการสรุปทั่วไปและโครงสร้าง

ผู้แต่ง: (1) Junwei Su ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัยฮ่องกง และ jwsu@cs.hku.hk (2) Chuan Wu ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัยฮ่องกง และ cwu@cs.hku.hk ตารางลิงค์ บทคัดย่อและบทนำ 1 2 งานที่เกี่ยวข้อง 3. กรอบงาน ผลลัพธ์หลัก 4 ประการ 5 กรณีศึกษาเกี่ยวกับระยะทางเส้นทางสั้นที่สุด 6 บทสรุปและการอภิปราย และเอกสารอ้างอิง 7 การพิสูจน์ทฤษฎีบท 1 8 การพิสูจน์ทฤษฎีบท 2 9 ขั้นตอนการแก้สมการ (6) รายละเอียดและผลลัพธ์การทดลองเพิ่มเติม 10 รายการ 11 แอปพลิเคชันที่มีศักยภาพอื่น ๆ เชิงนามธรรม ปัญหาคอมพิวเตอร์วิชันและการเรียนรู้ของเครื่องจำนวนมากถูกสร้างแบบจำลองเป็นงานการเรียนรู้บนกราฟ โดยที่เครือข่ายประสาทเทียมกราฟ (GNN) ได้กลายมาเป็นเครื่องมือหลักในการเรียนรู้การแสดงข้อมูลที่มีโครงสร้างกราฟ คุณลักษณะสำคัญของ GNN คือการใช้โครงสร้างกราฟเป็นอินพุต ทำให้สามารถใช้ประโยชน์จากคุณสมบัติทางโทโพโลยีที่มีอยู่ในกราฟได้ ซึ่งเรียกว่าการรับรู้โทโพโลยีของ GNN แม้ว่า GNN จะประสบความสำเร็จในเชิงประจักษ์ แต่อิทธิพลของการรับรู้โทโพโลยีต่อประสิทธิภาพการสรุปทั่วไปยังคงไม่ได้รับการสำรวจ โดยเฉพาะสำหรับงานระดับโหนดที่เบี่ยงเบนไปจากสมมติฐานที่ว่าข้อมูลนั้นเป็นอิสระและกระจายเหมือนกัน (IID) คำจำกัดความและลักษณะเฉพาะของการรับรู้โทโพโลยีของ GNN ที่ชัดเจน โดยเฉพาะอย่างยิ่งเกี่ยวกับคุณลักษณะทางโทโพโลยีที่แตกต่างกันนั้นยังคงไม่ชัดเจน เอกสารนี้แนะนำกรอบงานที่ครอบคลุมเพื่อกำหนดลักษณะการรับรู้โทโพโลยีของ GNN ทั่วคุณลักษณะทางโทโพโลยีใดๆ โดยใช้กรอบงานนี้ เราจะตรวจสอบผลกระทบของการรับรู้โทโพโลยีต่อประสิทธิภาพการสรุปทั่วไปของ GNN ตรงกันข้ามกับความเชื่อที่แพร่หลายว่าการเพิ่มการรับรู้เกี่ยวกับโทโพโลยีของ GNN นั้นมีประโยชน์เสมอ การวิเคราะห์ของเราเผยให้เห็นข้อมูลเชิงลึกที่สำคัญ: การปรับปรุงการรับรู้เกี่ยวกับโทโพโลยีของ GNN อาจนำไปสู่การสรุปที่ไม่เป็นธรรมในกลุ่มโครงสร้างโดยไม่ได้ตั้งใจ ซึ่งอาจไม่เป็นที่ต้องการในบางสถานการณ์ นอกจากนี้ เรายังดำเนินการศึกษาเฉพาะกรณีโดยใช้เมตริกกราฟภายใน ซึ่งคือระยะทางเส้นทางที่สั้นที่สุด บนชุดข้อมูลเกณฑ์มาตรฐานต่างๆ ผลเชิงประจักษ์ของกรณีศึกษานี้ยืนยันข้อมูลเชิงลึกทางทฤษฎีของเรา นอกจากนี้ เรายังแสดงให้เห็นถึงความสามารถในการนำไปใช้จริงของกรอบงานของเราโดยใช้กรอบงานดังกล่าวเพื่อแก้ปัญหาการเริ่มต้นแบบเย็นในการเรียนรู้เชิงแอ็คทีฟของกราฟ 1 บทนำ ปัญหาจำนวนมากในการมองเห็นด้วยคอมพิวเตอร์และการเรียนรู้ของเครื่องถูกสร้างแบบจำลองเป็นงานการเรียนรู้บนกราฟ ตัวอย่างเช่น ในการแบ่งส่วนความหมาย กราฟจะสร้างแบบจำลองความสัมพันธ์ระหว่างภูมิภาคของภาพต่างๆ เพื่อเพิ่มความแม่นยำและการแบ่งส่วนตามบริบท เครือข่ายประสาทเทียมกราฟ (GNN) ได้กลายมาเป็นคลาสที่โดดเด่นของโมเดลการเรียนรู้ของเครื่องที่ออกแบบมาโดยเฉพาะสำหรับการเรียนรู้การแสดงข้อมูลที่มีโครงสร้างกราฟ เครือข่ายประสาทเทียมกราฟได้แสดงให้เห็นถึงความสำเร็จอย่างมากในการแก้ไขปัญหาที่เกี่ยวข้องกับกราฟในหลากหลายโดเมน เช่น เคมี [10] ชีววิทยา [37] เครือข่ายสังคม [6, 22] การสร้างกราฟฉาก [46, 51] และการตรวจจับความสัมพันธ์ทางภาพ [24,43,49] ลักษณะเฉพาะของ GNN คือการใช้แนวทางเชิงพื้นที่ผ่านการส่งข้อความบนโครงสร้างกราฟเพื่อรวมคุณลักษณะ ซึ่งทำให้ GNN สามารถรักษาข้อมูลเชิงโครงสร้างหรือความสัมพันธ์ (เรียกว่าการรับรู้โทโพโลยี) จากโครงสร้างกราฟพื้นฐาน ทำให้มีประสิทธิภาพสูงในการทำงาน เช่น การจำแนกโหนด รูปที่ 1 แสดงกระบวนการเรียนรู้โดยรวมของ GNN แม้จะมีความเหมาะสมและมีศักยภาพ แต่ความเข้าใจทางทฤษฎีเกี่ยวกับ GNN ยังคงขาดหายไป โดยเฉพาะอย่างยิ่งในการตั้งค่าการจำแนกประเภทโหนดแบบกึ่งมีผู้ดูแล ซึ่งความสัมพันธ์ระหว่างข้อมูลนั้นแตกต่างกันอย่างมากจากโมเดลการเรียนรู้ของเครื่องอื่น ๆ [25] ในการตั้งค่านี้ เป้าหมายคือการใช้ประโยชน์จากความสัมพันธ์ที่จับภาพได้จากโครงสร้างกราฟ ระหว่างข้อมูลและชุดโหนดที่มีป้ายกำกับขนาดเล็กเพื่อทำนายป้ายกำกับสำหรับโหนดที่เหลือ การศึกษาทางทฤษฎีที่มีอยู่ส่วนใหญ่เกี่ยวกับ GNN มุ่งเน้นไปที่ความเชื่อมโยงระหว่างกลไกการส่งข้อความของ GNN และการทดสอบไอโซมอร์ฟิซึมของ Weisfeiler-Lehman [19] โดยมุ่งหวังที่จะทำความเข้าใจความสามารถของ GNN ในการแยกแยะโครงสร้างกราฟที่แตกต่างกันในการแสดงที่เรียนรู้ ซึ่งเรียกว่าพลังแสดงออกของ GNN จากแรงบันดาลใจจากการศึกษาการแสดงออก เชื่อกันโดยทั่วไปว่าการเพิ่มความตระหนักรู้เกี่ยวกับโทโพโลยีเป็นประโยชน์สากล และการศึกษามากมายมุ่งเน้นไปที่การทำให้ GNN สามารถรักษาคุณสมบัติเชิงโครงสร้างได้มากขึ้นในการแสดงที่เรียนรู้ [29, 33, 48] อย่างไรก็ตาม เนื่องจาก GNN พึ่งพาและรับรู้โครงสร้างกราฟมากขึ้นในฐานะอินพุต GNN จึงอาจแสดงประสิทธิภาพการสรุปผลที่แตกต่างกันต่อกลุ่มย่อยโครงสร้างบางกลุ่ม (ชุดข้อมูลย่อยที่แตกต่างกันซึ่งจัดกลุ่มตามความคล้ายคลึงของโครงสร้างกับชุดฝึกอบรม) ภายในข้อมูล การวัดปริมาณการสรุปผล GNN ในกลุ่มย่อยโครงสร้างที่แตกต่างกันเรียกว่าการสรุปผลกลุ่มย่อยโครงสร้าง [25] การพิจารณาเหล่านี้มีความสำคัญอย่างยิ่งในการประยุกต์ใช้และการพัฒนา GNN ตัวอย่างเช่น ภายในเครือข่ายปฏิสัมพันธ์ระหว่างโปรตีน-โปรตีน กลุ่มย่อยโครงสร้างเหล่านี้อาจแสดงถึงคอมเพล็กซ์โมเลกุลที่แตกต่างกัน ซึ่งส่งผลต่อความแม่นยำของการคาดการณ์ปฏิสัมพันธ์ ในทำนองเดียวกัน การทำความเข้าใจว่าการรับรู้โทโพโลยีของ GNN มีอิทธิพลต่อการสรุปผลอย่างไรนั้นมีความจำเป็นเมื่อออกแบบกลยุทธ์การสุ่มตัวอย่างสำหรับการฝึกอบรม ขอบเขตที่ประสิทธิภาพการสรุปผล GNN ได้รับอิทธิพลจากคุณลักษณะโครงสร้างเฉพาะของข้อมูลกราฟนั้นมีความสำคัญในการตัดสินใจเลือกชุดข้อมูลฝึกอบรม แม้จะมีความสำคัญ แต่ความเข้าใจในความสัมพันธ์ระหว่างการรับรู้โทโพโลยีของ GNN และการสรุปผลกลุ่มย่อยโครงสร้างยังคงขาดหายไป ยิ่งไปกว่านั้น การกำหนดลักษณะการรับรู้เกี่ยวกับโทโพโลยีของ GNN ถือเป็นความท้าทาย โดยเฉพาะอย่างยิ่งเมื่อพิจารณาว่าโดเมนและงานที่แตกต่างกันอาจให้ความสำคัญกับลักษณะโครงสร้างที่แตกต่างกัน ดังนั้น จึงจำเป็นต้องมีกรอบการทำงานที่มีความยืดหยุ่นเพื่อประเมินการรับรู้เกี่ยวกับโทโพโลยีของ GNN ที่เกี่ยวข้องกับโครงสร้างต่างๆ เพื่อแก้ไขช่องว่างนี้ ในเอกสารฉบับนี้ เราเสนอกรอบงานใหม่โดยอิงจากการฝังเมตริกโดยประมาณเพื่อศึกษาความสัมพันธ์ระหว่างการสรุปกลุ่มย่อยเชิงโครงสร้างและการรับรู้โทโพโลยีของ GNN ในบริบทของการจำแนกโหนดแบบกึ่งกำกับดูแล กรอบงานที่เสนอนี้ช่วยให้สามารถตรวจสอบการสรุปกลุ่มย่อยเชิงโครงสร้างของ GNN ที่เกี่ยวข้องกับกลุ่มย่อยเชิงโครงสร้างที่แตกต่างกันได้ โดยสรุปผลงานหลักของงานนี้ได้ดังนี้ 1. เราเสนอกรอบงานใหม่ที่ไม่ขึ้นกับโครงสร้างโดยใช้การฝังเมตริกโดยประมาณเพื่อตรวจสอบปฏิสัมพันธ์ระหว่างการสรุปกลุ่มโครงสร้างของ GNN และการรับรู้เกี่ยวกับโทโพโลยี กรอบงานนี้มีความยืดหยุ่น รองรับการวัดโครงสร้างต่างๆ เช่น ระยะทางเส้นทางที่สั้นที่สุด และต้องการเพียงการวัดโครงสร้างที่สอดคล้องกัน ความเรียบง่ายในการประมาณปัจจัยหลักทำให้กรอบงานนี้สามารถนำไปใช้และสรุปเป็นภาพรวมได้ในสถานการณ์ต่างๆ มากมาย 2. ผ่านการวิเคราะห์อย่างเป็นทางการภายในกรอบงานของเรา เราสร้างความเชื่อมโยงที่ชัดเจนระหว่างการรับรู้โทโพโลยี GNN และประสิทธิภาพการสรุปผลทั่วไป (ทฤษฎีบท 1) นอกจากนี้ เรายังแสดงให้เห็นด้วยว่า แม้ว่าการรับรู้โทโพโลยีที่เพิ่มขึ้นจะส่งเสริมการแสดงออกของ GNN แต่ก็อาจส่งผลให้ประสิทธิภาพการสรุปผลทั่วไปไม่สม่ำเสมอ ส่งผลให้กลุ่มย่อยมีความคล้ายคลึงกันในเชิงโครงสร้างมากขึ้นกับชุดการฝึก (ทฤษฎีบท 2) คุณสมบัติเชิงโครงสร้างดังกล่าวอาจเป็นอันตราย (ทำให้เกิดปัญหาความไม่เป็นธรรม) หรือเป็นประโยชน์ (แจ้งการตัดสินใจในการออกแบบ) ขึ้นอยู่กับสถานการณ์ สิ่งนี้ท้าทายความเชื่อที่แพร่หลายว่าการรับรู้โทโพโลยีที่เพิ่มขึ้นนั้นเป็นประโยชน์ต่อ GNN ทั่วไป [29, 33, 48] โดยเน้นย้ำถึงความสำคัญของการพิจารณาความสัมพันธ์ระหว่างการรับรู้โทโพโลยีและประสิทธิภาพการสรุปผลทั่วไป 3. เราตรวจสอบกรอบงานของเราผ่านกรณีศึกษาเกี่ยวกับระยะทางเส้นทางที่สั้นที่สุด โดยเน้นย้ำถึงความเหมาะสมและความเกี่ยวข้องของกรอบงาน ผลลัพธ์ยืนยันการค้นพบทางทฤษฎีของเรา โดยแสดงให้เห็นว่า GNN ที่มีความตระหนักรู้เกี่ยวกับระยะทางเส้นทางที่สั้นที่สุดสูงขึ้นนั้นมีความโดดเด่นในการจัดกลุ่มจุดยอดที่ใกล้กับชุดการฝึกมากขึ้น นอกจากนี้ เรายังสาธิตให้เห็นถึงวิธีการนำการค้นพบของเราไปใช้เพื่อบรรเทาปัญหาการเริ่มต้นแบบเย็นในการเรียนรู้เชิงรุกของกราฟ [11,15] โดยเน้นถึงผลกระทบในทางปฏิบัติของกรอบงานและผลลัพธ์ของเรา เอกสารนี้ ภายใต้ใบอนุญาต CC BY 4.0 DEED เผยแพร่บน arxiv