วิธีใหม่ในการฝึก AI บนข้อมูลกราฟโดยไม่ต้องมีการกำกับดูแล

ผู้เขียน: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang บทคัดย่อ ความหลากหลายของเนื้อหาในเครือข่ายข้อมูลต่างๆ เช่น เครือข่ายสังคมและเครือข่ายการสื่อสาร ทำให้มีศักยภาพที่ไม่เคยมีมาก่อนในการเรียนรู้การแสดงผลที่มีคุณภาพสูงโดยไม่ต้องมีการกำกับดูแลภายนอก บทความนี้จะสำรวจวิธีการรักษาและสกัดข้อมูลจำนวนมากจากข้อมูลที่มีโครงสร้างแบบกราฟไปยังพื้นที่การฝังแบบไม่มีการกำกับดูแล เพื่อให้บรรลุเป้าหมายนี้ เราเสนอแนวคิดใหม่ Graphical Mutual Information (GMI) เพื่อวัดความสัมพันธ์ระหว่างกราฟอินพุตและการแสดงผลระดับสูงที่ซ่อนอยู่ GMI ขยายแนวคิดของการคำนวณ mutual information แบบเดิมจากปริภูมิเวกเตอร์ไปยังโดเมนกราฟ ซึ่งการวัด mutual information จากทั้งลักษณะของโหนดและโครงสร้างโทโพโลยีเป็นสิ่งจำเป็น GMI มีข้อดีหลายประการ: ประการแรก มันไม่เปลี่ยนแปลงภายใต้การแปลงแบบ isomorphic ของกราฟอินพุต ซึ่งเป็นข้อจำกัดที่หลีกเลี่ยงไม่ได้ในอัลกอริทึมการเรียนรู้การแสดงผลกราฟที่มีอยู่มากมาย นอกจากนี้ ยังสามารถประมาณและเพิ่มประสิทธิภาพได้อย่างมีประสิทธิภาพด้วยวิธีการประมาณ mutual information ในปัจจุบัน เช่น MINE ประการสุดท้าย การวิเคราะห์ทางทฤษฎีของเรายืนยันความถูกต้องและความสมเหตุสมผล ด้วยความช่วยเหลือของ GMI เราได้พัฒนารูปแบบการเรียนรู้แบบไม่มีการกำกับดูแลที่ได้รับการฝึกฝนโดยการเพิ่ม GMI ระหว่างอินพุตและเอาต์พุตของตัวเข้ารหัสแบบกราฟประสาท การทดลองที่พิจารณาอย่างรอบคอบเกี่ยวกับการจำแนกโหนดแบบ transductive และ inductive รวมถึงการทำนายลิงก์ แสดงให้เห็นว่าวิธีการของเรามีประสิทธิภาพเหนือกว่าคู่แข่งแบบไม่มีการกำกับดูแลที่ทันสมัย และบางครั้งก็มีประสิทธิภาพเหนือกว่าแบบมีการกำกับดูแล 1 บทนำ เพื่อให้การวิเคราะห์เชิงปริมาณที่เชื่อถือได้สำหรับเครือข่ายข้อมูลที่หลากหลาย การเรียนรู้การแสดงผลคุณภาพสูงสำหรับข้อมูลที่มีโครงสร้างแบบกราฟได้กลายเป็นหัวข้อที่น่าสนใจในปัจจุบัน วิธีการล่าสุดที่มุ่งสู่เป้าหมายนี้ ซึ่งโดยทั่วไปแบ่งออกเป็น Graph Neural Networks (GNNs) ได้สร้างความก้าวหน้าที่น่าทึ่งในงานการเรียนรู้จำนวนมาก เช่น การจำแนกโหนด [ , , ] การทำนายลิงก์ [ , , ] การจัดตำแหน่งกราฟ [ , , ] การสร้างโมเลกุล [ , , ] เป็นต้น แม้จะมีความคืบหน้าที่ดี แต่การฝึก GNNs ในแนวทางที่มีอยู่มักต้องการการกำกับดูแลรูปแบบใดรูปแบบหนึ่งอย่างไม่ต้องสงสัย ข้อมูลการติดป้ายนั้นมีค่าใช้จ่ายสูงในการได้มา ซึ่งการทำเครื่องหมายด้วยตนเองหรือการจ่ายค่าอนุญาต และเป็นไปไม่ได้ที่จะได้มาเนื่องจากนโยบายความเป็นส่วนตัว ยังไม่ต้องพูดถึงความน่าเชื่อถือของป้ายกำกับที่ให้มานั้นบางครั้งก็เป็นที่น่าสงสัย ดังนั้น วิธีการบรรลุการแสดงผลกราฟคุณภาพสูงโดยไม่ต้องมีการกำกับดูแลจึงเป็นสิ่งจำเป็นสำหรับกรณีการใช้งานจริงจำนวนมาก ซึ่งเป็นแรงจูงใจในการศึกษาบทความนี้ 35 42 50 26 27 49 12 19 43 4 5 46 จากการตรวจสอบข้อมูลที่มีโครงสร้างแบบกราฟที่เราได้รวบรวมอย่างละเอียด เราพบว่าโดยทั่วไปแล้วข้อมูลเหล่านี้มาจากแหล่งต่างๆ เช่น เครือข่ายสังคม เครือข่ายการอ้างอิง และเครือข่ายการสื่อสาร ซึ่งมีข้อมูลทั้งเนื้อหาและการเชื่อมโยงจำนวนมหาศาลอยู่ ตัวอย่างเช่น ข้อมูลบนแพลตฟอร์มโซเชียลหลายแห่ง เช่น Twitter, Flickr และ Facebook รวมถึงคุณสมบัติของผู้ใช้ เช่น รายละเอียดส่วนตัว ข้อความ รูปภาพ IP และความสัมพันธ์ เช่น การซื้อสินค้าชิ้นเดียวกัน การเป็นเพื่อน ข้อมูลเนื้อหาที่หลากหลายเหล่านี้เพียงพอที่จะสนับสนุนงานการขุดค้นข้อมูลในภายหลังโดยไม่ต้องมีการแนะนำเพิ่มเติม: หากเอนทิตีสองตัวมีความคล้ายคลึงกันอย่างมากในด้านคุณสมบัติ มีแนวโน้มสูงที่จะมีลิงก์ระหว่างกัน (การทำนายลิงก์) และมีแนวโน้มที่จะเป็นหมวดหมู่เดียวกัน (การจำแนกประเภท) หากเอนทิตีสองตัวเชื่อมโยงไปยังเอนทิตีเดียวกัน พวกเขามีแนวโน้มที่จะมีลักษณะคล้ายกัน (การแนะนำ) ในแง่นี้ การรักษาและสกัดข้อมูลให้ได้มากที่สุดจากเครือข่ายข้อมูลไปยังพื้นที่การฝังจะช่วยให้เรียนรู้การแสดงผลที่มีคุณภาพสูงซึ่งแสดงประสิทธิภาพที่ต้องการในงานการขุดค้นโดยไม่มีการกำกับดูแลรูปแบบใดรูปแบบหนึ่ง การเรียนรู้การแสดงผลกราฟแบบไม่มีการกำกับดูแลเป็นทางเลือกที่นิยมมากกว่าในหลายกรณีเนื่องจากไม่มีข้อจำกัดเรื่องป้ายกำกับ โดยเฉพาะอย่างยิ่งเมื่อเราต้องการใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ที่มีอยู่ เพื่อให้ได้รับข้อมูลที่สมบูรณ์ในกราฟ ในบทความนี้ เราดำเนินการฝังแบบกราฟโดยอาศัยการเพิ่ม mutual information (MI) ให้สูงสุด โดยได้รับแรงบันดาลใจจากความสำเร็จเชิงประจักษ์ของวิธีการ Deep Info-Max [ ] ซึ่งทำงานกับรูปภาพ เพื่อค้นหาการแสดงผลที่มีประโยชน์ Deep InfoMax ฝึกตัวเข้ารหัสเพื่อเพิ่ม MI ระหว่างอินพุต (เช่น รูปภาพ) และเอาต์พุต (เช่น เวกเตอร์ที่ซ่อนอยู่) ให้สูงสุด เมื่อพิจารณา Deep InfoMax ในโดเมนกราฟ สิ่งแรกที่เราต้องก้าวข้ามคือวิธีนิยาม MI ระหว่างกราฟและเวกเตอร์ที่ซ่อนอยู่ ในขณะที่โทโพโลยีของกราฟนั้นซับซ้อนกว่ารูปภาพ (ดูรูป ความท้าทายประการหนึ่งคือการรับประกันว่าฟังก์ชัน MI ระหว่างการแสดงผลที่ซ่อนอยู่ของแต่ละโหนดและคุณสมบัติอินพุตที่อยู่ใกล้เคียงเป็นไปตามคุณสมบัติสมมาตร หรือเทียบเท่ากัน คือไม่เปลี่ยนแปลงภายใต้การสลับตำแหน่งของเพื่อนบ้าน ดังงานล่าสุดที่พิจารณา MI, Deep Graph Infomax (DGI) [ ] ได้ฝังทั้งกราฟอินพุตและกราฟที่ถูกทำให้เสียหายที่สอดคล้องกัน จากนั้นจึงสรุปกราฟอินพุตเป็นเวกเตอร์ผ่านฟังก์ชันการอ่าน จากนั้นจึงเพิ่ม MI ระหว่างเวกเตอร์สรุปนี้และการแสดงผลที่ซ่อนอยู่ให้สูงสุด โดยการแยกกราฟอินพุต (ตัวอย่างบวก) ออกจากกราฟที่เสียหาย (ตัวอย่างลบ) รูป ให้ภาพรวมที่เข้าใจง่ายของ DGI การเพิ่ม MI ประเภทนี้พิสูจน์แล้วว่าเทียบเท่ากับการเพิ่ม MI ระหว่างคุณสมบัติโหนดอินพุตและการแสดงผลที่ซ่อนอยู่ แต่ความเท่าเทียมกันนี้เป็นไปตามเงื่อนไขบางประการ เช่น ฟังก์ชันการอ่านควรเป็น injective ซึ่งดูเหมือนจะถูกจำกัดมากเกินไปในกรณีจริง แม้ว่าเราจะรับประกันการมีอยู่ของฟังก์ชันการอ่านแบบ injective ได้ด้วยการออกแบบบางอย่าง เช่น ฟังก์ชันที่ใช้ใน DeepSets [ ] ความสามารถแบบ injective ของฟังก์ชันการอ่านก็ได้รับผลกระทบจากวิธีการฝึกพารามิเตอร์ของมัน นั่นคือ ฟังก์ชันที่เดิมเป็น injective ก็ยังมีความเสี่ยงที่จะไม่เป็น injective หากได้รับการฝึกฝนโดยไม่มีการกำกับดูแลภายนอก และหากฟังก์ชันการอ่านไม่เป็น injective ข้อมูลกราฟอินพุตที่อยู่ในเวกเตอร์สรุปจะลดลงเมื่อขนาดของกราฟเพิ่มขึ้น ยิ่งไปกว่านั้น DGI ยังคงอยู่ในระดับการเพิ่ม MI ระดับกราฟ/แพตช์ที่หยาบ ดังนั้นใน DGI จึงไม่มีการรับประกันว่าตัวเข้ารหัสสามารถกลั่นข้อมูลเพียงพอจากข้อมูลอินพุตได้ เนื่องจากไม่เคยเชื่อมโยงการแสดงผลที่ซ่อนอยู่กับอินพุตดั้งเดิมอย่างละเอียด 20 1) 41 1 47 ในบทความนี้ เราเสนอวิธีที่ตรงไปตรงมามากขึ้นในการพิจารณา MI ในแง่ของโครงสร้างกราฟโดยไม่ต้องใช้ฟังก์ชันการอ่านหรือฟังก์ชันการทำให้เสียหายใดๆ เราอนุมาน MI โดยตรงโดยการเปรียบเทียบอินพุต (เช่น กราฟย่อยที่ประกอบด้วยละแวกใกล้เคียงอินพุต) และเอาต์พุต (เช่น การแสดงผลที่ซ่อนอยู่ของแต่ละโหนด) ของตัวเข้ารหัส และที่น่าสนใจคือ การอนุมานทางทฤษฎีของเราแสดงให้เห็นว่า MI ที่กำหนดไว้อย่างเป็นทางการสามารถแยกย่อยได้เป็นผลรวมถ่วงน้ำหนักของ MI ในระดับท้องถิ่นระหว่างคุณสมบัติเพื่อนบ้านแต่ละรายการและเวกเตอร์ที่ซ่อนอยู่ ด้วยวิธีนี้ เราได้แยกคุณสมบัติอินพุตและทำให้การคำนวณ MI สามารถจัดการได้ ยิ่งไปกว่านั้น MI รูปแบบนี้สามารถเป็นไปตามคุณสมบัติสมมาตรได้ง่ายหากเราปรับค่าของน้ำหนัก เราจะกล่าวถึงรายละเอียดเพิ่มเติมใน § เนื่องจาก MI ข้างต้นส่วนใหญ่จะวัดที่ระดับคุณสมบัติโหนด เราจึงเรียกมันว่า Feature Mutual Information (FMI) 3.1. ประเด็นที่ยังเหลืออยู่สองประการเกี่ยวกับ FMI: น้ำหนักการรวมยังไม่ทราบ และ มันไม่ได้คำนึงถึงโทโพโลยี (เช่น คุณสมบัติของขอบ) เพื่อแก้ไขประเด็นเหล่านี้ต่อไป เราจึงนิยามการวัด Graphical Mutual Information (GMI) ของเราโดยอาศัย FMI โดยเฉพาะ GMI ใช้การกำหนดค่าที่เข้าใจได้ง่ายโดยการตั้งค่าน้ำหนักใน FMI ให้เท่ากับความใกล้เคียงระหว่างเพื่อนบ้านแต่ละคนกับโหนดเป้าหมายในพื้นที่การแสดงผล สำหรับการรักษาข้อมูลโทโพโลยี GMI จะเชื่อมโยงน้ำหนักเหล่านี้กับคุณสมบัติขอบอินพุตผ่านพจน์ mutual information เพิ่มเติม GMI ที่ได้นั้นไม่เปลี่ยนแปลงตามโทโพโลยีและสามารถคำนวณได้ด้วย Mutual Information Neural Estimation (MINE) [ ) ข้อดีหลักของงานของเรามีดังนี้: 1. 2. • : เราขยายการประมาณค่า MI แบบดั้งเดิมไปยังโดเมนกราฟและเสนอแนวคิดใหม่ของ Graphical Mutual Information (GMI) ตามลำดับ GMI ปราศจากความเสี่ยงที่อาจเกิดขึ้นจากฟังก์ชันการอ่าน เนื่องจากพิจารณา MI ระหว่างกราฟอินพุตและการฝังระดับสูงในรูปแบบที่ตรงไปตรงมา แนวคิด • : ผ่านการวิเคราะห์ทางทฤษฎีของเรา เราให้รูปแบบของ GMI ที่สามารถจัดการได้และคำนวณได้ ซึ่งแยก GMI ทั้งหมดออกเป็นผลรวมถ่วงน้ำหนักของ MI ในระดับท้องถิ่น ด้วยความช่วยเหลือของวิธีการ MINE การเพิ่ม GMI ให้สูงสุดสามารถทำได้ง่ายในระดับโหนด อัลกอริทึม • : เราตรวจสอบประสิทธิภาพของ GMI ในงานจำแนกโหนดและทำนายลิงก์ยอดนิยมหลายรายการ รวมถึงทั้งแบบ transductive และ inductive การทดลองแสดงให้เห็นว่าวิธีการของเราให้ประสิทธิภาพที่น่าพอใจในชุดข้อมูลเกณฑ์มาตรฐานที่หลากหลาย และบางครั้งก็มีประสิทธิภาพเหนือกว่าคู่แข่งแบบมีการกำกับดูแล ผลการทดลอง 2 งานวิจัยที่เกี่ยวข้อง สอดคล้องกับจุดเน้นของงานของเรา เราจะทบทวนงานก่อนหน้านี้ในสองหัวข้อต่อไปนี้: การประมาณค่า mutual information และ โครงข่ายประสาทเทียมสำหรับการเรียนรู้การแสดงผลบนกราฟ 1. 2. . เนื่องจากหลักการ InfoMax [ ] แนะนำให้เพิ่ม MI ระหว่างอินพุตและเอาต์พุตของโครงข่ายประสาทเทียม วิธีการหลายอย่าง เช่น อัลกอริทึม ICA [ , ] พยายามใช้วิธีการของ MI ในการเรียนรู้คุณลักษณะแบบไม่มีการกำกับดูแล อย่างไรก็ตาม วิธีการเหล่านี้ไม่สามารถขยายไปยังโครงข่ายประสาทเทียมเชิงลึกได้อย่างง่ายดาย เนื่องจากความยากในการคำนวณ MI ระหว่างตัวแปรต่อเนื่องที่มีมิติสูง โชคดีที่ Mutual Information Neural Estimation (MINE) [ ] ทำให้การประมาณค่า MI บนโครงข่ายประสาทเทียมเชิงลึกเป็นไปได้ โดยการฝึกโครงข่ายสถิติเป็นตัวจำแนกเพื่อแยกแยะตัวอย่างที่มาจาก การกระจายร่วมและการคูณของผลลัพธ์ของตัวแปรสุ่มสองตัว โดยเฉพาะ MINE ใช้สูตรการคำนวณ MI แบบ KL ที่แน่นอน ในขณะที่ทางเลือกที่ไม่ใช่ KL คือ Jensen-Shannon divergence (JSD) [ ] สามารถใช้ได้โดยไม่ต้องกังวลเกี่ยวกับค่าที่แน่นอนของ MI การประมาณค่า mutual information 3 1 21 2 30 . ด้วยการพัฒนาอย่างรวดเร็วของ graph neural networks (GNNs) มีการนำเสนออัลกอริทึมการเรียนรู้การแสดงผลกราฟจำนวนมากที่ใช้ GNNs ในช่วงไม่กี่ปีที่ผ่านมา ซึ่งแสดงประสิทธิภาพที่แข็งแกร่งกว่าวิธีการฝังแบบสุ่มเดินและแบบแยกส่วนแบบดั้งเดิม [ , , , , ] โดยทั่วไป วิธีการเหล่านี้สามารถแบ่งออกเป็นประเภทที่มีการกำกับดูแลและไม่มีการกำกับดูแล ในบรรดาเหล่านั้น มีวรรณกรรมมากมายเกี่ยวกับการเรียนรู้การแสดงผลแบบมีกำกับดูแลบนกราฟ [ , , , , ] แม้ว่าโครงสร้างเครือข่ายจะแตกต่างกัน แต่ก็ประสบความสำเร็จในเชิงประจักษ์ด้วยความช่วยเหลือของป้ายกำกับซึ่งมักจะเข้าถึงไม่ได้ในสถานการณ์จริง ในกรณีนี้ วิธีการเรียนรู้กราฟแบบไม่มีการกำกับดูแล [ , , ] มีศักยภาพในการใช้งานที่กว้างขึ้น วิธีการที่มีชื่อเสียงคือ GraphSAGE [ ] ซึ่งเป็นกรอบการทำงานแบบ inductive เพื่อฝึก GNNs ด้วยวัตถุประสงค์แบบสุ่มเดินในโหมดไม่มีการกำกับดูแล และเมื่อเร็วๆ นี้ DGI [ ] ได้นำแนวคิดของการเพิ่ม MI ให้สูงสุดไปใช้ในโดเมนกราฟและได้รับประสิทธิภาพที่แข็งแกร่งในรูปแบบที่ไม่มีการกำกับดูแล อย่างไรก็ตาม DGI ใช้การเพิ่มประสิทธิภาพแบบหยาบ (เช่น การเพิ่ม MI ที่ระดับกราฟ/แพตช์) ซึ่งทำให้การรักษาข้อมูลที่ละเอียดอ่อนในกราฟอินพุตทำได้ยาก นอกจากนี้ เงื่อนไขที่กำหนดให้กับฟังก์ชันการอ่านที่ใช้ใน DGI ดูเหมือนจะถูกจำกัดมากเกินไปในกรณีจริง ในทางตรงกันข้าม เรามุ่งเน้นไปที่การยกเลิกข้อจำกัดของฟังก์ชันการอ่าน และบรรลุการเพิ่ม graphical mutual information ในระดับโหนด โดยการเพิ่ม MI ระหว่างอินพุตและเอาต์พุตของตัวเข้ารหัสโดยตรง การแสดงผลที่ได้จากวิธีการของเรามีความซับซ้อนมากขึ้นในการรักษาข้อมูลกราฟอินพุต ซึ่งรับประกันศักยภาพสำหรับงานการขุดค้นกราฟดาวน์สตรีม เช่น การจำแนกโหนด การทำนายลิงก์ และการแนะนำ โครงข่ายประสาทเทียมสำหรับการเรียนรู้การแสดงผลกราฟ 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 Graphical Mutual Information: นิยามและการเพิ่มประสิทธิภาพสูงสุด ก่อนที่จะดำเนินการต่อไป เราจะให้แนวคิดเบื้องต้นที่ใช้ในบทความนี้ก่อน ให้ G = (V, E) แสดงถึงกราฟที่มีโหนด โหนด ∈ V และขอบ = ( , ) ∈ E คุณสมบัติของโหนด โดยมีการกระจายความน่าจะเป็นเชิงประจักษ์ P ที่สมมติขึ้น คือ ∈ N vi eij vi vj X R × = { 1, · · · , } โดยที่ ∈ R แสดงถึงคุณสมบัติสำหรับโหนด เมทริกซ์ประชิด ∈ R × แสดงถึงการเชื่อมต่อขอบ โดยที่ ที่เกี่ยวข้องกับขอบ อาจเป็นตัวเลขจริงหรือเวกเตอร์หลายมิติ1 N D x x N xi D vi A N N Aij eij เป้าหมายของการเรียนรู้การแสดงผลกราฟคือการเรียนรู้ตัวเข้ารหัส : R × × R × → R × ′ ซึ่งเวกเตอร์ที่ซ่อนอยู่ = { 1, · · · , } = ( , ) แสดงถึงการแสดงผลระดับสูงสำหรับโหนดทั้งหมด กระบวนการเข้ารหัสสามารถเขียนใหม่ในรูปแบบของโหนด f N D N N N D H h hN f X A เพื่อแสดงสิ่งนี้ เรานิยาม และ สำหรับโหนด ว่าเป็นคุณสมบัติของเพื่อนบ้านและเมทริกซ์ประชิดที่สอดคล้องกันตามลำดับ Xi Ai i โดยมีเงื่อนไขต่อเพื่อนบ้าน โดยเฉพาะอย่างยิ่ง ประกอบด้วยเพื่อนบ้าน k-hop ทั้งหมดของ โดยที่ ≤ เมื่อตัวเข้ารหัส เป็น GNN แบบ -layer และจะรวมโหนด เองหากเราเพิ่ม self-loops ในเมทริกซ์ประชิด ที่นี่ เราเรียกกราฟย่อยที่ขยายโดย และ ว่าเป็น สำหรับโหนด ซึ่งแสดงด้วย G ด้วยนิยามของ support graph การเข้ารหัสสำหรับแต่ละโหนดจะกลายเป็น = (G ) = ( , ) Xi vi k l f l i Xi Ai support graph i i hi f i f Xi Ai . ใน Deep InfoMax [ ] วัตถุประสงค์การฝึกของตัวเข้ารหัสคือการเพิ่ม MI ระหว่างอินพุตและเอาต์พุต MI จะถูกประมาณโดยใช้โครงข่ายสถิติเป็นตัวจำแนกเพื่อจำแนกตัวอย่างที่มาจาก การกระจายร่วมและตัวอย่างที่มาจากผลคูณของผลลัพธ์ โดยธรรมชาติแล้ว เมื่อนำแนวคิดของ Deep InfoMax มาใช้กับกราฟ เราควรเพิ่ม MI ระหว่างการแสดงผล และ support graph G สำหรับแต่ละโหนด เราจะเรียก graphical MI เช่นนี้ว่า ( ; G ). อย่างไรก็ตาม การนิยาม I (hi ; Gi ) นั้นไม่ใช่เรื่องง่าย ความยากลำบากมีดังนี้: ความยากในการนิยาม graphical mutual information 20 hi i I hi i • graphical MI ควรจะคงที่เกี่ยวกับการแปลงแบบ isomorphic ของกราฟอินพุต กล่าวคือ เราควรมี ( ; G ) = ( ; G′ ), หาก G และ G′ เป็น isomorphic ต่อกัน I hi i I hi i i i • หากเราใช้วิธี MINE สำหรับการคำนวณ MI ตัวจำแนกใน MINE จะรับเฉพาะอินพุตที่มีขนาดคงที่ ซึ่งยังเป็นไปไม่ได้สำหรับ G เนื่องจาก G ที่แตกต่างกันมักจะมีจำนวนโหนดที่แตกต่างกัน ดังนั้นจึงมีขนาดที่แตกต่างกัน i i เพื่อแก้ไขปัญหาการนิยาม graphical mutual information ส่วนนี้จะเริ่มต้นด้วยการแนะนำแนวคิดของ Feature Mutual Information (FMI) ซึ่งอาศัยเฉพาะคุณสมบัติของโหนดเท่านั้น เมื่อได้รับแรงบันดาลใจจากการแยกย่อย FMI เราจึงนิยาม Graphical Mutual Information (GMI) ซึ่งคำนึงถึงทั้งคุณสมบัติของโหนดและ 3.1 Feature Mutual Information เราจะแสดงการกระจายความน่าจะเป็นเชิงประจักษ์ของคุณสมบัติโหนด เป็น ( ), ความน่าจะเป็นของ เป็น ( ) และการกระจายร่วมโดย ( , ) ตามทฤษฎีสารสนเทศ MI ระหว่าง และ ถูกนิยามเป็น Xi p Xi hi p hi p hi Xi hi Xi ที่น่าสนใจคือ เรามีทฤษฎีการแยกย่อย mutual information ต่อไปนี้สำหรับการคำนวณ ( ; ) I hi Xi ทฤษฎีบทที่ 1 (การแยกย่อย Mutual Information) ( | ) ( ; ) หากความน่าจะเป็นแบบมีเงื่อนไข p hi Xi เป็นแบบ multiplicative (ดูนิยามของ multiplicative ใน [ ]) mutual information แบบ global I 36 hi Xi ที่นิยามในสมการ (1) สามารถแยกย่อยเป็นผลรวมถ่วงน้ำหนักของ MI ในระดับท้องถิ่น กล่าวคือ โดยที่ xj คือเพื่อนบ้านลำดับที่ j ของโหนด i, in คือจำนวนขององค์ประกอบทั้งหมดใน Xi , และน้ำหนัก wij มีค่า ≤ ≤ 1 1 wij สำหรับแต่ละ j เพื่อพิสูจน์ทฤษฎีบทข้างต้น เราจะแนะนำ lemma สองตัวและนิยามหนึ่งตัวก่อน Lemma 1. สำหรับตัวแปรสุ่ม X, Y และ Z ใดๆ เรามี ด้วยการแยกย่อยในทฤษฎีบทที่ เราสามารถคำนวณด้านขวาของสมการ ผ่าน MINE เนื่องจากอินพุตของตัวจำแนกขณะนี้คือคู่ของ ( , ) ซึ่งมีขนาดคงที่เสมอ (นั่นคือ ′-by- ) นอกจากนี้ เราสามารถปรับน้ำหนักเพื่อสะท้อนการแปลงแบบ isomorphic ของกราฟอินพุตได้ ตัวอย่างเช่น หาก มีเฉพาะเพื่อนบ้านหนึ่งฮอปของโหนด การตั้งค่าน้ำหนักทั้งหมดให้เหมือนกันจะนำไปสู่ MI เดียวกันสำหรับโหนดอินพุตในลำดับที่แตกต่างกัน 1 (2) hi xj D D Xi i แม้จะมีประโยชน์บางประการจากการแยกย่อย แต่ก็ยากที่จะระบุค่าที่แน่นอนของน้ำหนักเนื่องจากเกี่ยวข้องกับค่าของ ( ; ) และการกระจายความน่าจะเป็นพื้นฐาน I hi xj วิธีที่ง่ายที่สุดคือการตั้งค่าน้ำหนักทั้งหมดเป็น จากนั้นการเพิ่มด้านขวาของสมการ จะเทียบเท่ากับการเพิ่มขอบเขตล่างของ ( ; ) ซึ่งจะเพิ่ม FMI ที่แท้จริงไปด้วยในระดับหนึ่ง นอกจากวิธีนี้ เรายังมีโซลูชันที่ได้รับการปรับปรุงเพิ่มเติมโดยการพิจารณาน้ำหนักเป็น attention ที่สามารถฝึกฝนได้ ซึ่งเป็นหัวข้อในส่วนถัดไป 1 (2) I hi Xi ได้รับแรงบันดาลใจจากการแยกย่อยในทฤษฎีบทที่ เราพยายามสร้างน้ำหนักที่สามารถฝึกฝนได้จากมุมมองอื่นของกราฟ (เช่น มุมมองโทโพโลยี) เพื่อให้น้ำหนัก มีความยืดหยุ่นมากขึ้นและจับคุณสมบัติโดยธรรมชาติของกราฟ สุดท้ายเราได้นิยาม Graphical Mutual Information (GMI) 3.2 Topology-Aware Mutual Information 1 wij นิยามที่ 2 (Graphical Mutual Information) G = ( , ) MI ระหว่างเวกเตอร์ที่ซ่อนอยู่ h และ support graph X A ถูกนิยามเป็น โดยที่นิยามของ xj และ in เหมือนกับในทฤษฎีบทที่ 1, aij คือน้ำหนัก/คุณสมบัติของขอบในเมทริกซ์ประชิด A, และ σ (·) คือฟังก์ชัน sigmoid โดยสัญชาตญาณ น้ำหนัก wij ในพจน์แรกของสมการ (10) วัด การสนับสนุนที่จัดการในผลการทดลองเป็นแบบไม่มีน้ำหนัก โดยเป็นทางการ เราคำนวณ I (wij ; aij ) = aijloдwij + (1 − aij )loд(1 − wij ). (12) โดยการเพิ่ม I (hi ; Gi ) ให้สูงสุดด้วยผลรวมของสมการ (11) และ (12) สำหรับโหนดที่ซ่อนอยู่ทั้งหมด H เราจะมาถึงฟังก์ชันวัตถุประสงค์ที่สมบูรณ์ของเราสำหรับ การมีส่วนร่วมของ MI ในระดับท้องถิ่นต่อ MI ในระดับ global เราดำเนินการมีส่วนร่วมของ I (hi ; xj ) โดยความคล้ายคลึงกันระหว่างการแสดงผล hi และ hj (เช่น wij = σ (hThj )). ในขณะเดียวกัน พจน์ I (wij ; aij ) เพิ่ม MI ระหว่าง wij และน้ำหนัก/คุณสมบัติของขอบของกราฟอินพุต (เช่น aij ) เพื่อบังคับให้ wij สอดคล้องกับความสัมพันธ์เชิงโทโพโลยี ในแง่นี้ ระดับของการมีส่วนร่วมจะสอดคล้องกับความใกล้เคียงในโครงสร้างโทโพโลยี ซึ่งโดยทั่วไปถือว่าเป็นข้อเท็จจริงที่ wij อาจมีค่ามากขึ้นหากโหนด j "ใกล้" กับโหนด i และน้อยลงหากไม่เป็นเช่นนั้น กลยุทธ์นี้ชดเชยข้อบกพร่องที่ FMI มุ่งเน้นเฉพาะคุณสมบัติของโหนด และทำให้ MI ในระดับท้องถิ่นมีส่วนร่วมใน MI ในระดับ global อย่างปรับเปลี่ยนได้ หากต้องการทำความเข้าใจแนวคิดของ attention ในกลยุทธ์นี้ให้ดียิ่งขึ้น คุณสามารถอ้างอิงถึง GCN ที่ใช้ attention สังเกตว่านิยามของสมการ (10) สามารถนำไปใช้ได้ในกรณีทั่วไป สำหรับสถานการณ์เฉพาะบางอย่าง เราสามารถปรับเปลี่ยนสมการ (10) เพื่อประสิทธิภาพได้ ตัวอย่างเช่น เมื่อจัดการกับกราฟที่ไม่มีน้ำหนัก (นั่นคือน้ำหนักขอบคือ 1 ถ้าเชื่อมต่อและ 0 มิฉะนั้น) เราสามารถแทนที่พจน์ MI ที่สอง I (wij ; aij ) ด้วย loss แบบ cross-entropy เชิงลบ การลด cross-entropy ก็มีส่วนช่วยในการเพิ่ม MI เช่นกัน และให้การคำนวณที่มีประสิทธิภาพมากขึ้น เราจะกล่าวถึงรายละเอียดเพิ่มเติมในส่วนถัดไป โดยรวมแล้ว มีประโยชน์หลายประการจากการนิยามสมการ (10) ประการแรก MI ประเภทนี้ไม่เปลี่ยนแปลงภายใต้การแปลงแบบ isomorphic ของกราฟอินพุต ประการที่สอง สามารถคำนวณได้เนื่องจากแต่ละส่วนประกอบด้านขวา สามารถประมาณค่าได้ด้วย MINE ที่สำคัญกว่านั้น GMI มีประสิทธิภาพมากกว่า DGI ในการจับข้อมูลอินพุตดั้งเดิม เนื่องจากความสัมพันธ์ที่ชัดเจนระหว่างเวกเตอร์ที่ซ่อนอยู่และคุณสมบัติอินพุตของทั้งโหนดและขอบในระดับโหนดที่ละเอียด 3.3 การเพิ่มประสิทธิภาพสูงสุดของ GMI ตอนนี้เราจะเพิ่มประสิทธิภาพด้านขวาของสมการ โดยตรงด้วยความช่วยเหลือของ MINE สังเกตว่า MINE ประมาณค่าขอบเขตล่างของ MI ด้วยการแทนค่า Donsker-Varadhan (DV) [ ) ของ KL-divergence ระหว่างการกระจายร่วมและการคูณของผลลัพธ์ เนื่องจากเราให้ความสำคัญกับการเพิ่ม MI มากกว่าการได้ค่าที่แน่นอน ทางเลือกที่ไม่ใช่ KL อื่นๆ เช่น Jensen-Shannon MI estimator (JSD) [ ] และ Noise-Contrastive estimator (infoNCE) [ ] สามารถนำมาใช้แทนได้ จากผลการทดลองและการวิเคราะห์ใน [ ] เราจึงเลือกใช้ JSD estimator ในบทความนี้เพื่อความมีประสิทธิภาพและประสิทธิผล เนื่องจาก infoNCE estimator จะอ่อนไหวต่อกลยุทธ์การสุ่มตัวอย่างเชิงลบ (จำนวนตัวอย่างเชิงลบ) ดังนั้นจึงอาจกลายเป็นคอขวดสำหรับชุดข้อมูลขนาดใหญ่ที่มีหน่วยความจำที่ใช้งานได้คงที่ ในทางตรงกันข้าม JSD estimator ซึ่งไม่ไวต่อกลยุทธ์การสุ่มตัวอย่างเชิงลบและให้ผลลัพธ์ที่ดีในหลายๆ งาน จึงเหมาะสมกับงานของเรามากกว่า โดยเฉพาะอย่างยิ่ง เราคำนวณ ( ; ) ในพจน์แรกของสมการ โดย (10) 30 31 20 I hi xj (10) โดยที่ D : × ′ → R คือตัวจำแนกที่สร้างขึ้นโดยโครงข่ายประสาทเทียมที่มีพารามิเตอร์ คือตัวอย่างเชิงลบที่สุ่มมาจาก P = P และ ( ) = (1 + ) แสดงถึงฟังก์ชัน soft-plus w D D w x j sp x loд ex ดังที่กล่าวไว้ใน § เราจะเพิ่ม ( ; ) โดยการคำนวณ cross-entropy แทนการใช้ JSD estimator เนื่องจากกราฟที่เราจัดการในการทดลองนั้นไม่มีน้ำหนัก โดยเป็นทางการ เราคำนวณ 3.2 I wij aij โดยการเพิ่ม I (hi ; Gi ) ให้สูงสุดด้วยผลรวมของสมการ (11) และ (12) สำหรับโหนดที่ซ่อนอยู่ทั้งหมด H เราจะมาถึงฟังก์ชันวัตถุประสงค์ที่สมบูรณ์ของเราสำหรับการเพิ่มประสิทธิภาพ GMI นอกจากนี้ เราสามารถเพิ่มพารามิเตอร์ trade-off เพื่อปรับสมดุลระหว่างสมการ (11) และ (12) เพื่อความยืดหยุ่นมากขึ้น 4 การทดลอง ในส่วนนี้ เราจะประเมินประสิทธิภาพของ GMI ในเชิงประจักษ์ในสองงานทั่วไป: การจำแนกโหนด (transductive และ inductive) และการทำนายลิงก์ การเปรียบเทียบที่ค่อนข้างยุติธรรมระหว่าง GMI และอัลกอริทึมแบบไม่มีการกำกับดูแลอีกสองตัว (EP-B และ DGI) จะแสดงให้เห็นถึงประสิทธิภาพของมันเพิ่มเติม นอกจากนี้เรายังนำเสนอการแสดงภาพของ t-SNE plots และวิเคราะห์อิทธิพลของความลึกของโมเดล 4.1 ชุดข้อมูล เพื่อประเมินคุณภาพของแนวทางของเราในแต่ละงาน เราใช้ชุดข้อมูลเกณฑ์มาตรฐานยอดนิยม 4 หรือ 5 ชุดจากงานวิจัยก่อนหน้านี้ [ , , สถิติโดยละเอียดแสดงอยู่ในตาราง 16 25 41] 1. ในงานจำแนกประเภท Cora, Citeseer และ PubMed [ ]2 เป็นเครือข่ายการอ้างอิง โดยที่โหนดแทนเอกสารและขอบแทนการอ้างอิง เอกสารแต่ละฉบับเกี่ยวข้องกับเวกเตอร์การแสดงผลแบบ bag-of-words และเป็นของหนึ่งในคลาสที่กำหนดไว้ล่วงหน้า ตามการตั้งค่าแบบ transductive ใน [ , ] การฝึกจะดำเนินการกับโหนดทั้งหมด และโหนดทดสอบ 1000 โหนดจะใช้สำหรับการประเมิน Reddit3 เป็นเครือข่ายสังคมขนาดใหญ่ที่ประกอบด้วยโพสต์ Reddit ที่เชื่อมต่อกันจำนวนมากที่สร้างขึ้นในช่วงเดือนกันยายน 2014 [ ] โพสต์จะถูกพิจารณาว่าเป็นโหนดและขอบหมายถึงผู้ใช้คนเดียวกันแสดงความคิดเห็น 38 25 41 16 ![ ตารางที่ 1: สถิติของชุดข้อมูลที่ใช้ในการทดลอง ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) ป้ายกำกับคลาสคือชุมชน และวัตถุประสงค์ของเราคือการทำนายว่าโพสต์ต่างๆ เป็นของชุมชนใด PPI3 เป็นชุดข้อมูลปฏิสัมพันธ์ระหว่างโปรตีน ซึ่งรวมถึงกราฟหลายรายการที่เกี่ยวข้องกับเนื้อเยื่อของมนุษย์ที่แตกต่างกัน [ ] ชุดตำแหน่งยีน, ชุดยีนโมติฟ และลายเซ็นทางภูมิคุ้มกันถือเป็นคุณสมบัติของโหนด และแต่ละโหนดมีป้ายกำกับทั้งหมด 121 ป้ายที่ได้จากชุด Gene Ontology วัตถุประสงค์ของเราคือการจำแนกหน้าที่ของโปรตีนที่อาจเป็นของหลายประเภทในกราฟ PPI ที่แตกต่างกัน ตามการตั้งค่าแบบ inductive ใน [ ] บน Reddit เราป้อนโพสต์ที่สร้างขึ้นในช่วง 20 วันแรกเข้าสู่โมเดลสำหรับการฝึก ในขณะที่ส่วนที่เหลือจะใช้สำหรับการทดสอบ (โดย 30% ใช้สำหรับการตรวจสอบ) บน PPI มี 20 กราฟสำหรับการฝึก, 2 กราฟสำหรับการตรวจสอบ และ 2 กราฟสำหรับการทดสอบ ควรเน้นย้ำว่า สำหรับ Reddit และ PPI การทดสอบจะดำเนินการกับโหนดและกราฟที่มองไม่เห็น (ไม่เคยฝึก) ในขณะที่สามชุดข้อมูลแรกใช้สำหรับการเรียนรู้แบบ transductive 52 16 ในงานทำนายลิงก์ BlogCatalog4 เป็นเว็บไซต์บล็อกโซเชียลที่บล็อกเกอร์ติดตามกันและลงทะเบียนบล็อกของตนภายใต้ 6 หมวดหมู่ที่กำหนดไว้ล่วงหน้า แท็กของบล็อกถูกใช้เป็นคุณสมบัติของโหนด Flickr4 เป็นเว็บไซต์แบ่งปันรูปภาพที่ผู้ใช้โต้ตอบกับผู้อื่นและสร้างเครือข่ายสังคม ผู้ใช้โพสต์รูปภาพที่มี 9 คลาสที่กำหนดไว้ล่วงหน้าและเลือกแท็กที่แนบมาเพื่อสะท้อนความสนใจของพวกเขา ซึ่งให้ข้อมูลคุณลักษณะ คำอธิบายของ Cora และ PPI จะถูกละไว้เพื่อความกระชับ ตามการตั้งค่าและเมตริกการประเมินในการทดลองใน เมื่อกำหนดกราฟที่มีส่วนของขอบที่ถูกลบออก เรามีเป้าหมายที่จะทำนายลิงก์ที่ขาดหายไปเหล่านี้ สำหรับ Cora, BlogCatalog และ Flickr เราจะลบขอบออก 20%, 50% และ 70% แบบสุ่ม โดยตรวจสอบให้แน่ใจว่าเครือข่ายที่เหลือหลังจากลบขอบยังคงเชื่อมต่อกัน และใช้เครือข่ายที่เสียหายสำหรับการฝึก สำหรับ PPI เราถือว่าส่วนหนึ่งของขอบที่ไม่เคยเห็นในระหว่างการฝึกเป็นเป้าหมายการทำนายโดยตรง แทนที่จะเป็นการลบขอบที่สร้างขึ้นด้วยตนเอง 4.2 การตั้งค่าการทดลอง . เราใช้วิธีการ Graph Convolutional Network (GCN) มาตรฐานพร้อมกฎการแพร่กระจายแบบ layer-wise ต่อไปนี้เป็นตัวเข้ารหัสสำหรับทั้งงานจำแนกประเภทและการทำนายลิงก์: การออกแบบตัวเข้ารหัส โดยที่ Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) และ H (I + 1) คือเมทริกซ์อินพุตและเอาต์พุตของเลเยอร์ , ( ) คือเมทริกซ์น้ำหนักที่สามารถฝึกฝนได้เฉพาะเลเยอร์ ในที่นี้ การแปลงแบบไม่เชิงเส้น ที่เราใช้คือฟังก์ชัน PReLU (parametric ReLU) [ ] ควรรับทราบว่าสำหรับโหนด เพื่อนบ้าน ใน support graph Gi ประกอบด้วยโหนด i เอง เนื่องจาก self-loops ถูกแทรกผ่าน A¯ l W l σ 17 i Xi เพื่อให้เจาะจงมากขึ้น ตัวเข้ารหัสที่เราใช้กับ Citeseer และ PubMed คือ GCN แบบเลเยอร์เดียว โดยมีมิติเอาต์พุตเป็น ′ = 512 และสำหรับ Cora, Reddit, BlogCatalog, Flickr และ PPI เราใช้ GCN แบบสองเลเยอร์เป็นตัวเข้ารหัสของเรา ในที่นี้ เรามีมิติที่ซ่อนอยู่เป็น ′ = 512 ในแต่ละเลเยอร์ GCN สังเกตว่าการใช้ GCN encoder ที่คล้ายกันทั้งสำหรับงานจำแนกประเภทแบบ transductive และ inductive ทำให้วิธีการที่นำเสนอของเราง่ายต่อการติดตามและปรับขนาดไปยังเครือข่ายขนาดใหญ่กว่า DGI เนื่องจาก DGI ต้องออกแบบตัวเข้ารหัสที่แตกต่างกันเพื่อปรับให้เข้ากับงานการเรียนรู้ที่แตกต่างกัน โดยเฉพาะอย่างยิ่งตัวเข้ารหัสที่ใช้ในงาน inductive นั้นซับซ้อนมาก ซึ่งไม่เหมาะสำหรับการใช้งานจริง D D . ตัวจำแนกในสมการ ให้คะแนนคู่ของคุณสมบัติอินพุต-เอาต์พุตผ่านฟังก์ชันทวิภาคีอย่างง่าย ซึ่งคล้ายกับตัวจำแนกที่ใช้ใน การออกแบบตัวจำแนก (11) : โดยที่ Θ แทนเมทริกซ์การให้คะแนนที่สามารถฝึกฝนได้ และฟังก์ชันกระตุ้น ที่เราใช้คือ sigmoid โดยมีเป้าหมายเพื่อแปลงคะแนนให้เป็นความน่าจะเป็นของ ( , ) ที่เป็นตัวอย่างเชิงบวก σ h x . จริงๆ แล้ว สำหรับน้ำหนัก ของพจน์แรกในสมการ เรามีสองวิธีในการรับค่าในการทดลอง วิธีแรกคือการคง = ( T ) ซึ่งทำให้ MI ในระดับท้องถิ่นมีส่วนร่วมใน MI ในระดับ global อย่างปรับเปลี่ยนได้ และเราเรียกรูปแบบนี้ว่า GMI-adaptive รายละเอียดการใช้งาน wij (10) wij σ h hj อีกวิธีหนึ่งคือการกำหนดให้ = . . ปลายด้านซ้ายของช่วงที่ อยู่ (อ้างอิงทฤษฎีบทที่ ซึ่งหมายความว่าการมีส่วนร่วมของ MI ในระดับท้องถิ่นแต่ละรายการเท่ากัน และเราเรียกรูปแบบนี้ว่า GMI-mean ในที่นี้ ทั้ง GMI-mean และ GMI-adaptive รวมอยู่ในขอบเขตของการเปรียบเทียบกับ baseline wij 1/in i e wi j 1) การทดลองทั้งหมดถูกนำไปใช้ใน PyTorch พร้อมกับการเริ่มต้น Glorot และดำเนินการบน Tesla P40 GPU เดียว ในการประมวลผลเบื้องต้น เราทำการทำให้เป็นมาตรฐานแถว (row normalization) บน Cora, Citeseer, PubMed, BlogCatalog และ Flickr ตาม และใช้กลยุทธ์การประมวลผลใน บน Reddit และ PPI ในระหว่างการฝึก เราใช้ Adam Optimizer ด้วยการฝึกเริ่มต้น 0.001 ในชุดข้อมูลทั้งเจ็ดชุด ตามที่แนะนำโดย เราใช้กลยุทธ์ early stopping พร้อมหน้าต่างขนาด 20 บน Cora, Citeseer และ PubMed ในขณะที่ฝึกโมเดลตามจำนวน epoch ที่กำหนดบนชุดข้อมูล inductive (20 บน Reddit, 50 บน PPI) จำนวนตัวอย่างเชิงลบถูกตั้งค่าเป็น 5 เนื่องจากขนาดใหญ่ของ Reddit และ PPI เราจำเป็นต้องใช้เทคนิค subsampling ที่แนะนำใน [ ] เพื่อให้พอดีกับหน่วยความจำ GPU โดยเฉพาะอย่างยิ่ง เราเลือก minibatch 256 โหนด จากนั้นสำหรับแต่ละโหนดที่เลือก เราสุ่มตัวอย่างเพื่อนบ้าน 8 และ 5 ตัวที่ย่านระดับแรกและระดับที่สองตามลำดับ เราใช้ย่านหนึ่งฮอปเพื่อสร้าง support graph ในการทดลอง และใช้ (0) ( , คุณสมบัติอินพุตที่ถูกบีบอัด) เพื่อคำนวณ FMI เนื่องจากใช้คุณสมบัติอินพุตดั้งเดิม ทำให้หน่วยความจำ GPU ล้น พารามิเตอร์ trade-off ถูกปรับในช่วง เพื่อปรับสมดุลระหว่างสมการ และสมการ กลยุทธ์ Batch Normalization [ ) ถูกนำมาใช้เพื่อฝึกโมเดลของเราบน Reddit และ PPI 16 XW i.e. X (11) (12) . สำหรับงานจำแนกประเภท เราป้อนการฝังที่เรียนรู้ได้ทั่วทั้งชุดฝึกให้กับตัวจำแนก logistic regression และให้ผลลัพธ์บนโหนดทดสอบ [ , ] โดยเฉพาะอย่างยิ่งในการเรียนรู้แบบ transductive เราใช้ค่าเฉลี่ยความแม่นยำในการจำแนกประเภทหลังจาก 50 รอบเพื่อประเมินประสิทธิภาพ ในขณะที่ F1 score เฉลี่ยแบบ micro-averaged หลังจาก 50 รอบจะใช้ในการเรียนรู้แบบ inductive และสำหรับ PPI ตามที่แนะนำโดย [ ] เราจะทำการปรับมาตรฐานการฝังที่เรียนรู้ได้ก่อนที่จะป้อนให้กับตัวจำแนก logistic regression สำหรับงานทำนายลิงก์ เกณฑ์ที่เราใช้คือ AUC ซึ่งเป็นพื้นที่ใต้เส้นโค้ง ROC ตัวอย่างเชิงลบที่เกี่ยวข้องในการคำนวณ AUC จะถูกสร้างขึ้นโดยการสุ่มเลือกคู่โหนดที่มีการเชื่อมต่อเท่ากันในกราฟดั้งเดิม ยิ่งคะแนน AUC เข้าใกล้ 1 มากเท่าใด ประสิทธิภาพของอัลกอริทึมก็จะยิ่งดีขึ้นเท่านั้น ในทำนองเดียวกัน เราจะรายงานคะแนน AUC เฉลี่ยหลังจาก 10 รอบ เมตริกการประเมิน 16 25 41 4.3 การจำแนกประเภท . ตาราง แสดงค่าเฉลี่ยความแม่นยำในการจำแนกประเภทของวิธีการของเราและ baseline อื่นๆ ในงานแบบ transductive ที่นี่ ผลลัพธ์สำหรับ EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ] รวมถึง GWNN [ ] นำมาจากเอกสารต้นฉบับ และผลลัพธ์สำหรับ DeepWalk [ ], LP (Label Propagation) [ ] และ GCN [ ] คัดลอกมาจาก Kipf & Welling [ ] สำหรับคุณสมบัติดิบ เราจะป้อนให้กับตัวจำแนก logistic regression สำหรับการฝึก และให้ผลลัพธ์บนคุณสมบัติทดสอบ5 แม้ว่าเราจะให้ผลการทดลองของทั้งวิธีการแบบมีกำกับดูแลและไม่มีการกำกับดูแล แต่ในบทความนี้ เราจะเน้นการเปรียบเทียบกับวิธีการแบบไม่มีการกำกับดูแลซึ่งสอดคล้องกับการตั้งค่าของเรา การเรียนรู้แบบ Transductive 2 11 41 45 40 44 33 51 25 25 ดังที่สังเกตได้ GMI-mean และ GMI-adaptive ที่เรานำเสนอ เมื่อเปรียบเทียบกับวิธีการแบบไม่มีการกำกับดูแลอื่นๆ ให้ความแม่นยำในการจำแนกประเภทที่ดีที่สุดในชุดข้อมูลทั้งสาม เราพิจารณาว่าประสิทธิภาพที่แข็งแกร่งนี้ได้รับประโยชน์จากแนวคิดในการพยายามเพิ่ม graphical MI โดยตรงระหว่างคู่ของอินพุตและเอาต์พุตของตัวเข้ารหัส E ในระดับโหนดที่ละเอียด ดังนั้น การแสดงผลที่เข้ารหัสจึงรักษาข้อมูลของคุณสมบัติโหนดและโทโพโลยีใน G ให้ได้มากที่สุด ซึ่งส่งผลต่อการจำแนกประเภท ในทางตรงกันข้าม EP-B ละเลยข้อมูลพื้นฐานระหว่างข้อมูลอินพุตและการแสดงผลที่เรียนรู้ และ DGI ยังคงอยู่ในระดับการเพิ่ม MI ระดับกราฟ/แพตช์ ซึ่งจำกัดความสามารถในการรักษาและสกัดข้อมูลอินพุตดั้งเดิมไปยังพื้นที่การฝัง ดังนั้นประสิทธิภาพจึงค่อนข้างอ่อนในงานจำแนกประเภท นอกจากนี้ โดยปราศจากการชี้นำของป้ายกำกับ วิธีการของเราแสดงผลลัพธ์ที่เทียบเคียงได้กับโมเดลแบบมีกำกับดูแลบางตัว เช่น GCN และ GAT และมีประสิทธิภาพดีกว่าบน Citeseer และ PubMed เราเชื่อว่าการแสดงผลที่เรียนรู้ผ่านการเพิ่ม GMI ให้สูงสุดระหว่างอินพุตและเอาต์พุตได้รวบรวมข้อมูลที่หลากหลายในกราฟ G ซึ่งเพียงพอสำหรับการจำแนกประเภท ที่น่าสังเกตยิ่งกว่านั้นคือ ป้ายกำกับที่มีอยู่หลายป้ายนั้นมาจากข้อมูลใน G เช่นกัน ดังนั้น การรักษาข้อมูลให้ได้มากที่สุดจากอินพุตจึงสามารถชดเชยข้อมูลที่ได้รับจาก ป้ายกำกับได้ในระดับหนึ่ง ซึ่งช่วยรักษาประสิทธิภาพของ GMI ในงานการขุดค้นกราฟดาวน์สตรีม เป็นที่ยอมรับว่าการเรียนรู้จากอินพุตดั้งเดิมโดยไม่มีป้ายกำกับแสดงให้เห็นถึงศักยภาพในการแสดงผลที่มีคุณภาพสูงกว่ารูปแบบที่มีการกำกับดูแล เนื่องจากความเบาบางอย่างรุนแรงของป้ายกำกับการฝึกอาจประสบปัญหาการ overfit หรือความถูกต้องของป้ายกำกับที่ให้มาอาจไม่น่าเชื่อถือ . ตาราง ยังสรุป F1 score เฉลี่ยแบบ micro-averaged ของ GMI และ baseline อื่นๆ บน Reddit และ PPI เราอ้างอิงผลลัพธ์ของ DGI, GAT, FastGCN [ ] และ GaAN [ ] ในเอกสารต้นฉบับ ในขณะที่ผลลัพธ์สำหรับอีกเจ็ดวิธีที่เปรียบเทียบนั้นคัดลอกมาจาก Hamilton et al. [ ] (ที่นี่เราใช้ผลลัพธ์ unsupervised GraphSAGE ซ้ำเพื่อให้ตรงกับการตั้งค่าของเรา) ในทำนองเดียวกัน การเปรียบเทียบกับอัลกอริทึมแบบไม่มีการกำกับดูแลคือจุดเน้นของงานของเรา การเรียนรู้แบบ Inductive 2 7 48 16 GMI-mean และ GMI-adaptive ประสบความสำเร็จในการมีประสิทธิภาพเหนือกว่าอัลกอริทึมแบบไม่มีการกำกับดูแลอื่นๆ ทั้งหมดบน Reddit และ PPI ซึ่งยืนยันประสิทธิภาพของ GMI maximization ในโดเมนการจำแนกประเภทแบบ inductive (การทั่วไปไปยังโหนดที่ไม่เคยเห็น) ที่น่าสนใจคือ ผลลัพธ์ของวิธีการของเราบน Reddit นั้นสามารถแข่งขันได้กับโมเดลแบบมีกำกับดูแลขั้นสูงบางตัว แต่สถานการณ์บน PPI นั้นแตกต่างออกไป หลังจากทำการวิเคราะห์เพิ่มเติม เราสังเกตเห็นว่า 42% ของโหนดมีค่าคุณสมบัติเป็นศูนย์ใน PPI ซึ่งหมายความว่าเมทริกซ์คุณสมบัติ X นั้นเบาบางมาก [ ] ในกรณีนี้ การพึ่งพา G = ( , ) โดยตรงและเพียงอย่างเดียวจะจำกัดประสิทธิภาพของวิธีการแบบไม่มีการกำกับดูแลรวมถึง DGI และวิธีการของเรา ในขณะที่การเรียนรู้ในลักษณะที่มีการกำกับดูแลแสดงให้เห็นถึงประสิทธิภาพที่ดีกว่ามากเนื่องจากข้อมูลเสริมที่ได้รับจากป้ายกำกับเพิ่มเติม 16 X A . ตามตาราง รูปแบบ GMI สองรูปแบบ (GMI-mean และ GMI-adaptive) ซึ่งใช้วิธีการที่แตกต่างกันในการวัดการมีส่วนร่วมของ MI ในระดับท้องถิ่นแต่ละรายการ (รายละเอียดใน § ให้ผลลัพธ์ที่แข่งขันกันได้ แต่ GMI-adaptive แสดงประสิทธิภาพที่อ่อนแอกว่า GMI-mean เล็กน้อย จากการวิเคราะห์เพิ่มเติม เราสันนิษฐานว่าอาจเป็นเพราะความยากในการฝึกฝนที่เกิดจากลักษณะของการเรียนรู้แบบปรับเปลี่ยนได้ บางทีประสิทธิภาพของ GMI-adaptive อาจได้รับการปรับปรุงด้วยความช่วยเหลือของกลยุทธ์การฝึกขั้นสูง ในแง่นี้ GMI-mean สามารถใช้งานได้จริงและเป็นไปได้มากกว่า ดังนั้นจึงสามารถถือเป็นตัวแทนในการใช้งานจริง การประเมินสองรูปแบบของ GMI 2 4.2) 4.4 ประสิทธิภาพของฟังก์ชันวัตถุประสงค์ เพื่อชี้แจงประสิทธิภาพของการเพิ่ม graphical MI ในการเรียนรู้การแสดงผลกราฟแบบไม่มีการกำกับดูแลให้ดียิ่งขึ้น และเพื่อให้การเปรียบเทียบกับ DGI และ EP-B (อัลกอริทึมแบบไม่มีการกำกับดูแลสองตัว) เป็นไปอย่างยุติธรรม เราจะแทนที่ฟังก์ชันวัตถุประสงค์ของเราด้วยฟังก์ชัน loss ของพวกมันตามลำดับ ในขณะที่ยังคงการตั้งค่าการทดลองอื่นๆ ไว้เหมือนเดิม ตาราง แสดงผลลัพธ์ภายใต้การตั้งค่าแบบ transductive และ inductive ดังที่สังเกตได้ GMI (GMI-mean และ GMI-adaptive) ให้ประสิทธิภาพที่แข็งแกร่งกว่าชุดข้อมูลทั้งห้า ซึ่งสะท้อนให้เห็นว่า DGI และ EP-B ขาดการพิจารณาบางอย่างในงานการเรียนรู้การแสดงผลกราฟ โดยเฉพาะอย่างยิ่ง loss ของ EP-B กำหนดข้อจำกัดเฉพาะกับแต่ละโหนดและเพื่อนบ้านในระดับเอาต์พุต (พื้นที่การฝัง) ละเลยการโต้ตอบระหว่างคู่ของอินพุตและเอาต์พุตของตัวเข้ารหัส ซึ่งส่งผลให้ความสามารถในการรักษาข้อมูลที่ถูกต้องใน G นั้นต่ำ สำหรับ DGI แม้ว่าจะเชื่อมโยงการแสดงผลที่ซ่อนอยู่กับคุณสมบัติอินพุตดั้งเดิมโดยปริยาย แต่มันพิจารณา MI ในระดับกราฟ/แพตช์ ซึ่งค่อนข้างหยาบ 3 ที่น่าสนใจคือ เมื่อเทียบกับ DGI FMI ของเรา (โดยไม่มีข้อมูลโทโพโลยี) ได้รับการปรับปรุงอย่างมีนัยสำคัญมากขึ้นเมื่อขนาดกราฟเพิ่มขึ้น เราให้เหตุผลกับการค้นพบนี้ว่าประสิทธิภาพที่ลดลงของฟังก์ชันการอ่านทำให้ DGI สูญเสียข้อมูลที่มีประโยชน์บางอย่างสำหรับการจำแนกโหนดเมื่อกราฟมีขนาดใหญ่ขึ้น แม้ว่าจะแสดงประสิทธิภาพที่ดีบนกราฟขนาดเล็กเช่น Cora และ Citeseer เมื่อสะท้อนโทโพโลยีของกราฟอินพุต GMI ของเรามีประสิทธิภาพเหนือกว่า loss ประเภทอื่นๆ ทั้งหมดในชุดข้อมูลทั้งหมด นอกจากนี้ โปรดทราบว่ากระบวนการฝึก GMI ทั้งหมดคล้ายกับการฝึกตัวจำแนกใน generative models และ GMI มีความเร็วในการฝึกที่เทียบเคียงได้กับ EP-B และ DGI บนชุดข้อมูลที่ใหญ่ที่สุด Reddit ซึ่งแสดงให้เห็นถึงความสามารถในการปรับขนาดที่ดี 4.5 การทำนายลิงก์ จากผลการทดลองข้างต้น เราพบว่า DGI เป็นคู่แข่งที่แข็งแกร่งของ GMI ในขอบเขตของอัลกอริทึมแบบไม่มีการกำกับดูแล ดังนั้น ในส่วนนี้ เราตั้งใจที่จะตรวจสอบประสิทธิภาพของ DGI และ GMI ในงานการขุดค้นอีกประเภทหนึ่ง คือ การทำนายลิงก์ ที่นี่เราเลือก FMI และ GMI-mean เพื่อเปรียบเทียบกับ DGI ตาราง แสดงคะแนน AUC บนชุดข้อมูลสี่ชุดที่แตกต่างกัน ภายใต้อัตราการลบขอบที่แตกต่างกัน GMI และ FMI ทั้งคู่มีประสิทธิภาพเหนือกว่า DGI อย่างมาก (ยกเว้น FMI ใน 70.0% BlogCatalog) ซึ่งแสดงให้เห็นว่าการวัด graphical MI ระหว่างกราฟอินพุตและการแสดงผลเอาต์พุตในรูปแบบที่ละเอียดนั้นสามารถจับข้อมูลที่หลากหลายในอินพุตและให้ความสามารถในการทั่วไปที่ดี สำหรับ DGI ประการแรก การเพิ่ม MI ระดับกราฟ/แพตช์ที่ค่อนข้างหยาบจำกัดประสิทธิภาพในงานทำนายลิงก์ที่ละเอียดเช่นนี้ ประการที่สอง ความไม่เหมาะสมของฟังก์ชันการทำให้เสียหาย (corruption function) ทำให้ DGI ลดความสามารถในการเรียนรู้การแสดงผลที่แม่นยำเพื่อทำนายลิงก์ที่ขาดหายไป โปรดจำไว้ว่าตัวอย่างเชิงลบสำหรับตัวจำแนกใน DGI ถูกสร้างขึ้นโดยการทำให้กราฟอินพุตดั้งเดิมเสียหาย และฟังก์ชันการทำให้เสียหายที่ออกแบบมาอย่างดีเป็นสิ่งจำเป็นซึ่งต้องการกลยุทธ์ที่มีทักษะ [ ] ในงานนี้ เรายังคงใช้ฟังก์ชันสับเปลี่ยนคุณสมบัติ (feature shuffling function) ซึ่งแสดงผลลัพธ์ที่ดีที่สุดในงานจำแนกประเภท เพื่อสร้างตัวอย่างเชิงลบ แต่ในกรณีที่กราฟอินพุตไม่สมบูรณ์ในแง่ของการเชื่อมโยงเชิงโทโพโลยี คำแนะนำที่ได้รับจากกราฟที่เสียหายนี้ในฐานะป้ายกำกับเชิงลบในตัวจำแนกจะกลายเป็นไม่น่าเชื่อถือเนื่องจากความไม่แม่นยำของกราฟอินพุต ซึ่งนำไปสู่ประสิทธิภาพที่ต่ำ ดังนั้น ความจำเป็นของฟังก์ชันการทำให้เสียหายที่มุ่งเน้นงานจึงเป็นจุดอ่อนของ DGI ในทางตรงกันข้าม GMI ของเราปราศจากปัญหานี้โดยการกำจัดการทำให้เสียหายและเพิ่ม graphical MI ระหว่างอินพุตและเอาต์พุตของตัวเข้ารหัสโดยตรง นอกจากนี้ ยังสังเกตได้ว่า FMI สามารถแข่งขันกับ GMI ได้ในกรณีส่วนใหญ่ แม้แต่บน Flickr FMI ก็มีประสิทธิภาพดีกว่า GMI เราสันนิษฐานว่าเกิดจากประโยชน์ที่ได้รับจากการเพิ่มประสิทธิภาพ Feature Mutual Information โดยตรงและละเอียดในระดับโหนด จากสมมติฐาน Homophily [ ] (เช่น เอนทิตีในเครือข่ายที่มีคุณสมบัติคล้ายคลึงกันมีแนวโน้มที่จะเชื่อมต่อกัน) ข้อมูลคุณสมบัติอินพุตที่เก็บรักษาไว้ในการฝังที่เรียนรู้ทำให้ FMI มีความสามารถที่ดีในการอนุมานลิงก์ที่ขาดหายไป 4 41 29 4.6 การแสดงภาพ เพื่อแสดงให้เห็นภาพอย่างชัดเจน ตาราง แสดง t-SNE plots [ ] ของการฝังที่เรียนรู้บน Cora และ Citeseer จากมุมมองเชิงคุณภาพ การกระจายของ plot ที่เรียนรู้โดย FMI และ DGI ดูเหมือนจะคล้ายกัน และการฝังที่สร้างโดย GMI มีกลุ่มที่แยกแยะได้ชัดเจนกว่าคุณสมบัติดิบ, FMI และ DGI 5 28 โดยเฉพาะอย่างยิ่งบน Cora ความหนาแน่นและการแยกแยะของกลุ่มมีความชัดเจนอย่างยิ่ง ซึ่งแสดงถึงหมวดหมู่หัวข้อเจ็ดประเภท สำหรับการวิเคราะห์เชิงปริมาณ เราพยายามวัดคุณภาพการจัดกลุ่มโดยการคำนวณ Silhouette Coefficient score [ ] โดยเฉพาะอย่างยิ่ง เราใช้ฟังก์ชัน จาก scikit-learn Python package [ ] พร้อมการตั้งค่าเริ่มต้นทั้งหมด และปฏิบัติตามคู่มือผู้ใช้เพื่อทำการประเมิน การจัดกลุ่มของการฝังที่เรียนรู้ผ่าน GMI ได้คะแนน Silhouette Coefficient 0.425 บน Cora, 0.402 บน Citeseer และ 0.385 บน PubMed ในขณะที่ DGI ได้ 0.417, 0.391, 0.373 และ EP-B ได้ 0.384, 0.385, 0.379 ในสามชุดข้อมูลตามลำดับ ทั้งในเชิงคุณภาพและเชิงปริมาณ แสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมของ GMI ซึ่งแสดงให้เห็นถึงความสมเหตุสมผลและประสิทธิภาพของการเพิ่ม graphical mutual information ให้สูงสุดในการเรียนรู้การแสดงผลกราฟแบบไม่มีการกำกับดูแล 37 silhouette_score 32 4.7 อิทธิพลของความลึกของโมเดล ในส่วนนี้ เราจะปรับจำนวนเลเยอร์คอนโวลูชันในตัวเข้ารหัสเพื่อตรวจสอบอิทธิพลของความลึกของโมเดลต่อความแม่นยำในการจำแนกประเภท โดยพิจารณาถึงความยากที่เป็นไปได้ในการฝึกโครงข่ายประสาทเทียมเชิงลึก ตามที่แนะนำโดย [ ] เรายังทำการทดลองกับรูปแบบ residual ของโมเดล GMI มาตรฐาน ซึ่งเพิ่มการเชื่อมต่อทางลัดแบบ identity ระหว่างทุกๆ สองเลเยอร์ที่ซ่อนอยู่เพื่อปรับปรุงการฝึกโครงข่ายเชิงลึก ที่นี่ เรายังคงมี ′ = 512 คุณสมบัติสำหรับแต่ละเลเยอร์ที่ซ่อนอยู่ และเริ่มใช้ทางลัดแบบ identity ตั้งแต่เลเยอร์ที่สอง เนื่องจากมิติอินพุตและเอาต์พุตของเลเยอร์แรกไม่เท่ากัน 18 D ยิ่งไปกว่านั้น เมื่อเทียบกับโมเดล GMI มาตรฐานที่บรรลุ GMI maximization ระหว่างการแสดงผลสุดท้ายและกราฟอินพุตดั้งเดิม เราจะพิจารณารูปแบบอื่นที่เรียกว่า dense GMI ซึ่งเพิ่ม GMI ระหว่างแต่ละเลเยอร์ที่ซ่อนอยู่และกราฟอินพุต รูปที่ แสดงภาพสถาปัตยกรรมโดยละเอียด พารามิเตอร์ที่เกี่ยวข้องยังคงไม่เปลี่ยนแปลง ยกเว้นว่าเราฝึกเป็นจำนวน epoch ที่กำหนด (600 บน Cora และ Citeseer) โดยไม่มี early stopping ผลลัพธ์จะแสดงในรูปที่ 2 3. ประการแรก การเพิ่มความลึกของโมเดลช่วยเพิ่มช่องว่างประสิทธิภาพระหว่างโมเดลที่มีและไม่มีทางลัดได้อย่างมาก ผลลัพธ์ที่ดีที่สุดสำหรับ Cora ได้รับจากการใช้ GCN encoder แบบสองเลเยอร์ ในขณะที่ผลลัพธ์ที่ดีที่สุดสำหรับ Citeseer ได้รับจากการใช้ GCN encoder แบบเลเยอร์เดียว นอกเหนือจากข้อเท็จจริงที่ว่าการเพิ่มความลึกของโมเดลทำให้การฝึกโดยไม่ใช้ทางลัดทำได้ยาก เรายังสันนิษฐานว่าข้อมูลเพื่อนบ้านที่อยู่ห่างไกลขึ้นซึ่งได้มาจากเลเยอร์คอนโวลูชันหลายชั้นอาจเป็นสัญญาณรบกวนสำหรับการเรียนรู้การแสดงผลด้วยตนเอง โดยเฉพาะอย่างยิ่ง ความใกล้เคียงที่แตกต่างกันระหว่างเพื่อนบ้านหมายถึงระดับความคล้ายคลึงกันที่แตกต่างกัน หากโหนดสองโหนดอยู่ห่างกันเป็นระยะทางหนึ่งๆ มีแนวโน้มที่จะแตกต่างกันโดยสิ้นเชิง ดังนั้น ในโมเดล GMI มาตรฐาน ข้อมูลที่รวบรวมจากเพื่อนบ้านที่อยู่ห่างไกลอาจมีสัญญาณรบกวนจำนวนมากที่ไม่เหมือนกับลักษณะของโหนดเอง ซึ่งทำให้คุณภาพของการฝังที่เรียนรู้และประสิทธิภาพการจำแนกประเภทที่ตามมาลดลง ในทางตรงกันข้าม ทางลัดแบบ identity ที่เพิ่มเข้ามาช่วยให้โมเดลสามารถส่งต่อข้อมูลจากอินพุตของเลเยอร์ก่อนหน้า ซึ่งสามารถพิจารณาได้ว่าเป็นกระบวนการเสริมข้อมูลเพื่อนบ้านที่คล้ายคลึงกันจากเลเยอร์ที่ตื้นกว่าไปยังเลเยอร์ที่ลึกกว่า ดังนั้นรูปแบบ residual จึงมีความอ่อนไหวต่อความลึกของโมเดลค่อนข้างน้อย ประการที่สอง เราสังเกตเห็นว่ารูปแบบ dense GMI สามารถบรรเทาการเสื่อมถอยของประสิทธิภาพได้ในระดับหนึ่ง แม้ว่า MI มีแนวโน้มที่จะลดลงตามความลึกเนื่องจาก data processing inequality [ ] ทั้งนี้เป็นเพราะการเพิ่ม graphical MI ระหว่างเอาต์พุตของแต่ละเลเยอร์และกราฟอินพุต ซึ่งกำหนดข้อจำกัดโดยตรงให้กับแต่ละเลเยอร์ที่ซ่อนอยู่ในการรักษาข้อมูลอินพุตให้สมบูรณ์ที่สุดเท่าที่จะเป็นไปได้ จากข้อสังเกตนี้ การบังคับใช้ข้อจำกัดในการเพิ่ม MI บนเลเยอร์ที่ซ่อนอยู่เพื่อลดการสูญเสียข้อมูลเมื่อฝึกโครงข่ายประสาทเทียมเชิงลึกอาจเป็นแนวปฏิบัติที่ดี 8 5 บทสรุป เพื่อเอาชนะภาวะกลืนไม่เข้าคายไม่ออกของการขาดการกำกับดูแลที่มีอยู่และหลีกเลี่ยงความเสี่ยงที่อาจเกิดขึ้นจากป้ายกำกับที่ไม่น่าเชื่อถือ เราได้นำเสนอแนวคิดใหม่ของ graphical mutual information (GMI) เพื่อดำเนินการเรียนรู้การแสดงผลกราฟในรูปแบบที่ไม่มีการกำกับดูแล หัวใจสำคัญคือการเพิ่ม mutual information ระหว่างอินพุตและเอาต์พุตของ graph neural encoder ในแง่ของคุณสมบัติของโหนดและโครงสร้างโทโพโลยีให้สูงสุด ผ่านการวิเคราะห์ทางทฤษฎีของเรา เราได้ให้คำนิยามของ GMI และแยกย่อยออกเป็นรูปแบบของผลรวมถ่วงน้ำหนักที่สามารถคำนวณได้ด้วยวิธีการประมาณ mutual information ในปัจจุบัน MINE ได้อย่างง่ายดาย ตามลำดับ เราได้พัฒนารูปแบบที่ไม่มีการกำกับดูแลและดำเนินการงานการขุดค้นกราฟทั่วไปสองงาน ผลลัพธ์แสดงให้เห็นว่า GMI มีประสิทธิภาพเหนือกว่า baseline แบบไม่มีการกำกับดูแลที่ทันสมัยในงานจำแนกประเภท (transductive และ inductive) และงานทำนายลิงก์ บางครั้งก็สามารถแข่งขันกับอัลกอริทึมแบบมีกำกับดูแลได้ งานในอนาคตจะมุ่งเน้นไปที่การเรียนรู้การแสดงผลที่มุ่งเน้นงาน หรือการปรับแนวคิดของ GMI maximization ไปยังกราฟประเภทอื่นๆ เช่น กราฟต่างชนิด (heterogeneous graphs) และ hypergraphs การรับทราบ งานนี้ได้รับการสนับสนุนจาก National Key Research and Development Program of China (No. 2018AAA0101400), National Nature Science Foundation of China (No. 61872287 and No. 61532015), Innovative Research Group of the National Natural Science Foundation of China (No. 61721002), Innovation Research Team of Ministry of Education (IRT_17R86), และ Project of China Knowledge Center for Engineering Science and Technology นอกจากนี้ งานวิจัยนี้ได้รับทุนสนับสนุนจาก National Science and Technology Major Project of the Ministry of Science and Technology of China (No. 2018AAA0102900) เอกสารอ้างอิง Luís B Almeida. 2003. MISEP–Linear and Nonlinear ICA Based on Mutual Information. 4, Dec (2003), 1297–1318. Journal of machine learning research Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, and R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML Anthony J Bell and Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation Esben Jannik Bjerrum and Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 Xavier Bresson and Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2019). arXiv preprint arXiv:1906.03412 Shaosheng Cao, Wei Lu, and Qiongkai Xu. 2015. Grarep: Learning graph repre-sentations with global structural information. In . CIKM Jie Chen, Tengfei Ma, and Cao Xiao. 2018. Fastgcn: fast learning with graph convolutional networks via importance sampling. (2018). arXiv preprint arXiv:1801.10247 Thomas M Cover and Joy A Thomas. 2012. . John Wiley & Sons. Elements of information theory Ming Ding, Jie Tang, and Jie Zhang. 2018. Semi-supervised learning on graphs with generative adversarial nets. In . CIKM Monroe D Donsker and SR Srinivasa Varadhan. 1983. Asymptotic evaluation of certain Markov process expectations for large time. IV. 36, 2 (1983), 183–212. Communications on pure and applied mathematics Alberto Garcia Duran and Mathias Niepert. 2017. Learning graph representations with embedding propagation. In . NeurIPS Evgeniy Faerman, Otto Voggenreiter, Felix Borutta, Tobias Emrich, Max Berrendorf, and Matthias Schubert. 2019. Graph Alignment Networks with Node Matching Scores. In . NeurIPS Xavier Glorot and Yoshua Bengio. 2010. Understanding the difficulty of training deep feedforward neural networks. In . AISTATS Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In . NeurIPS Aditya Grover and Jure Leskovec. 2016. node2vec: Scalable feature learning for networks. In . KDD Will Hamilton, Zhitao Ying, and Jure Leskovec. 2017. Inductive representation learning on large graphs. In . NeurIPS Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In . ICCV Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In . CVPR Mark Heimann, Haoming Shen, Tara Safavi, and Danai Koutra. 2018. Regal: Representation learning-based graph alignment. In . CIKM R Devon Hjelm, Alex Fedorov, Samuel Lavoie-Marchildon, Karan Grewal, Phil Bachman, Adam Trischler, and Yoshua Bengio. 2018. Learning deep represen-tations by mutual information estimation and maximization. (2018). arXiv preprint arXiv:1808.06670 Aapo Hyvärinen and Petteri Pajunen. 1999. Nonlinear independent component analysis: Existence and uniqueness results. 12, 3 (1999), 429–439. Neural networks Sergey Ioffe and Christian Szegedy. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. (2015). arXiv preprint arXiv:1502.03167 Nikhil Ketkar. 2017. Introduction to pytorch. In . 195–208. Deep learning with python Diederik P Kingma and Jimmy Ba. 2014. Adam: A method for stochastic opti-mization. (2014). arXiv preprint arXiv:1412.6980 Thomas N Kipf and Max Welling. 2016. Semi-supervised classification with graph convolutional networks. (2016). arXiv preprint arXiv:1609.02907 Thomas N Kipf and Max Welling. 2016. Variational graph auto-encoders. (2016). arXiv preprint arXiv:1611.07308 David Liben-Nowell and Jon Kleinberg. 2007. The link-prediction problem for social networks. 58, 7 (2007), 1019–1031. Journal of the American society for information science and technology Laurens van der Maaten and Geoffrey Hinton. 2008. Visualizing data using t-SNE. 9, Nov (2008), 2579–2605. ournal of machine learning research Miller McPherson, Lynn Smith-Lovin, and James M Cook. 2001. Birds of a feather: Homophily in social networks. 27, 1 (2001), 415–444. Annual review of sociology Sebastian Nowozin, Botond Cseke, and Ryota Tomioka. 2016. f-gan: Training gen-erative neural samplers using variational divergence minimization. In . NeurIPS Aaron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation learning with contrastive predictive coding. (2018). arXiv preprint arXiv:1807.03748 Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, et al. 2011. Scikit-learn: Machine learning in Python. 12, Oct (2011), 2825–2830. Journal of machine learning research Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. 2014. Deepwalk: Online learning of social representations. In . KDD Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. 2018. Network embedding as matrix factorization: Unifying deepwalk, line, pte, and node2vec. In . WSDM Meng Qu, Yoshua Bengio, and Jian Tang. 2019. GMNN: Graph Markov Neural Networks. In . ICML Renato Renner and Ueli Maurer. 2002. About the mutual (conditional) information. In . ISIT Peter J Rousseeuw. 1987. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. 20 (1987), 53–65. Journal of computational and applied mathematics Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi-Rad. 2008. Collective classification in network data. 29, 3 (2008), 93–93. AI magazine Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. 2015. Line: Large-scale information network embedding. In . WWW Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. (2017). arXiv preprint arXiv:1710.10903 Petar Veličković, William Fedus, William L Hamilton, Pietro Liò, Yoshua Bengio, and R Devon Hjelm. 2018. Deep graph infomax. (2018). arXiv preprint arXiv:1809.10341 Jun Wu, Jingrui He, and Jiejun Xu. 2019. Net: Degree-specific Graph Neural Networks for Node and Graph Classification. (2019). arXiv preprint arXiv:1906.02319 Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Rui Yan, and Dongyan Zhao. 2019. Relation-aware entity alignment for heterogeneous knowledge graphs. In . IJCAI Bingbing Xu, Huawei Shen, Qi Cao, Yunqi Qiu, and Xueqi Cheng. 2019. Graph Wavelet Neural Network. (2019). arXiv preprint arXiv:1904.07785 Zhilin Yang, William W Cohen, and Ruslan Salakhutdinov. 2016. Revisiting semi-supervised learning with graph embeddings. (2016). arXiv preprint arXiv:1603.08861 Jiaxuan You, Bowen Liu, Zhitao Ying, Vijay Pande, and Jure Leskovec. 2018. Graph convolutional policy network for goal-directed molecular graph generation. In . NeurIPS Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, and Alexander J Smola. 2017. Deep sets. In . 3391–3401. NeurIPS Jiani Zhang, Xingjian Shi, Junyuan Xie, Hao Ma, Irwin King, and Dit-Yan Yeung. 2018. Gaan: Gated attention networks for learning on large and spatiotemporal graphs. (2018). arXiv preprint arXiv:1803.07294 Muhan Zhang and Yixin Chen. 2018. Link prediction based on graph neural networks. In . NeurIPS Yingxue Zhang, Soumyasundar Pal, Mark Coates, and Deniz Ustebay. 2019. Bayesian graph convolutional neural networks for semi-supervised classification. In . AAAI Xiaojin Zhu, Zoubin Ghahramani, and John D Lafferty. 2003. Semi-supervised learning using gaussian fields and harmonic functions. In . ICML Marinka Zitnik and Jure Leskovec. 2017. Predicting multicellular function through multi-layer tissue networks. 33, 14 (2017), i190–i198. Bioinformatics บทความนี้ ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) มีให้บน ieee.org