አዲስ መንገድ AI ን በገበታ ውሂብ ላይ ያለ ክትትል ለማሰልጠን

```html ደራሲያን፦ ዠን ፔንግ ወንቢንግ ሁአንግ ሚናን ሉኦ ቂንግሁአ ዜንግ ዩ ሮንግ ቲንጊያንግ ሹ ጁንዡ ሗንግ ረቂቅ ማህበራዊ አውታረ መረቦች እና የመገናኛ አውታረ መረቦች ባሉባቸው የተለያዩ የመረጃ አውታረ መረቦች ውስጥ በይዘት የበለፀገ ይዘት ያለ ውጫዊ ክትትል ከፍተኛ ጥራት ያላቸውን ተወካይ ውክልናዎችን ለመማር የሚያስችል ያልተለመደ አቅም ይሰጣል። ይህ ወረቀት ከመረጃ-ነክ መረጃ በገበታ-አወቃቀር በተሰበሰበ መረጃ ውስጥ ያለ ክትትል በተማረ ቦታ ውስጥ እንዴት እንደሚጠበቅ እና እንደሚወጣ ያጠናል። ይህንን ለማድረግ፣ በግብዓት ገበታዎች እና በከፍተኛ ደረጃ የተደበቁ ውክልናዎች መካከል ያለውን ግንኙነት ለመለካት አዲስ ፅንሰ-ሀሳብ፣ ገበታዊ የጋራ መረጃ (Graphical Mutual Information - GMI) እናስተዋውቃለን። GMI ወደ ገበታው ጎራ የቬክተር ቦታን ከሚወስዱ የተለመዱ የጋራ መረጃ ስሌቶች ፅንሰ-ሀሳብን ያሰፋል፣ ይህም በኖድ ባህሪያት እና በቶፖሎጂካል መዋቅር በሁለቱም ገጽታዎች ላይ የጋራ መረጃን መለካት አስፈላጊ ያደርገዋል። GMI በርካታ ጥቅሞችን ያሳያል፡ አንደኛ፣ የግብዓት ገበታዎች (isomorphic transformation) የገለልተኛ ለውጦች ግትርነትን ያሳያል—በብዙ ነባር የገበታ ውክልና የመማሪያ አልጎሪዝም ውስጥ የማይቀር ገደብ፤ በተጨማሪም፣ እንደ MINE ባሉ የአሁኑ የጋራ መረጃ ግምገማ ዘዴዎች በብቃት ሊገመት እና ሊጨምር ይችላል፤ በመጨረሻም፣ የኛ የንድፈ ሃሳብ ትንተና ትክክለኛነቱን እና ምክንያታዊነቱን ያረጋግጣል። በGMI እገዛ፣ የገበታ ነርቭ አስተላላፊ (graph neural encoder) ግብዓት እና ውጤት መካከል GMIን በማሳደግ የሚሰለጥን አንድ ክትትል የሌለበት የመማሪያ ሞዴል እናዳብራለን። በመተላለፊያ (transductive) እንዲሁም በገላጭ (inductive) የኖድ ምደባ እና የአገናኝ ትንበያ ላይ የተደረጉ ጉልህ ሙከራዎች ዘዴያችን ከዘመናዊ ክትትል-አልባ ተጓዳኝዎቻችን በተሻለ ሁኔታ እንደሚሰራ ያሳያሉ፣ እናም አንዳንዴም የክትትል ስራዎችን አፈጻጸም ይበልጣል። 1 መግቢያ ለተለያዩ የመረጃ አውታረ መረቦች አስተማማኝ የቁጥር ትንተና ለማሳካት፣ ለገበታ-አወቃቀር በተሰበሰበ መረጃ ላይ ከፍተኛ ጥራት ያለው የውክልና ትምህርት በአሁኑ ጊዜ በጣም የሚያስደስቱ ርዕሰ ጉዳዮች አንዱ ሆኗል። በዚህ ግብ ላይ የሚደርሱ የቅርብ ጊዜ ዘዴዎች፣ በብዛት የገበታ ነርቭ አውታረ መረቦች (Graph Neural Networks - GNNs) ተብለው የሚመደቡ፣ በብዙ የመማሪያ ስራዎች ላይ አስደናቂ እድገት አሳይተዋል፣ እንደ የኖድ ምደባ[ , , ]፣ የአገናኝ ትንበያ[ , , ]፣ የገበታ ማስተባበር[ , , ]፣ ሞለኪውላር ትውልድ[ , , ]፣ ከሌሎችም መጥቀስ ይቻላል። ምንም እንኳን በብዛት እድገት ቢኖርም፣ በነባር አቀራረቦች ውስጥ GNNsን ማሰልጠን ብዙውን ጊዜ የተወሰነ አይነት ክትትል ይጠይቃል። ያለምንም ጥርጥር፣ የመለያ መረጃ ማግኘት ውድ ነው—የእጅ ማስታወሻ ወይም የፍቃድ ክፍያ መክፈል፣ እና ለግላዊነት ፖሊሲዎች የማይቻል ነው። ከሚሰጡት መለያዎች አስተማማኝነት አንዳንድ ጊዜ ጥያቄ ውስጥ የሚገባ መሆኑን ሳይጠቅስ። ስለዚህ፣ ክትትል ሳይደረግበት ከፍተኛ ጥራት ያለው የገበታ ውክልና እንዴት ማግኘት እንደሚቻል ለብዙ ተግባራዊ ጉዳዮች አስፈላጊ ሆኗል፣ ይህም የዚህ ወረቀት ጥናት እንዲነሳሳ አድርጓል። 35 42 50 26 27 49 12 19 43 4 5 46 በየሰበሰብነው የገበታ-አወቃቀር በተሰበሰበ መረጃ በጥንቃቄ በመመርመር፣ እንደ ማህበራዊ አውታረ መረቦች፣ የጥቅስ አውታረ መረቦች እና የመገናኛ አውታረ መረቦች ወዘተ ካሉ የተለያዩ ምንጮች እንደሚመጡ እናገኛለን፣ እዚያም ከፍተኛ መጠን ያለው ይዘት እና የማገናኛ መረጃ አለ። ለምሳሌ፣ በ Twitter, Flickr, እና Facebook ባሉ ብዙ ማህበራዊ መድረኮች ላይ ያለው መረጃ ስለ ተጠቃሚዎች ባህሪያት ያካትታል፣ ለምሳሌ፣ መሰረታዊ የግል ዝርዝሮች፣ ጽሑፎች፣ ምስሎች፣ አይፒ፣ እና ግንኙነቶቻቸው፣ ለምሳሌ፣ ተመሳሳይ እቃ መግዛት፣ ጓደኛ መሆን። ይህ ሀብታም ይዘት መረጃ ለቀጣይ ማዕድን ስራዎች ያለ ምንም ተጨማሪ መመሪያ በቂ ነው፡- ሁለት አካላት በባህሪያት እጅግ ከፍተኛ ተመሳሳይነት ካላቸው፣ በመካከላቸው አገናኝ የመኖር ከፍተኛ ዕድል አለ (የአገናኝ ትንበያ)፣ እናም እነሱ በተመሳሳይ ምድብ የመውደቅ ዕድል አላቸው (ምደባ)፤ ሁለት አካላት አንድን ተመሳሳይ አካል ቢገናኙ፣ እነሱ ተመሳሳይ ባህሪያት (የውሳኔ) ሊኖራቸው ይችላል። በዚህ ስሜት፣ ከመረጃ አውታረ መረቦች በተቻለ መጠን ብዙ መረጃን ወደ ውክልና ቦታ ማስቀመጥ እና ማውጣት ምንም አይነት ክትትል በሌለበት የማዕድን ስራዎች ላይ ጥሩ አፈጻጸም የሚያሳይ ከፍተኛ ጥራት ያላቸውን ተወካይ ውክልናዎችን መማርን ያመቻቻል። በብዙ አጋጣሚዎች ክትትል-አልባ የገበታ ውክልና ትምህርት ከሌሎች ይልቅ ተመራጭ ምርጫ ነው ምክንያቱም ከሌሎች ነፃ ስለሆነ፣ በተለይም በዱር ውስጥ ባሉ ትላልቅ ያልተሰየሙ መረጃዎች ተጠቃሚ ለመሆን ስንፈልግ። በገበታዎች ውስጥ ያለውን የበለፀገ መረጃ ሙሉ በሙሉ ለማግኘት፣ በዚህ ወረቀት ላይ፣ በ Deep Info-Max ዘዴ[ ] በተሳካ ሁኔታ በተሳካ ሁኔታ ከተሳካው የ Deep Info-Max ዘዴ በመነሳት፣ በጋራ መረጃ (MI) ማሳደግ ላይ የተመሰረተ የገበታ ውክልና እናደርጋለን፣ ይህም በምስሎች ላይ ይሰራል። ጠቃሚ ውክልናዎችን ለማግኘት፣ Deep InfoMax አስተላላፊውን ከግብዓቶቹ (ማለትም፣ ምስሎች) እና ውጤቶቹ (ማለትም፣ የተደበቁ ቬክተሮች) መካከል ያለውን MI ከፍ ለማድረግ ያሰለጥናል። የ Deep InfoMax ገበታን በሚመለከት ጊዜ፣ እኛ መጋፈጥ ያለብን የመጀመሪያው መሰናክል የገበታዎች ቶፖሎጂ ከምስሎች (ምስል የበለጠ ውስብስብ ስለሆነ፣ በገበታዎች እና በተደበቁ ቬክተሮች መካከል MIን እንዴት መግለጽ እንደሚቻል ነው። አንዱ ፈተና፣ በእያንዳንዱ የኖድ የተደበቀ ውክልና እና የጎረቤት ግብዓት ባህሪያቱ መካከል ያለ MI ተግባር የሲሜትሪ ንብረቱን እንዲያከብር ወይም ተመጣጣኝ በሆነ መልኩ፣ በጎረቤቶች ቅደም ተከተል ላይ ግትርነት እንዲኖረው ማድረግ ነው። MIን ከግምት ውስጥ የሚያስገባ የቅርብ ጊዜ ስራ የሆነው Deep Graph Infomax (DGI) [ ] መጀመሪያ የግብዓት ገበታ እና ተዛማጅ የጠፋ ገበታን ይመድባል፣ ከዚያም ገበታውን በንባብ ተግባር (readout function) ወደ ቬክተር ያጠቃልላል፣ በመጨረሻም የዚህን ማጠቃለያ ቬክተር እና የተደበቁ ውክልናዎች መካከል MIን በማሳደግ ግብዓት ገበታውን (አዎንታዊ ናሙና) ከጠፋው ገበታ (አሉታዊ ናሙና) በማድረግ። ምስል የ DGIን በቀላሉ ለመረዳት የሚያስችል እይታ ይሰጣል። የዚህ አይነት MI ማሳደግ ከግብዓት የኖድ ባህሪያት እና ከተደበቁ ቬክተሮች መካከል ካለው MI ጋር ተመጣጣኝ መሆኑ ተረጋግጧል፣ ነገር ግን ይህ ተመጣጣኝነት በተወሰኑ ቅድመ-ሁኔታዎች ስር ይይዛል፣ ለምሳሌ፣ የንባብ ተግባር መርፌ (injective) መሆን አለበት፣ ይህም በእውነተኛ ሁኔታዎች ውስጥ ከመጠን በላይ የተገደበ ይመስላል። የመርፌ ንባብ ተግባር መኖርን በሆነ ንድፍ ማረጋገጥ ብንችልም፣ ለምሳሌ፣ በ DeepSets[ ] ጥቅም ላይ የዋለውን፣ የንባብ ተግባሩ የመርፌ ችሎታው በስልጠናው መንገድ ላይም ተጽዕኖ ይደረግበታል። ያም ማለት፣ የመጀመሪያው-መርፌ ተግባር ያለ ምንም ውጫዊ ክትትል ከተሰለጠነ የመርፌ-አልባ የመሆን አደጋ አለው። እና የንባብ ተግባር መርፌ ካልሆነ፣ የግብዓት ገበታ መረጃ በማጠቃለያ ቬክተር ውስጥ ያለው የገበታ መጠን እየጨመረ በሄደ ቁጥር ይቀንሳል። ከዚህም በላይ፣ DGI በግምት የገበታ/ፓ్యాచ్-ደረጃ MI ማሳደግ ላይ ይቆያል። ስለዚህ DGI ውስጥ፣ አስተላላፊው ከግብዓት መረጃ በተቻለ መጠን ብዙ መረጃን ማፍሰስ እንደሚችል ምንም ማረጋገጫ የለም ምክንያቱም የተደበቁ ውክልናዎችን ከዋና ግብዓቶቻቸው ጋር በጭራሽ በጥልቀት አያገናኘም። 20 1) 41 1 47 በዚህ ወረቀት ላይ፣ ምንም የንባብ ተግባር እና የመበላሸት ተግባር ሳንጠቀም፣ በገበታ መዋቅር ረገድ MIን ከግምት ውስጥ ለማስገባት ይበልጥ ቀጥተኛ መንገድ እናቀርባለን። አስተላላፊውን ግብዓት (ማለትም፣ የግብዓት ሰፈርን ያቀፈው ንዑስ-ገበታ) እና ውጤት (ማለትም፣ ለእያንዳንዱ ኖድ የተደበቀ ውክልና) በማነፃፀር MIን በቀጥታ እናወጣለን። እና በጉጉት፣ የኛ የንድፈ ሃሳብ ማሰላሰል በቀጥታ የተዘጋጀው MI ከእያንዳንዱ የጎረቤት ባህሪይ እና ከተደበቀ ቬክተር መካከል በአከባቢ MIዎች ክብደት ያለው ድምር ሊበሰርስ እንደሚችል ያሳያል። በዚህ መንገድ፣ የግብዓት ባህሪያትን ከፋፍለን MI ስሌትን ተደራሽ አድርገናል። ከዚህም በላይ፣ የዚህ አይነት MI የክብደት እሴቶችን በማስተካከል የሲሜትሪ ንብረቱን በቀላሉ ሊያሟላ ይችላል። ተጨማሪ ዝርዝሮችን ወደ § እናስተላልፋለን። ከላይ ያለው MI በዋናነት በኖድ ባህሪያት ደረጃ ስለሚለካ፣ Features Mutual Information (FMI) ብለን እንጠራዋለን። 3.1 ስለ FMI ሁለት ቀሪ ጉዳዮች አሉ፡- የማጣመር ክብደቶች ገና ያልታወቁ ናቸው ቶፖሎጂን (ማለትም፣ የአገናኝ ባህሪያትን) ግምት ውስጥ አያስገባም። እነዚህን ሁለት ጉዳዮች ይበልጥ ለማስተናገድ፣ ከ FMI ላይ በመመስረት፣ የእኛ ገበታዊ የጋራ መረጃ (Graphical Mutual Information - GMI) መለኪያ እናመሰርታለን። በተለይም፣ GMI ክብደቶችን በ FMI ውስጥ እኩል በማድረግ፣ በጎረቤት እና በውክልና ቦታ ውስጥ ባለው የዒላማ ኖድ መካከል ያለውን ቅርበት በማድረግ፣ አስተዋይ የእሴት ምደባን ይተገብራል። ቶፖሎጂ መረጃን ለማስቀጠል፣ GMI በተጨማሪም እነዚህን ክብደቶች ከግብዓት የአገናኝ ባህሪያት ጋር በadditional mutual information term ያገናኛል። የተገኘው GMI ቶፖሎጂካል ግትርነት ያለው እና እንደ MINE (Mutual Information Neural Estimation) [ ] ባሉ የጋራ መረጃ ነርቭ ግምቶች (Mutual Information Neural Estimation - MINE) ሊሰላ የሚችል ነው። የእኛ ስራ ዋና አስተዋፅኦዎች የሚከተሉት ናቸው: 1. 2. 2 • : የተለመደውን MI ግምገማ ወደ ገበታው ጎራ እናሰፋለን እና በዚህም መሰረት አዲስ የገበታዊ የጋራ መረጃ (GMI) ፅንሰ-ሀሳብ እናቀርባለን። GMI ከንባብ ተግባር ጋር ተያይዞ ሊመጣ የሚችለውን አደጋ ያስወግዳል ምክንያቱም ግብዓት ገበታዎች እና ከፍተኛ ደረጃ ውክልናዎች መካከል MIን በቀጥታ በሚያስደንቅ ሁኔታ ያገናዘበ ነው። ፅንሰ-ሀሳቦች • : በንድፈ ሃሳባዊ ትንተናችን፣ GMIን ተደራሽ እና ሊሰላ የሚችል ቅርጽ እንሰጣለን ይህም ሙሉ GMIን ከአከባቢ MIዎች ክብደት ባለው ድምር ይከፋፍላል። በ MINE ዘዴ እገዛ፣ GMI ማሳደግ በኖድ-ደረጃ በቀላሉ ሊደረስበት ይችላል። አልጎሪዝም • : GMIን በበርካታ ታዋቂ የኖድ ምደባ እና የአገናኝ ትንበያ ስራዎች ላይ እናረጋግጣለን ይህም ትራንስዳክቲቭ እና ኢንደክቲቭን ያጠቃልላል። ሙከራዎች እንደሚያሳዩት ዘዴያችን በተለያዩ የነጥብ መለኪያዎች ላይ ተስፋ ሰጪ አፈጻጸም ያሳየናል እናም አንዳንድ ጊዜ የክትትል ተጓዳኝዎችን ይበልጣል። የሙከራ ግኝቶች 2 ተዛማጅ ስራ በስራችን ትኩረት መሰረት፣ ባለፈው ስራ በሁለት የሚከተሉት ዘርፎች ላይ ያሉትን ስራዎች በአጭሩ እንገመግማለን፡ የጋራ መረጃ ግምገማ፣ እና በገበታዎች ላይ ውክልና ለመማር የነርቭ አውታረ መረቦች። 1. 2. . እንደ InfoMax መርህ[ ] የነርቭ አውታረ መረቦች ግብዓቶች እና ውጤቶች መካከል MIን ማሳደግን የሚደግፍ፣ እንደ ICA አልጎሪዝም[ , ] ያሉ ብዙ ዘዴዎች የ MIን ፅንሰ-ሀሳብ በክትትል-አልባ የባህሪይ ትምህርት ለመጠቀም ይሞክራሉ። ሆኖም፣ እነዚህ ዘዴዎች የከፍተኛ ልኬት ቀጣይነት ያላቸው ተለዋዋጮች መካከል MIን ለማስላት አስቸጋሪ ስለሆኑ ወደ ጥልቅ ነርቭ አውታረ መረቦች በቀላሉ ሊሰፉ አይችሉም። እንደ እድል ሆኖ፣ Mutual Information Neural Estimation (MINE) [ ] የ MI ግምገማን በጥልቅ ነርቭ አውታረ መረቦች ላይ የጋራ ስርጭትን እና የኅዳግ ብዜትን ለመለየት እንደ ምደባ የሚሰራ የስታቲስቲክስ አውታርን በማሰልጠን ይፈቅዳል። በተለይም MINE የ MIን ትክክለኛ KL-ተኮር ቅርጽ ይጠቀማል፣ ነገር ግን የ KL-አልባ አማራጭ፣ የ Jensen-Shannon divergence (JSD) [ ]፣ የ MI ትክክለኛ ዋጋ ሳይጨነቁ ጥቅም ላይ ሊውል ይችላል። የጋራ መረጃ ግምገማ 3 1 21 2 30 . በገበታ ነርቭ አውታረ መረቦች (GNNs) ፈጣን እድገት፣ ከቅርብ ዓመታት ወዲህ በ GNNs ላይ የተመሰረቱ ብዙ የገበታ ውክልና ትምህርት አልጎሪዝም ቀርበዋል፣ ይህም ከባህላዊው የዘፈቀደ የእግር ጉዞ-ተኮር እና የፋክቶራይዜሽን-ተኮር ውክልና አቀራረቦች[ , , , , ] የበለጠ ጠንካራ አፈጻጸም ያሳያሉ። በተለምዶ፣ እነዚህ ዘዴዎች ወደ ክትትል እና ክትትል-አልባ ምድቦች ሊከፈሉ ይችላሉ። ከእነዚህም መካከል፣ በገበታዎች ላይ የክትትል ውክልና ትምህርት ላይ የበለፀገ ጽሑፍ አለ[ , , , , ]. ምንም እንኳን በኔትወርክ አርክቴክቸር ልዩነት ቢኖራቸውም፣ በተግባራዊ ሁኔታዎች ላይ ተደራሽ የሆኑ መለያዎች እገዛ የሙከራ ስኬት ያገኛሉ። በዚህ ሁኔታ፣ ክትትል-አልባ የገበታ ትምህርት ዘዴዎች[ , , ] ሰፊ የአተገባበር አቅም አላቸው። በደንብ የሚታወቀው ዘዴ GraphSAGE [ ] ሲሆን፣ በክትትል-አልባ ቅንብሩ ውስጥ በዘፈቀደ የእግር ጉዞ-ተኮር ዓላማ የ GNNsን ለማሰልጠን የሚያስችል የኢንደክቲቭ ፍሬምወርክ ነው። እና በቅርብ ጊዜ፣ DGI [ ] የ MI ማሳደግን ፅንሰ-ሀሳብ ወደ ገበታው ጎራ ይተገብራል እና በክትትል-አልባ ቅጽ ውስጥ ጠንካራ አፈጻጸም ያገኛል። ሆኖም፣ DGI ግምት-አልባ የገበታ/ፓ్యాచ్-ደረጃ ማሳደግን ይተገብራል ይህም ከግብዓት ገበታው ውስጥ ያለውን ጥቃቅን መረጃ ማስቀጠል አስቸጋሪ ያደርገዋል። ከዚህም በላይ፣ DGI ውስጥ ጥቅም ላይ የዋለው የንባብ ተግባር ላይ ያለው ሁኔታ በእውነተኛ ጉዳዮች ላይ ከመጠን በላይ የተገደበ ይመስላል። በማነፃፀር፣ እኛ የንባብ ተግባርን ገደብ ለማስወገድ እና በግብዓት እና ውጤት መካከል MIን በቀጥታ በማሳደግ በኖድ-ደረጃ ገበታዊ የጋራ መረጃ ማሳደግ ላይ እናተኩራለን። በዘዴያችን የተገኙ ውክልናዎች የግብዓት ገበታ መረጃን በማስቀጠል ረገድ የበለጠ ጥቃቅን ናቸው፣ ይህም ለቀጣይ የገበታ ማዕድን ስራዎች፣ ለምሳሌ፣ የኖድ ምደባ፣ የአገናኝ ትንበያ፣ እና ውሳኔ ላይ አቅምን ያረጋግጣል። በገበታ ውክልና ትምህርት ላይ የነርቭ አውታረ መረቦች 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 ገበታዊ የጋራ መረጃ፡ ፍቺ እና ማሳደግ ከመቀጠላችን በፊት፣ በዚህ ወረቀት ላይ ጥቅም ላይ የሚውሉትን መጀመሪያ ፅንሰ-ሀሳቦች እናቀርባለን። G = (V, E) ከ ኖዶች ∈ V እና አገናኞች = ( , ) ∈ E ጋር ገበታን ያመለክት። የኖድ ባህሪያት፣ በግምት የተቀመጠው የሙከራ ስርጭት P፣ በ ∈ R × = { 1, · · · , } በኩል ይሰጣሉ፣ እዚያም ∈ R ለኖድ ባህሪይ ያመለክታል። የአድጃሴንሲ ማትሪክስ ∈ R × የአገናኝ ግንኙነቶችን ይወክላል፣ እዚያም ከአገናኝ ጋር የተያያዘ እውነተኛ ቁጥር ወይም ባለብዙ-ልኬት ቬክተር ሊሆን ይችላል1። N vi eij vi vj X N D x x N xi D vi A N N Aij eij የገበታ ውክልና ትምህርት ግቡ : R × × R × → R × ′ የተሰኘ አስተላላፊ መማር ነው፣ ስለዚህም የተደበቁ ቬክተሮች = { 1, · · · , } = ( , ) ለሁሉም ኖዶች ከፍተኛ ደረጃ ውክልናዎችን ያመለክታሉ። የኤንኮዲንግ ሂደት በኖድ-ወርድ ሊጻፍ ይችላል። f N D N N N D H h hN f X A ይህን ለማሳየት፣ ለኖድ እና ን በቅደም ተከተል የጎረቤቶቹን ባህሪያት እና ተዛማጅ የአድጃሴንሲ ማትሪክስ ከጎረቤቶች ጋር በተያያዘ እንገልፃለን። በተለይም፣ የ የ -ሆፕ ጎረቤቶች ሁሉን ያካተተ ሲሆን ≤ ከሆነ አስተላላፊው -ንብርብር GNN ከሆነ፣ እና የአድጃሴንሲ ማትሪክስ የራሱ ሉፕስ ከጨመርን የ ኖድን ያካትታል። እዚህ፣ በ እና የተስፋፋውን ንዑስ-ገበታ ለኖድ ፣ ብለን እንጠራዋለን። የንዑስ-ገበታ ትርጉም ጋር፣ ለእያንዳንዱ ኖድ ኤንኮዲንግ = (G ) = ( , ) ይሆናል። i Xi Ai Xi vi k k l f l i Xi Ai i Gi hi f i f Xi Ai በ Deep InfoMax [ ]፣ የኤንኮዲሩ የሥልጠና ዓላማ በግብዓቶቹ እና በውጤቶቹ መካከል MIን ማሳደግ ነው። MI በስታቲስቲክስ አውታርን እንደ አድልዎ በመጠቀም ከጋራ ስርጭት የመጡ ናሙናዎችን እና ከኅዳግ ብዜት የመጡ ናሙናዎችን ለመለየት ያስችላል። በተፈጥሮ፣ የ Deep InfoMaxን ፅንሰ-ሀሳብ ወደ ገበታዎች ሲያመጡ፣ ለእያንዳንዱ ኖድ በ ውክልና እና በንዑስ-ገበታ G መካከል MIን ማሳደግ አለብን። እንዲህ ያለውን የገበታ MI ( ; G ) ብለን እንገልፃለን። ሆኖም፣ I (hi ; Gi )ን መግለጽ ቀጥተኛ አይደለም። ችግሮቹም የሚከተሉት ናቸው: በገበታ የጋራ መረጃ ውስጥ ያሉ ችግሮች። 20 hi i I hi i • የገበታ MI ከኖድ ኢንዴክስ ጋር በተያያዘ ግትር መሆን አለበት። በሌላ አነጋገር፣ ( ; G ) = ( ; G′ ) መኖር አለበት፣ G እና G′ እርስ በርሳቸው አይሶሞርፊክ ከሆኑ። I hi i I hi i i i • ለ MI ስሌት MINE ዘዴን ብንጠቀም፣ በ MINE ውስጥ ያለው አድልዎ የተስተካከለ መጠን ያላቸውን ግብዓቶች ብቻ ይቀበላል። ይህ ለ የማይቻል ነው ምክንያቱም የተለያዩ ዎች በተለያዩ የኖዶች ብዛት ሊኖራቸው ይችላል እና ስለዚህ የተለያዩ መጠኖች አሏቸው። Gᵢ Gᵢ በገበታ የጋራ መረጃ ውስጥ ያሉ ችግሮችን ለማስወገድ፣ ይህ ክፍል በኖድ ባህሪያት ላይ ብቻ በሚያተኩረው Features Mutual Information (FMI) ፅንሰ-ሀሳብ በማስተዋወቅ ይጀምራል። ከ FMI መከፋፈል ተመስጦ፣ የኖድ ባህሪያትን እና 3.1 የባህሪይ የጋራ መረጃ የኖድ ባህሪያት የሙከራ ስርጭት ( )፣ የ ስርጭት ( )، እና የጋራ ስርጭት ( , ) እንጠራለን። በ መረጃ ቲዎሪ መሰረት፣ በ እና መካከል ያለው MI እንደሚከተለው ይገለጻል: Xi p Xi hi p hi p hi Xi hi Xi በጉጉት፣ ( ; )ን ለማስላት የሚከተለው የጋራ መረጃ መከፋፈል ቲዎረም አለን። I hi Xi ቲዎረም 1 (የጋራ መረጃ መከፋፈል). ( | ) ( ; ) የሁኔታ ስርጭት p hi Xi ባለብዙ-ተባዥ (multiplicative) ከሆነ (ባለብዙ-ተባዥ የትርጉም በ[ ] ይመልከቱ)፣ በ Eq. 36 (1) ላይ የተገለጸው የግሎባል የጋራ መረጃ I hi Xi እንደ የአከባቢ MIዎች ክብደት ያለው ድምር ሊበሰርስ ይችላል፣ ማለትም፣ እዚያም፣ xj የኖድ i የ j-ኛ ጎረቤት ነው፣ in በXi ውስጥ ያሉ ሁሉም ነገሮች ብዛት ነው፣ እና ክብደት wij እኩል ≤ ≤ 1 ለእያንዳንዱ j ያሟላል። 1 wij ከላይ ያለውን ቲዎረም ለማረጋገጥ፣ መጀመሪያ ሁለት ረዳት ቲዎረሞች እና አንድ ፍቺ እናስተዋውቃለን። ረዳት ቲዎረም 1. ለማንኛውም የዘፈቀደ ተለዋዋጮች X, Y, እና Z፣ አለን በቲዎረም ውስጥ ባለው መከፋፈል፣ የ Eq. ን ቀኝ ጎን በ MINE ማስላት እንችላለን ምክንያቱም አሁን ለአድልዎ ግብዓቶች የ ( , ) ጥንዶች ናቸው ይህም መጠናቸው ሁልጊዜ ተመሳሳይ ነው (ማለትም፣ ′-በ- )። በተጨማሪም፣ የግብዓት ገበታዎች የአይሶሞርፊክ ለውጥን ለማንጸባረቅ ክብደቶችን ማስተካከል እንችላለን። ለምሳሌ፣ የኖድ አንድ-ሆፕ ጎረቤቶችን ብቻ ከያዘ፣ ሁሉንም ክብደቶች እኩል በማድረግ በተለያዩ ቅደም ተከተሎች ለግብዓት ኖዶች ተመሳሳይ MIን እናመጣለን። 1 (2) hi xj D D Xi i የመከፋፈልን አንዳንድ ጥቅሞች ቢኖሩም፣ ክብደቶቹ ትክክለኛ እሴቶችን መግለጽ ከባድ ነው ምክንያቱም እነሱ ከ ( ; ) እሴቶች እና ከታች ባለው የስርጭት ስርጭታቸው ጋር የተያያዙ ናቸው። I hi xj አንድ ቀላል መንገድ ሁሉንም ክብደቶች አድርጎ መመደብ ነው፣ ከዚያም Eq. ን ቀኝ ጎን ማሳደግ የ ( ; ) ዝቅተኛ ወሰን ከማሳደግ ጋር እኩል ይሆናል፣ ይህም ትክክለኛውን FMI በተወሰነ ደረጃ ይጨምራል። ከዚህ ዘዴ በተጨማሪ፣ ክብደቶችን እንደ ሰልጠና ሊማሩ የሚችሉ ትኩረቶች[trainable attentions] በማሰብ ይበልጥ የተሻሻለ መፍትሄ እናቀርባለን፣ ይህም በሚቀጥለው ንዑስ ክፍል ርዕሰ ጉዳይ ነው። 1 (2) I hi Xi ከቲዎረም መከፋፈል ተመስጦ፣ ከገበታዎች (ማለትም፣ 3.2 ቶፖሎጂ-አስተዋይ የጋራ መረጃ 1 የቶፖሎጂ እይታ) የሰልጠና ሊማሩ የሚችሉ ክብደቶችን ለመገንባት እንሞክራለን ስለዚህም የ እሴቶች ይበልጥ ተለዋዋጭ እንዲሆኑ እና የገበታዎችን ውስጣዊ ባህሪይ እንዲይዙ። በመጨረሻም የገበታዊ የጋራ መረጃ (GMI) ፍቺ እናመሰርታለን። wij ፍቺ 2 (ገበታዊ የጋራ መረጃ). G = ( , ) በተደበቀ ቬክተር h እና በንዑስ-ገበታ X A መካከል ያለው MI እንደሚከተለው ይገለጻል እዚያም የ xj እና in ትር