AI ใหม่ของ Google แปลงรูปแบบที่ซับซ้อนเป็นรหัสที่ง่ายและสามารถแก้ไขได้

ผู้เขียน : Walker Ravina, walkerravina@google.com (Google) Ethan Sterling, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nathan Bell, nathanbell@google.com (Google) Honglei Zhuang, hlz@google.com (Google) Xuanhui Wang, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) ผู้เขียน : โบรกเกอร์ Ravina, walkerravina@google.com (Google) อิตาเนนสเติร์ลิง, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) โบสติ๊กเกอร์ โฮงเลย์ Zhuang, hlz@google.com (Google) พันธมิตรสหภาพยุโรป Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) แพทช์ วัตถุประสงค์ของการขุดเจาะแบบจําลองคือการถ่ายโอนความรู้ของรูปแบบของครูอย่างจริงจังไปยังรูปแบบที่เร็วขึ้นรวมกันมากขึ้นสามารถตีความได้มากขึ้นหรือมีคุณสมบัติที่ต้องการอื่น ๆ ความสามารถในการอ่านของมนุษย์เป็นมาตรฐานที่สําคัญและเป็นที่ต้องการสําหรับความสามารถในการตีความแบบจําลองที่เรียนรู้ด้วยเครื่อง รูปแบบที่สามารถอ่านได้โปร่งใสและสามารถตรวจสอบประมวลผลและใช้งานได้เช่นโค้ดแหล่งที่มาแบบดั้งเดิม เป็นผลให้โมเดลดังกล่าวสามารถปรับปรุงนอกพื้นฐานของการเรียนรู้ด้วยเครื่องและแก้ไขด้วยมือหากต้องการ เนื่องจากการฝึกอบรมแบบจําลองดังกล่าวโดยตรงเป็นเรื่องยากเราขอแนะนําให้ฝึกอบรมแบบจําลองที่สามารถตีความได้โดยใช้วิธีการแบบดั้งเดิมแล้วขุดเจาะให้เป็นรหัสที่สามารถอ่านได้โดยมนุษย์ วิธีการ distillation ที่นําเสนอจะมาถึงฟังก์ชั่นตัวเลขที่แตกต่างกันของรุ่นที่มีเส้นโค้งแบบชิ้นส่วนในลักษณะที่กําหนดเอง การแสดงตัวอย่างของรูปแบบโค้งที่เกิดขึ้นมีความแม่นยําสั้น ๆ สามารถอ่านได้จากมนุษย์และปรับได้โดยการก่อสร้าง เราอธิบายอัลกอริทึมการติดตั้งโค้งแบบชิ้นส่วนแบบเส้นซึ่งจะผลิตผลลัพธ์ที่มีคุณภาพสูงอย่างมีประสิทธิภาพและเชื่อถือได้ในกรณีการใช้งานที่หลากหลาย เราแสดงให้เห็นถึงประสิทธิภาพของเทคนิคการ distillation ทั้งหมดและอัลกอริทึมการติดตั้งโค้งของเราโดยใช้สี่ชุดข้อมูลในการจัดประเภทการก้าวร้าวและการจัดอันดับ แนวคิด CCS → . Computing methodologies Machine learning approaches คําสําคัญ distillation แบบ; สามารถอ่านได้จากมนุษย์; curves ชิ้นส่วนเส้น 1 บทนํา รูปแบบที่สามารถอธิบายได้เป็นสิ่งสําคัญสําหรับสถานการณ์การตัดสินใจที่สูง [ ] เช่นการให้คําแนะนําเกี่ยวกับการตัดสินใจเกี่ยวกับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับการระงับ ( ข้อเสนอส่วนบุคคล) ควรจะสามารถตรวจสอบและเข้าใจได้เพื่อให้มั่นใจได้ว่าผลลัพธ์มีความโปร่งใสความรับผิดชอบและความยุติธรรม 21 แพทย์ เพื่อให้บรรลุความสามารถในการตีความภายในฟังก์ชั่น univariate ถูกนํามาใช้กันอย่างแพร่หลายในรูปแบบที่สามารถตีความได้ ในรุ่นทั่วไปทั่วไป (GAMs) [ ] โมเดลเป็นจํานวนของฟังก์ชั่นรูปร่าง univariate 11 ที่ xi 's คือ n คุณสมบัติและ fi 's คือฟังก์ชั่นรูปร่าง รูปแบบดังกล่าวเรียบง่าย แต่มักไม่ถูกต้องกว่ารูปแบบที่มีการโต้ตอบคุณลักษณะ เมื่อเร็ว ๆ นี้ Lou ฯลฯ ] แสดงให้เห็นว่าการเพิ่มจํานวน จํากัด ของการโต้ตอบคุณลักษณะคู่ช่วยให้โมเดล additive สไตล์ GAM จะจับภาพส่วนหนึ่งที่สําคัญของความถูกต้องของรูปแบบที่โต้ตอบอย่างเต็มที่ ในหลายกรณีของความสนใจการโต้ตอบคุณลักษณะดังกล่าวจะถูกจับภาพโดยอัจฉริยะด้วยผลิตภัณฑ์ของฟังก์ชั่น univariate และ al 18 หรือผลิตภัณฑ์ของกลุ่มลักษณะ ในกรณีที่ขนาดของฟังก์ชั่นหนึ่ง (เช่น fi ) จะถูกโมดูลโดยฟังก์ชั่นหนึ่ง (เช่น gi หรือ gi, j) ของฟังก์ชั่นอื่น ๆ "เนื้อหา" (i.e.ci ) [32] ในกรณีอื่น ๆ การโต้ตอบระหว่างฟังก์ชั่นจะถูกประมาณอย่างเพียงพอโดยโมดูล additive ของฟังก์ชั่น univariate nested ในฟังก์ชั่น univariate ที่ฟังก์ชั่นภายนอก gi จับพฤติกรรมที่ไม่ใช่เชิงเส้น [7] ในความเป็นจริงคอลโมโกโรฟ-อาร์โนลด์อธิบายการแสดงผล [16, 27] รับประกันว่าแต่ละฟังก์ชั่น multivariate แบบต่อเนื่องของ n อินพุตสามารถแสดงเป็นจํานวน 2n คําดังกล่าว ในทางปฏิบัติฟังก์ชั่นภายนอกเดียวมักจะเพียงพอเพื่อให้ได้รูปแบบที่สามารถอธิบายได้ ในรูปแบบ GAM คลาสสิค splines ใช้เป็นฟังก์ชั่นรูปร่าง [ ]. ฟังก์ชั่นรูปร่างอื่นที่ใช้กันอย่างแพร่หลายคือ ฟังก์ชั่นเชิงเส้นชิ้น [ ]. ตัวอักษรเหล่านี้มีจํานวนน้อยของตัวแปร ( . knots) และจึงสั้น ๆ และสามารถอ่านได้โดยมนุษย์ อย่างไรก็ตามการเพิ่มประสิทธิภาพโดยตรงของตัวอักษรดังกล่าวมักจะให้โมเดลที่ถูกต้องน้อยกว่าตัวอักษรรุ่นทางเลือก ตัวอย่างเช่น Lou ฯลฯ ] แสดงให้เห็นว่าการเรียนรู้ spline GAMs มีความแม่นยําน้อยกว่าการเรียนรู้กระเป๋าเพิ่มขึ้นการตัดสินใจป่า GAMs การทดลองของเราแสดงผลคล้ายคลึงกันสําหรับการเพิ่มประสิทธิภาพโดยตรง GAMs ประกอบด้วยเส้นโค้งชิ้นส่วนโดยใช้วิธีการ Stochastic Gradient Descent (SGD) โดยทั่วไปการแสดงรูปแบบที่ใช้ GAMs การตัดสินใจมีข้อได้เปรียบในระหว่างการเพิ่มประสิทธิภาพรุ่น แต่รูปแบบที่เกิดขึ้นไม่ได้สามารถอ่านได้จากมนุษย์ นี่เป็นกรณีแม้ว่ามีรูปแบบที่เรียบง่ายกว่าที่มีรูปแบบที่ชัดเจนและสามารถอ่านได้จากมนุษย์ซึ่งให้ความแม่นยําที่เปรียบเทียบ 11 30 แพทย์ และ al 17 ได้รับแรงบันดาลใจจากงานการขุดเจาะแบบจําลองซึ่งสามารถขุดเจาะป่าการตัดสินใจขนาดเล็กหรือเครือข่ายประสาทได้จากชุดที่ใหญ่กว่ามาก แต่ไม่ได้รับการฝึกอบรมโดยตรงจากข้อมูลเพื่อให้ตรงกับความถูกต้องของรูปแบบที่ซับซ้อน , ] เรานําเสนอที่จะ distill โมเดลที่สามารถตีความได้ไปเป็นตัวแทนที่สามารถอ่านได้ในกระบวนการแยกต่างหากหลังจากการเพิ่มประสิทธิภาพของรุ่น นี้จะแยกตัวแทนของรุ่นเริ่มต้นที่เรียนรู้จากตัวแทนรุ่นสุดท้ายที่เผยแพร่ ตัวอย่างเช่นวิธีการ distillation ที่นําเสนอสามารถนําไปใช้กับรุ่น additive ที่ได้รับการฝึกอบรมโดยใช้ต้นไม้การตัดสินใจที่เพิ่มขึ้นด้วยถุง [ ]เช่นเดียวกับเครือข่ายประสาทเสริม 5 12 17 [ 2 ] 32) ในบทความนี้เราอธิบายเทคนิคสําหรับการขจัดโมเดลที่ประกอบด้วยส่วนประกอบที่แตกต่างกันไปเป็นตัวแทนที่สามารถอ่านได้โดยมนุษย์โดยเฉพาะอย่างยิ่งเส้นโค้งแบบชิ้นส่วนที่อธิบายไว้ในส่วน ผลผลิตของเทคนิคการ Destillation ของเราจะแสดงใน รายการ และตัวเลข ซึ่งแสดงให้เห็นการแสดงตัวอย่างทางข้อความและกราฟิกของเส้นโค้งแบบชิ้นส่วนที่ได้รับโดยใช้วิธีการของเราในการตัดสินใจ GAM ที่ได้รับการฝึกอบรมบนชุดข้อมูล COMPAS (ที่อธิบายไว้ในส่วน โมเดล distilled เป็นตัวแทนที่สั้นของรูปแบบ GAM ของป่าการตัดสินใจและจะถูกแปลงเป็นรหัสแหล่งที่สามารถอ่านได้โดยมนุษย์ จากนี้เราจะใช้ "โค้ง" เพื่ออ้างถึงโค้งเชิงเส้นชิ้นส่วน "โมเดลโค้ง" เพื่ออ้างถึงโมเดลที่มีส่วนประกอบแต่ละชิ้นเป็นโค้งและ "โค้ด" เพื่ออ้างถึงการอ้างอิงทางข้อความของรูปแบบโค้งหรือโค้ง 2.2 ชิ้น 1 1 2.1) ส่วนที่เหลือของบทความนี้ได้รับการโครงสร้างดังต่อไปนี้ หลังจากนําเสนอคําแนะนําในส่วน เราอธิบายถึงข้อดีของการใช้รูปแบบโค้งในส่วน จากนั้นเราอธิบายกระบวนการ distillation ที่ตั้งอยู่ในส่วน และอัลกอริทึมการย้อนกลับเชิงเส้นชิ้นส่วนบางครั้งเรียกว่าการย้อนกลับแบบแยกส่วน [ ] สําหรับการสร้างรูปแบบโค้งในส่วน สุดท้ายเราจะนําเสนอผลการทดลองสําหรับชุดข้อมูล: COMPAS, FICO, MSLR-WEB30K และ CWS ในส่วน และปิดกระดาษในส่วน 2 คน 3. 4 30 5. 6 7. 2 การเริ่มต้น ในบทความนี้เราจะใช้ชุดข้อมูลที่ใช้ในบทความนี้เป็นตัวอย่างเฉพาะเจาะจงเพื่ออธิบายวิธีการของเรา ดังนั้นเราจะอธิบายพวกเขาในส่วนนี้ก่อน นอกจากนี้เรายังให้คําจํากัดความอย่างเป็นทางการของโค้งเชิงเส้นในส่วนนี้ 2.1 ชุดข้อมูล เราใช้สี่ชุดข้อมูลต่อไปนี้เพื่อแสดงให้เห็นถึงการตั้งค่าที่แตกต่างกัน: การจัดอันดับการปฏิทินและการจัดอันดับ สามชุดแรกสามารถใช้ได้โดยสาธารณะ ชุดข้อมูล COMPAS1 เป็นผลมาจากการสํารวจ ProPublica [4] ในข้อผิดพลาดทางเพศที่เป็นไปได้ของคะแนนโมเดล COMPAS ที่เป็นเจ้าของสําหรับผู้พิพากษาใน Broward County, Florida ชุดข้อมูลนี้ได้รับการศึกษาอย่างแพร่หลายในแง่ของข้อผิดพลาดความยุติธรรมและความสามารถในการตีความ [8, 9, 14, 23] แท็กเป็นแบบไบนารีและแสดงให้เห็นว่าการย้อนกลับเกิดขึ้นกับบุคคลภายในระยะเวลาหรือไม่ เราใช้พื้นที่ภายใต้เส้นโค้งลักษณะการดําเนินงานของผู้รับ (AUC-ROC) เพื่อวัดความถูกต้องของเครื่องจําลอง COMPAS มี 6 คุณสมบัติและมีสี่ตัวอย่างในบทความนี้: อายุ, priors_count, ความยาว_of_stay และ c_charge_degree ชุดข้อมูล FICO [1] ประกอบด้วยแอปพลิเคชันเครดิตแบบไม่ระบุชื่อในโลกจริงพร้อมกับคะแนนความเสี่ยง แท็กเป็นคะแนนความเสี่ยงสําหรับบุคคล เราใช้ข้อผิดพลาดเฉลี่ยสี่เหลี่ยมผืนผ้า (RMSE) เพื่อวัดความถูกต้องของการล้มเหลว FICO มี 24 fea-tures และเราใช้คุณสมบัติสองตัวอย่างในบทความของเรา: MSinceMostRecentDelq, Months Since Most Recent Delinquency; PercentTradesWBalance, Percent Trades with Balance MSLR-WEB30K Dataset [19] เป็นชุดข้อมูลที่ใช้กันอย่างแพร่หลายในการเรียนรู้-to-ranch benchmark แท็กคือการตัดสินความเกี่ยวข้องต่อเอกสาร เราใช้ผลกําไรที่ลดลงตามมาตรฐานที่ k = 5 (NDCG@5) เพื่อวัดความถูกต้องของ ranker MSLR-WEB30K มีขนาดใหญ่อย่างมีนัยสําคัญทั้งในจํานวนคุณสมบัติ (136) และจํานวนตัวอย่างการฝึกอบรม (~2,000,000 ต่อพับการยืนยันข้าม) เราใช้มันเพื่อเปรียบเทียบอัลกอริทึมการประมาณการโค้งของเรากับ pwlf [13] ซึ่งเป็นทางเลือกที่สามารถใช้ได้โดยสาธารณะบนพื้นฐานของความแม่นยําความแข็งแรงและประสิทธิภาพ เราใช้คุณสมบัติสองตัวอย่างในบทความของเรา: feature_0011, Body length feature;_0128, Inlink number. ชุดข้อมูล Chrome Web Store (CWS) เป็นชุดข้อมูลส่วนตัวและไม่ระบุชื่อที่มาจากบันทึก Chrome Web Store คําถามแต่ละคําถามตรงกับการเยี่ยมชม Chrome Web Store รายการในแต่ละคําถามเป็นรายการที่แสดงให้ผู้ใช้ แท็กสอดคล้องกับการกระทําของผู้ใช้เช่นคลิกติดตั้งให้แน่ใจว่าการจัดอันดับมีความถูกต้อง ชุดข้อมูลที่คล้ายคลึงกัน แต่แตกต่างจาก Chrome Web Store ได้รับการศึกษาก่อนหน้านี้โดย Zhaung et al. [32] ในความแตกต่างจากงานก่อนหน้านี้ในกรณีนี้เราไม่ได้ใช้คุณสมบัติ "พื้นฐาน" ระดับคําถาม แต่ใช้คุณสมบัติระดับรายการ 14 เท่านั้น คําถามยังแตกต่างกัน ในแต่ละกรณีเรา distill a decision forest GAM และประเมินความถูกต้องของรูปแบบโค้ง distilled COMPAS และ FICO ชุดข้อมูลเป็นโดเมนที่มีความเสี่ยงสูง [ ] ซึ่งข้อดีของโมเดลโค้งที่กล่าวถึงด้านล่างมีความน่าเชื่อถือโดยเฉพาะอย่างยิ่ง FICO, MSLR-WEB30K และ CWS ได้รับการศึกษาก่อนหน้านี้ในแง่ของความสามารถในการตีความ นอกจากนี้ผลลัพธ์จาก MSLR-WEB30K แสดงให้เห็นว่าความถูกต้องของวิธีการนี้ไม่ จํากัด เฉพาะชุดข้อมูลขนาดเล็ก 21 [ 2 ] 7 18 32) 2.2 รูปร่างเชิงเส้น รูปร่างโค้งเชิงเส้น ( ) ถูกกําหนดโดยรายการของจุดควบคุม S = [(xk , yk )]K k = 1 ซึ่งเส้นโค้งต้องผ่าน ระหว่างจุดควบคุมค่าเอาต์พุต y จะถูกกําหนดโดยการดําเนินการ interpolation เส้นระหว่างจุดควบคุมที่อยู่ใกล้ ข้ามจุดควบคุมที่ซ้ายที่สุดหรือที่ขวาที่สุดค่าเอาต์พุตจะถูก จํากัด ไปยังค่า yk ของจุดควบคุมที่อยู่ใกล้ อย่างไรก็ตามในทางฟอร์มมากขึ้นการจําแนกว่า xk 's เป็นคําสั่งเช่น xk < xk + 1 การกําหนดของเส้นโค้งแบบชิ้นส่วนสามารถอธิบายได้ว่า: PWLCurve ในกรณีส่วนใหญ่ของความสนใจ 5 หรือ 6 จุดควบคุมการกําหนด 4 หรือ 5 ส่วนภายในก็เพียงพอที่จะจับภาพพฤติกรรมที่ต้องการ เราอนุญาตให้มีการเปลี่ยนแปลงทางเลือก x ที่ระบุด้วยตัวอักษร fx เพื่อให้สอดคล้องกับเส้นโค้งกับข้อมูลที่มีสแควร์ที่แตกต่างกัน เมื่อมีการเปลี่ยนแปลง x จะถูกนําไปใช้กับค่าอินพุตและ x-values ของจุดควบคุมทั้งหมดจากนั้นการโต้ตอบเชิงเส้นจะดําเนินการในพื้นที่ที่แปลง เราสนับสนุนการเปลี่ยนแปลง identity (default), log, log1p และ symlog1p ที่นี่ symlog1p ถูกกําหนดไว้เป็น sgn(x) * log1p(abs(x)) และเหมาะสําหรับคุณสมบัติที่มีความแตกต่างสูงซึ่งใช้ทั้งค่าเชิงบวกและเชิงลบ ฟังก์ชั่นประเภท Univariate เป็นตัวแทนโดย EnumCurve ซึ่งนําค่าอินพุตไปยังเอาต์พุต 3 พื้นหลังและแรงจูงใจ รูปแบบที่สามารถตีความได้เป็นสิ่งสําคัญสําหรับการตัดสินใจที่สูง [21] และให้ข้อได้เปรียบมากมายเมื่อเทียบกับโครงสร้างรูปแบบที่ซับซ้อนขึ้น [ , ]. ในส่วนนี้เราอธิบายว่าการขดลวด mod-els ที่สามารถอธิบายได้ในรูปแบบโค้งช่วยเสริมสร้างประโยชน์เหล่านี้และตอบสนองความท้าทายทางวิศวกรรมในโลกจริง ที่นี่หนึ่งในธีมพื้นฐานคือการขดลวดโมเดลเป็นรหัสแหล่งที่สามารถอ่านได้จากมนุษย์ . 6 10 ลดปัญหาการเรียนรู้เครื่องใหม่ลงไปเป็นปัญหาวิศวกรรมซอฟต์แวร์ที่มีการแก้ปัญหาที่มีอยู่มากมาย 3.1 ความโปร่งใสมากขึ้น โมเดลมีความโปร่งใสหากให้การแสดงออกทางข้อความหรือกราฟิกที่ช่วยให้พฤติกรรมของมันสามารถเข้าใจได้อย่างครอบคลุม วิธีหนึ่งที่วิธีการที่นําเสนอให้ความโปร่งใสมากขึ้นคือการประเมินการแสดงออกทางกราฟิกของรูปแบบในขณะที่ยังคงรักษาคุณสมบัติที่สําคัญ มันมักจะอ้างว่ารูปทรงของรูปแบบที่สามารถอธิบายได้ ของรูปแบบและดังนั้นให้วิธีการที่เชื่อถือได้ในการเข้าใจรูปแบบ ในขณะที่ข้อกําหนดนี้เป็นความจริงอย่างเคร่งครัดก็เป็นข้อผิดพลาดโดยทั่วไป หากไม่ได้ให้คําแนะนําโดยเฉพาะอย่างยิ่งมนุษย์จะลดค่าธรรมเนียมรายละเอียดบางอย่างของเหตุการณ์เมื่อพัฒนาความเข้าใจของรูปแบบ โดยการกระจายรูปแบบที่สามารถตีความได้ให้เป็นตัวแทนที่สั้น ๆ เราจะยกเลิก char-acteristics อื่น ๆ และลดความพยายามทางจิตที่จําเป็นในการเข้าใจรูปแบบ ตัวอย่างเช่นมันไม่ชัดเจนทันทีว่าความเข้าใจของบุคคลควรมาจากรูปแบบของเหตุการณ์ของ feature_0011 (ความยาวของกระแสของร่างกาย) และ feature_0128 (หมายเลขการเชื่อมโยง) คุณสมบัติในรูปแบบ MSLR-WEB30K ที่ได้รับการเรียนรู้ครั้งแรกแสดงในภาพ ในความเป็นจริงบุคคลที่แตกต่างกันอาจได้รับความเข้าใจที่แตกต่างกันในเชิงคุณภาพจากตัวอักษรกราฟิกเหล่านี้ อย่างไรก็ตามเนื่องจากความรู้เพิ่มเติมที่โมเดลโค้งขยะที่แสดงโดยโค้งที่ครอบคลุมในภาพ มีความแม่นยําเกือบเหมือนกันผู้สังเกตสามารถทําข้อสรุปที่แข็งแกร่งมากขึ้นเกี่ยวกับคุณสมบัติที่สําคัญของรุ่น ความสามารถในการตีความสามารถเพิ่มขึ้นโดยการบังคับให้ข้อ จํากัด ของ monotonicity เราพูดถึงผลกระทบของข้อ จํากัด ในส่วน คําอธิบายที่แน่นอน 2. 2 6.4 แน่นอนเมื่อการขัดขวางให้เกิดรูปแบบที่เรียบง่ายขึ้นที่มีความแม่นยําที่เปรียบเทียบเราจะบอกว่ากระบวนการขัดขวางประสบความสําเร็จ อย่างไรก็ตามกรณีที่การขัดขวางให้เกิดรูปแบบที่มีความแม่นยําที่ต่ํากว่าต้องมีการสํารวจเพิ่มเติมเนื่องจาก "ความล้มเหลว" ที่เห็นได้ชัดมักจะถูกอ้างถึงคุณสมบัติที่สําคัญของรูปแบบครูที่ไม่ได้ถ่ายโอนประสบความสําเร็จให้กับนักเรียน เราตรวจสอบตัวอย่างที่เป็นตัวแทนของปรากฏการณ์นี้ในส่วนหนึ่ง ในขณะที่การอภิปรายอย่างเต็มที่เกี่ยวกับหลักการนี้เกินขอบเขตของบทความนี้เราสังเกตเห็นว่าแนวคิดนี้สามารถมองเห็นได้ว่าเป็นการขยายตัวของการใช้ข้อ จํากัด ของโครงสร้างเพื่อกําหนดรูปแบบ "สามารถตีความได้" ซึ่งตอนนี้ใช้กับโครงสร้างของฟังก์ชั่นแต่ละตัวในรูปแบบ ภายใต้นโยบายนี้หากความถูกต้องของรูปแบบผู้สมัครไม่สามารถทําซ้ําได้โดยใช้คลาสที่กําหนดไว้ล่วงหน้าของฟังก์ชั่นที่แสดงออก "ในระดับมนุษย์" ( . curves กับจํานวนเล็ก ๆ น้อย ๆ ของจุดควบคุมที่ตัด) ความโปร่งใสของมันจะถูกสงสัย เพราะพวกเขาละเมิดแนวคิดที่กําหนดไว้เกี่ยวกับความสามารถในการตีความของมนุษย์ 6.2 แพทย์ 3.2 การปรับตัวแบบสร้างสรรค์ วิธีการที่นําเสนอยังสามารถมองเห็นได้ว่าเป็นกระบวนการปรับตามลําดับ post-hoc ที่เข้ากันได้กับและเสริมด้วยเทคนิคปรับตามลําดับการปรับตามลําดับ ( . การลงโทษ L1/L2 หรือข้อ จํากัด ของ monotonicity) ในแง่มุมของความถูกต้องความเข้มข้นของเราเกี่ยวกับความสั้น ๆ จะสอดคล้องกับหลักการความยาวคําอธิบายขั้นต่ํา [ ] สําหรับตัวเลือกรูปแบบ Ustun และ Rudin [ ] ใช้เหตุผลที่คล้ายคลึงกันเพื่อสร้างแรงจูงใจสําหรับรูปแบบเชิงเส้นที่มีน้ําหนักขนาดเล็กที่มีค่ารวม ความยาวคําอธิบายที่ จํากัด ของเส้นโค้งให้ความจุที่ จํากัด สําหรับการจับภาพพฤติกรรม idiosyncratic เป็นผลให้การขจัดเส้นโค้งกําจัดความผิดปกติจากฟังก์ชั่นของรูปแบบครู ผลการปรับตัวนี้สามารถเห็นได้ในภาพ และตัวเลข ชิ้นส่วนน้อยยิ่งผลกระทบยิ่งใหญ่ เพื่อหารูปแบบโค้งที่สั้นที่สุดเราสามารถใช้วิธีการที่นําเสนอได้หลายครั้งด้วยจํานวนจุดควบคุมที่ลดลง โดยธรรมชาติความเหมาะสมของวิธีการนี้จะอยู่ภายใต้ข้อ จํากัด ของวิธีการ Destillation Localized ของเรา (ดูส่วน) และอัลกอริทึมการเข้าถึงโค้ง (ดูส่วน ในขณะที่มันเป็นเรื่องยากที่จะเปรียบเทียบแบบจําลองที่มีการแสดงฟังก์ชั่นที่แตกต่างกันโดยตรงการเปรียบเทียบความยาวและความสามารถในการอ่านของรหัสที่สอดคล้องกันของพวกเขาเป็นคําแนะนํา แพทย์ 28 24 1 2. 4) 5 ) หนึ่งในข้อได้เปรียบทางปฏิบัติของการกําหนดค่าตามแนวโค้งคือความถูกต้องตามปกติจะถูกบังคับโดยการก่อสร้างและความซับซ้อนของแนวโค้งแต่ละตัวเป็นที่เห็นได้ชัดและสามารถวัดได้ ดังนั้นองค์กรที่ใช้รูปแบบแนวโค้งสามารถตั้งคําแนะนําวัตถุประสงค์เกี่ยวกับความซับซ้อนของรูปแบบที่นักพัฒนาสามารถคาดหวังเมื่อส่งผู้สมัครแบบจําลองให้ได้รับการอนุมัติ คําแนะนําดังกล่าวสามารถระบุจํานวนส่วนโค้งสูงสุดจํานวนตัวเลขที่สําคัญสูงสุดต่อจุดควบคุมแนวโค้งหรือความโดดเด่นของแนวโค้ง เช่นเดียวกับการใช้ตัวเลขไม่มีตัวเลขในการเข้ารหัสลับ [ ] รูปแบบโค้งช่วยให้ผู้พัฒนาสามารถแก้ไขข้อสงสัยเกี่ยวกับข้อบกพร่องที่เป็นไปได้ได้อย่างระมัดระวังและพิสูจน์ความแข็งแกร่งของตัวเลือกรุ่นที่กําหนด โดยทั่วไปการกําหนดมาตรฐานการพัฒนารอบรูปแบบโค้งเป็นวิธีที่ง่ายสําหรับองค์กรที่จะบังคับใช้แนวทางปฏิบัติที่ดีที่สุดอย่างมีระบบป้องกันข้อผิดพลาดและความล้มเหลวที่พบบ่อยและตรวจสอบและอนุมัติรูปแบบอย่างรวดเร็ว ธรรมชาติที่สามารถอ่านได้ของรูปแบบโค้งช่วยให้สมาชิกขององค์กรนอกเหนือจากวิศวกร ( . ผู้จัดการผลิตภัณฑ์ ฯลฯ ) เพื่อเข้าร่วมกระบวนการอนุมัตินี้ 29 แพทย์ 3.3 รหัสที่สามารถอ่านได้ รหัสรูปแบบโค้ดสามารถอ่าน, ตรวจสอบ, เก็บและแปลงเวอร์ชันได้เหมือนรหัสแหล่งที่มาแบบดั้งเดิม รูปแบบตัวอย่างสําหรับชุดข้อมูล COMPAS แสดงใน รายการ หนึ่งสามารถเข้าใจว่ารูปแบบโค้งจะพฤติกรรมอย่างไรภายใต้เงื่อนไขใหม่หรือรุนแรงโดยการ “ประเมิน” แบบจําลองภายใต้สถานการณ์ “อะไรถ้า” แบบจําลองโดยไม่จําเป็นต้องใช้เครื่องมือเพิ่มเติม การนําโมเดลไปใช้กระบวนการตรวจสอบรหัสแหล่งที่มาแบบดั้งเดิมจะช่วยให้การตรวจสอบคุณสมบัติของโมเดลอย่างเข้มงวดและมีความรับผิดชอบมากขึ้นกว่าที่เป็นไปได้กับโมเดลที่ไม่สามารถอ่านได้ ในความเป็นจริงการดําเนินการ “การตรวจสอบโมเดล” ผ่านการตรวจสอบรหัสแหล่งที่มาทําให้มั่นใจได้ว่าโมเดลผู้สมัครตัวเองไม่ใช่คําอธิบายหรือวัตถุประสงค์ที่แยกต่างหากอาจไม่สอดคล้องกันของโมเดลหรือวิธีการที่ได้รับการฝึกอบรมเป็นวัตถุประสงค์ของการตรวจสอบ ในกรณีที่พฤติกรรมโมเดลที่ไม่พึงประสงค์จะถูก . [ ] พูดคุยว่าวิธีการฝึกอบรมดังกล่าวด้วยคุณสมบัติที่พึงประสงค์และจากนั้นลบพวกเขาอาจดีกว่าการฝึกอบรมโดยไม่ต้องคุณสมบัติที่พึงประสงค์ วิธีนี้สามารถป้องกันไม่ให้รูปแบบจากการสกัดพึงประสงค์ผ่านคุณสมบัติอื่น ๆ ที่เกี่ยวข้องกับคุณสมบัติที่พึงประสงค์ 1. และ al 2 ความโปร่งใสของรูปแบบเป็นสิ่งจําเป็นในแง่มุมของการตัดสินใจที่สําคัญ [ ] ที่เกิดขึ้นในด้านการศุลกากรการเงินการดูแลสุขภาพและสาขาอื่น ๆ การให้แหล่งที่มาที่สมบูรณ์ของรุ่นในรหัสที่สามารถอ่านได้ง่ายแบบพกพาทําให้รุ่นโปร่งใส เมื่อเทียบกับรุ่นที่สามารถอ่านได้โดยมนุษย์ที่ผลิตโดย CORELS [ ], ซึ่งแสดงออกในภาษาที่เข้าใจได้โดยทั่วไป, รูปแบบโค้งเสียค่าความสามารถในการเข้าถึงเพื่อการแสดงออกที่ยิ่งใหญ่ขึ้นและใช้เพื่อวัตถุประสงค์ทั่วไป 21 3 3.4 การพัฒนารูปแบบการทํางานร่วมกัน distillation curve เป็นการเข้ากันได้กับอัลกอริทึมหรือเทคนิคการจําลองใด ๆ ที่นําไปสู่ฟังก์ชั่น univariate ในส่วนการทดลองเราใช้เทคนิคที่เสนอเพื่อตัดสินใจ GAM ของป่าในชุดข้อมูลต่างๆ งานก่อนหน้านี้ [ ] แอพลิเคชันเทคนิคที่นําเสนอเพื่อ GAMs เรียนรู้ผ่านเครือข่ายประสาทเช่นเดียวกับเครือข่ายประสาทที่คล้ายคลึงกันที่มีการโต้ตอบ จํากัด ผ่านคู่ multiplicative การจัดระเบียบการพัฒนาร่วมกันรอบรูปแบบโค้งช่วยให้วิศวกรสามารถใช้เครื่องมือเทคนิคหรือแพลตฟอร์มต่าง ๆ เพื่อเพิ่มประสิทธิภาพส่วนประกอบของรุ่น (ที่มีศักยภาพขนาดใหญ่) วิศวกรมีอิสระที่จะเลือกวิธีการจําลองที่เพิ่มประสิทธิภาพของพวกเขาเช่นเดียวกับวิธีการวิศวกรใช้ IDEs หลายรูปแบบรหัสหรือ linters เพื่อพัฒนาซอฟต์แวร์ร่วมกัน distillation curve สามารถมองเห็นเป็นเครื่องมือ "การแปลงรูปแบบ" ที่แปลตัวแทนรูปแบบที่เป็นอิสระและมีศักยภาพแปลเป็นคําศัพท์ที่กําหนดไว้ในบล็อกอาคารที่สามารถอ่านได้โดยมนุษย์ 32 3.5 การกระจายตัวโดยตรง รูปแบบโค้งมีความเร็วในการประเมินและใช้งานง่าย เนื่องจากการประเมินต้องใช้การคํานวณขั้นต่ําเพียงไม่กี่การดําเนินงานจุดลอยต่อโค้ง รูปแบบโค้งเหมาะสําหรับแอปพลิเคชันที่มีความสําคัญต่อประสิทธิภาพ Curves เป็นตัวแทนแบบพกพาที่ไม่ใช่แพลตฟอร์มที่สามารถสนับสนุนได้ในภาษาหรือระบบต่าง ๆ ด้วยความพยายามเล็กน้อย ตัวอย่างเช่น Listing แสดงการประยุกต์ใช้ C++ ของรุ่น COMPAS ที่มี 2 ชิ้น โดยทั่วไปรูปแบบโค้งจะใช้งานง่ายเนื่องจากมีตัวเลือกการบูรณาการมากมาย Curves สามารถบูรณาการลงในไฟล์การกําหนดค่าผ่านพารามิเตอร์ CGI เข้าสู่แอปพลิเคชันที่ซับซ้อนด้วยตนเองในรูปแบบชิ้นส่วนอย่างเป็นระบบแปลเป็นตัวแทนเป้าหมายหรือประเมินโดยระบบ runtime ที่มีอยู่ด้วยการขยายตัวขั้นสูงไม่กี่ตัว 2 4 การกระจายตัวที่ตั้ง กระบวนการขัดขวางของเราใช้สองอินพุต: รุ่นครูที่มีฟังก์ชั่น univariate หนึ่งหรือมากกว่าและชุดข้อมูลตัวแทน (โดยทั่วไปข้อมูลการฝึกอบรม) วิธีการของเราแตกต่างจากเทคนิคการขัดขวางแบบดั้งเดิมในสิ่งที่เรา (1) distill each univariate function in isolation and (2) optimize for mean square error (MSE) when approximating each univariate function. Specifically, each univariate function in the teacher model is evaluated on the dataset to produce representative (x, y) example pairs. For discrete categorical features we create a mapping where each unique x is mapped to the mean y. For numerical features, we produce a ใช้อัลกอริทึมการเข้าถึงที่อธิบายไว้ในส่วน หากรุ่นของครูมีฟังก์ชั่น univariate ที่อยู่ภายในฟังก์ชั่น univariate อื่น ๆ เราแทนที่ฟังก์ชั่นแหล่งที่มาในรูปแบบด้านล่างขึ้นไป มิฉะนั้นฟังก์ชั่นที่ไม่ได้เป็นนิ้วสามารถประมาณได้ใน paralel PWLCurve 5. โมเดลสุดท้ายถูกสร้างขึ้นโดยการแทนที่ฟังก์ชั่น Univariate แบบเดิมด้วยฟังก์ชั่น Univariate ความใกล้ชิด PWLCurve ตามปกติการ Destillation แบบประกอบด้วยการเพิ่มประสิทธิภาพระดับโลกโดยใช้วัตถุประสงค์เดียวกัน (หรืออย่างน้อยคล้ายกัน) กับการฝึกอบรมแบบจําลองครูเดิม วัตถุประสงค์นี้อาจแตกต่างจากวัตถุประสงค์ MSE แบบจุด ตัวอย่างเช่นวัตถุประสงค์การจัดอันดับมักจะมีการกําหนดค่าแบบคู่ ดังนั้นทําไมเราจึงสนับสนุนการเพิ่มประสิทธิภาพระดับท้องถิ่นโดยใช้วัตถุประสงค์ MSE ในทุกสถานการณ์ คําตอบหลักคือในขอบเขตของรูปแบบที่สามารถตีความได้มีค่าอย่างมีนัยสําคัญในการรักษาความสอดคล้องที่แข็งแกร่งแบบหนึ่งต่อหนึ่งระหว่างฟังก์ชั่นแหล่งที่มาและฟังก์ชั่นเป้าหมาย หมายเหตุคือสิ่งนี้ช่วยให้เราสามารถมองเห็นฟังก์ชั่นรูปร่างแต่ละรูปแบบในรูปแบบของครูต่อการเปลี่ยนเส้นโค้งที่สอดคล เราสามารถบอกได้ทันทีว่าฟังก์ชั่นรูปร่างของ x1 ไม่ได้เข้าถึงได้โดยเส้นโค้ง ในส่วนการทดลองเราแสดงให้เห็นว่าพฤติกรรมที่มีความหมายของฟังก์ชั่นรูปร่างเกือบทั้งหมดสามารถจับได้อย่างแม่นยําโดยเส้นโค้งที่มีสามถึงห้าส่วน นอกจากนี้เมื่อพฤติกรรมที่มีความหมายไม่ได้รับการจับมันเป็นเรื่องปกติเนื่องจากพฤติกรรมที่ไม่สามารถตีความได้โดยธรรมชาติจะหายไป 5 ในขณะที่วิธีการเพิ่มประสิทธิภาพระดับโลก ( . การเพิ่มประสิทธิภาพพารามิเตอร์ของเส้นโค้งทั้งหมดในรุ่นเป้าหมายพร้อมกัน) โดยใช้เมตริกที่เฉพาะเจาะจงปัญหาอาจทําให้เกิดผลลัพธ์ที่แม่นยําขึ้นมีค่าใช้จ่ายในการคํานวณมากขึ้นและจะขาดการสอดคล้องแบบหนึ่งต่อหนึ่งเดียวกันกับรูปแบบครูทําให้ความล้มเหลวในการขุดเจาะยากกว่าในการวินิจฉัย นอกจากนี้หากต้องการความแม่นยําสูงขึ้นสามารถใช้ผลผลิตของกระบวนการขุดเจาะที่นําเสนอเพื่อเริ่มต้นการเพิ่มประสิทธิภาพระดับโลกของพารามิเตอร์ของรูปแบบเส้นโค้ง ภาษาไทย 5 รูปร่างเชิงเส้นของชิ้นส่วน เนื่องจากฟังก์ชั่นตัวเลขที่สม่ําเสมอ f (x) → y เป้าหมายของเราคือการผลิต c (x) → y ที่ใกล้ชิดอย่างจริงจัง f (x) โดยการลด MSE (c(x), f (x)) เกี่ยวกับข้อมูลตัวอย่าง เป็นที่ชัดเจนว่าความถูกต้องของวิธีการ Destillation ทั้งหมดขึ้นอยู่กับความถูกต้องของวิธีการใกล้ชิดโค้งแต่ละคน - การสูญเสียเมตริกจํานวนมากที่เกิดขึ้นเมื่อแต่ละ c (x) ถูกแทนที่ด้วย f (x) ที่สอดคล้องกันในรุ่นที่ได้รับการฝึกอบรม PWLCurve ภาษาไทย นอกจากนี้การประสบความสําเร็จทางปฏิบัติของวิธีการนี้ยัง de- มุ่งเน้นไปที่ความแข็งแกร่งและความมีประสิทธิภาพของอัลกอริทึมการเข้าถึง เพื่อให้สามารถใช้ distillation curve ในท่อการฝึกอบรมแบบจําลองได้อัลกอริทึมการเข้าถึงต้องทํางานด้วยการกําหนดค่าขั้นต่ํา hyperparameter ที่ซับซ้อนเป็นอุปสรรคที่สําคัญในการเข้าถึง เราได้ออกแบบ , อัลกอริทึมการเข้าถึงเชิงเส้นชิ้นส่วนของเราเพื่อให้ผู้ใช้ในทางปฏิบัติเพียงต้องพิจารณา และ (Monotonicity) พารามิเตอร์ ในขณะที่ = 5 ชิ้นและ =ข้อผิดพลาดเพียงพอที่จะได้รับความแม่นยําสูง (ตามที่พิสูจน์โดยการทดลองของเรา) มันเป็นความปรารถนาที่จะตรวจสอบว่ารูปแบบสามารถทําให้ง่ายขึ้นด้วยกลุ่มน้อยลงหรือด้วยข้อ จํากัด ของความมืดหยุ่น เพื่ออํานวยความสะดวกในการปฏิเสธดังกล่าวเป็นสิ่งสําคัญที่การขัดขวางทํางานได้อย่างรวดเร็ว ( . น้อยกว่า 1 วินาทีต่อฟังก์ชั่น) ซึ่งช่วยให้การวิเคราะห์แบบโต้ตอบผ่านบันทึก Jupyter [ ] หรือเครื่องมืออื่น ๆ การพิจารณาทางปฏิบัติเหล่านี้ได้แจ้งให้ทราบถึงการตัดสินใจต่างๆในการออกแบบ โดยเฉพาะอย่างยิ่งเราชอบอัลกอริทึมที่ให้ผลลัพธ์ความแม่นยําสูงอย่างรวดเร็วและเชื่อถือได้ด้วยการกําหนดค่าขั้นต่ํากว่าอัลกอริทึมที่เหยื่อการพิจารณาในทางปฏิบัติเหล่านี้เพื่อให้ได้ผลลัพธ์ที่มีความแม่นยําขั้นต่ํา pwlfit num_segments mono num_segments mono แพทย์ 15 pwlfit ในส่วนนี้เราจะอธิบายคุณสมบัติที่โดดเด่นและคุณสมบัติที่น่าสังเกตของ เราขอเชิญผู้อ่านที่สนใจให้ดูรหัสแหล่งที่มาของ ภาษาไทย ], for additional details. pwlfit pwlfit 22 5.1 Algorithm Given a list of (𝑥, 𝑦, 𝑤𝑒𝑖𝑔ℎ𝑡) points and a desired number of segments 𝑘, we search for a เพื่อลดความผิดพลาดสี่เหลี่ยมเฉลี่ย MSE. A with 𝑘 segments is characterized by its 𝑘 + 1 control points – a set of 𝑥-knots and their corresponding 𝑦-knots. Given only the 𝑥-knots, we can solve a linear least squares expression for the optimal 𝑦-knots and the resulting error. Since we don’t know the correct 𝑥-knots, we search through the space of possible 𝑥-knots and solve a least squares expression at each step to calculate the error.2 PWLCurve PWLCurve For performance, we randomly down-sample large datasets to approximately one million points before fitting. We downsample to reduce the cost of sorting, which dominates the runtime for large data. This downsampling imposes a negligible quality loss. To further reduce runtime, we discretize the search space for 𝑥-knots. We choose x-values จากข้อมูลที่แยกกันอย่างเท่าเทียมกันโดยน้ําหนักสะสมและค้นหาการรวมกันของ x-knots จากชุดตัวอย่างของผู้สมัคร ที่ใช้ตัวอย่างเริ่มต้น 100 ผู้สมัครของเราคือ x-values ที่ (0%, 1.01%, . . . , 98.9%, 100%) ของน้ําหนักสะสม 5.1.1 การลดตัวอย่างเริ่มต้น num_samples For data with many repeated 𝑥-values, some of our candidates will be duplicates. For example, 55% of the values in the length_of_stay feature in the COMPAS data set are 0 or 1. In such cases, we iteratively resample at higher rates (such as 0%, 0.505%, 1.01%, etc.) until we collect a suitable number of distinct candidates, never exceeding the specified พารามิเตอร์ 5.1.2 การยกเลิกการยกเลิก num_samples To minimize the cost of each linear least squares step, we condense the data using a novel technique de-scribed in Appendix ไวน์ ปั๊ม candidate เราสามารถรัดข้อมูลเต็มรูปแบบเป็นสองจุดสังเคราะห์ต่อคู่ candidates ที่อยู่ข้างกันโดยรวม 2 * ( - 1) จุดสังเคราะห์ สําหรับฟังก์ชั่นใด ๆ ที่เป็นเชิงเส้นระหว่างแต่ละคู่ของตัวเลือก X-knots ที่อยู่ใกล้ซึ่งรับประกันโดยการเลือกตัวเลือกที่แตกต่างกันของเรา 5.1.3 การระงับ บ num_samples num_samples เราเรียกใช้ตัวแก้ปัญหาเชิงเส้นขนาดเล็กที่สุดของสี่เหลี่ยมบนจุดที่แข็งแกร่งแทนที่ชุดข้อมูลเต็มรูปแบบซึ่งลดค่าใช้จ่ายต่อการแก้ปัญหาของเราจาก O(num_points) ถึง O( ). This is purely a performance optimization, with no quality implications. num_samples After discretization, the solution space consists of num_samples num_segments+1 𝑥-knot combinations, which is still too large for an exhaustive search. To make the search tractable we use a greedy search heuristic that optimizes one 𝑥-knot at a time. Specifically, at each step of the process we evaluate the error associated with each candidate 𝑥-knot, and keep the candidate that yields the least error. With this approach, we optimize in two stages. We begin with a single 𝑥-knot as our solution, and greedily add the best remaining candidate 𝑥-knot until our solution consists of (num_segments + 1) 𝑥-knots. Then we cycle through our solution, removing one 𝑥- knot at a time and replacing that 𝑥-knot with the best remaining candidate 𝑥-knot, which could be the same 𝑥-knot that we just removed. We continue this cycle of iterative improvements until our solution converges, or until we’ve exceeded the maximum number of iterations (defaulting to 10 iterations). 5.1.4 การเพิ่มประสิทธิภาพทั่วโลกผ่าน Greedy Search . pwlfit can impose a minimum and/or maximum slope on the solution via bounded least squares. Instead of solving the least squares expression directly for the 𝑦-knots, we solve it for the deltas between adjacent 𝑦-knots. 5.1.5 Slope Constraints & Monotonicity. Then we impose a min/max slope by bounding the deltas. Slope restrictions can be used to limit the spikiness of curves, but we primarily use them to impose monotonicity. For example, specifying =0 restricts to monotonically non-decreasing functions while =0 restricts to monotonically non-increasing functions. Specifying a greater than 0 or a less than 0 restricts to strictly increasing or decreasing functions, respectively. can deduce the direction of monotonicity by applying iso-tonic regression [ ] to the condensed points. We fit an increasing and a decreasing isotonic regression, and use the direction that minimizes mean squared error. The user can override this behavior by specifying the direction explicitly or by disabling monotonicity entirely. min_slope max_slope min_slope max_slope pwlfit 26 can also interpolate in a transform of feature engineering. transforms the 𝑥-values before learning the curve. Specifically, will choose a candidate 𝑥-transformation, , among , , or ขึ้นอยู่กับช่วงของ x-values แล้วดําเนินการกับการเปลี่ยนแปลงถ้ามันเพิ่มความสัมพันธ์ Pearson ระหว่าง and 𝑦 by a noticeable amount over the identity transformation. Alternatively, the user can specify any strictly increasing 1D transform or specify the identity transform to disable transformation. 5.1.6 Input Transformations. pwlfit pwlfit pwlfit fx log log1p symlog1p fx 6 EXPERIMENTS 6.1 Distillation Accuracy Table and Figure แสดงผลลัพธ์ที่ได้รับจากการทดลองในชุดข้อมูลที่แตกต่างกัน ชุดผลลัพธ์ที่สมบูรณ์สามารถพบได้ในตาราง in Appendix The results of applying our distillation technique with our piecewise-linear approximation algorithm are presented as . We present results from using various numbers of segments with and without a monotonicity restriction and otherwise default parameters. In all cases we truncated the control points to four significant digits. We also present several additional reference points to provide context. 1 4a 2 A. pwlfit • We directly learn the curves with the Adadelta[ ] optimizer. We initialize the 𝑦 values of the control points as zeros. For the 𝑥 values of the control points we use the quantiles for numerical features ( . 0%, 50%, 100% for a three point, two segment curve) or all unique values for categorical features. We then apply Adadelta to optimize the 𝑦 values. Simultaneously optimizing 𝑥 and 𝑦 values was also attempted, but the results were always worse than optimizing SGD: 31 e.g 𝑦 values alone. • รูปแบบ Neural Additive Models (NAMs) ] is another method for learning interpretable models proposed by Agarwal . We present their result for reference where applicable. NAM: 2 et al • We train a bagged, boosted decision forest allowing feature interactions to demonstrate the accuracy of a non-interpretable, high-complexity "black box" model. Interacting forest: • : We train a bagged boosted decision forest GAM by restricting each tree to use only one feature. This model is also the source model for our distillation technique. GAM forest • เราใช้เทคนิคการ Destillation ของเราโดยใช้อัลกอริทึมการเข้าถึงแบบเชิงเส้นแบบชิ้นส่วน pwlf: pwlf [13]. On each dataset we used five fold cross validation and present the metric mean and sample standard deviation across folds. We used three different metrics to evaluate accuracy: AUC-ROC, RMSE, and NDCG@5 for the three different tasks of classification, regression, and ranking. Further details on our experimentation setup can be found in Appendix และรายละเอียดเพิ่มเติมเกี่ยวกับชุดข้อมูลฉลากและเมตริกสามารถพบได้ใน Preliminaries A 2.1. Our results show that applying our distillation technique with 4-5 segments with ผลิตโมเดลที่มีความแม่นยําเช่นเดียวกับต้นกําเนิด GAM และรุ่น NAM สําหรับชุดข้อมูลทั้งหมดยกเว้น CWS ที่ยังคงมีช่องว่างเล็ก ๆ เราตรวจสอบช่องว่างความแม่นยํานี้ในรายละเอียดในส่วน below. In the case of the COMPAS dataset these models are as accurate as full complexity models. Applying our technique with produces competitive results, albeit less accurate on the MSLR-WEB30K dataset. By contrast, the results show that learning curves directly via SGD is less general. On the FICO and CWS datasets more segments are required to achieve accuracy comparable to the GAM forest models. On the MSLR-WEB30K dataset the accuracy is inferior even with many more segments. pwlfit 6.2 pwlf The consistent accuracy of applying our distillation approach with บนสี่ชุดข้อมูลเหล่านี้และสามงานที่แยกต่างหาก (การจัดอันดับการปฏิทินการเรียนรู้ที่จะจัดอันดับ) แสดงให้เห็นว่ากระบวนการไม่ได้มีความไวต่อข้อมูลเฉพาะหรือวัตถุระดับสูงสุดที่ใช้ pwlfit 6.2 Distillation Failures In Section เราอธิบายว่าการขจัดขยะที่ให้รุ่นที่มีความแม่นยําที่ต่ํากว่าควรตรวจสอบต่อไปเนื่องจาก "ความล้มเหลว" ที่เรียกว่ามักจะถูกอ้างอิงด้วยคุณสมบัติที่สําคัญ แต่ไม่สามารถอธิบายได้ของรุ่นครูที่ไม่ได้ถ่ายโอนไปยังรุ่นนักเรียน ความแตกต่างความแม่นยําที่สังเกตเห็นในชุดข้อมูล CWS เป็นตัวอย่างของปรากฏการณ์นี้ รูปภาพ shows the worst two fits from the CWS dataset. The plots have been redacted to maintain the privacy of the dataset. For each plot it is clear that the original teacher submodel had some non-interpretable behavior which was lost during distillation. This is most evident for feature 𝑥1, the worst offender, where the output is highly erratic. If the original teacher submodel is not distilled for these two features then the accuracy gap between the original teacher model and 5 segment non-monotonic distillation drops from 0.0059 to 0.003 ( . ~ 50% ของช่องว่างจะถูกฟื้นฟู) 3.1 5 i.e To identify the above two failures we applied the following method. • Begin with the original teacher model. For each submodel compute the metric delta against the teacher model from distilling only that submodel and no others. • Perform the above on each cross validation fold using the validation set and average the metric deltas across folds. • Sort the features by their associated metric delta to determine the worst distillations. 6.3 Efficiency & Robustness การทดลองในส่วนก่อนหน้านี้แสดงให้เห็นว่า more accurately distills the source model across datsets than . We also found on the MSLR-WEB30K dataset that is more efficient and robust than . Figure แสดงเมตริกซ์ตามความเหมาะสมจากการพับครั้งแรกของชุดข้อมูล MSLR-WEB30K ในฐานะที่เป็นจํานวนส่วนที่แตกต่างกันโดยไม่มีความสม่ําเสมอ พื้นหลังด้านบนแสดงเวลาในวินาทีตามที่วัดไว้บน ThinkStation P520 เพื่อให้เหมาะกับแต่ละรุ่นส่วน 136 ของป่า GAM ที่มา เราพบว่า เป็นที่เร็วขึ้นในกรณีเฉลี่ยเนื่องจากจํานวน segments เพิ่มขึ้นและมีการกระจายที่แคบลง ส่วนล่างแสดงให้เห็นว่า RMSE ของแต่ละคนพอดีกับ 136 submodels ของต้นกําเนิด GAM Forest อีกครั้งเราพบว่า performs favorably in the average case with a narrower runtime distribution. pwlfit pwlf pwlfit pwlf 4b pwlfit pwlfit It’s worth noting that by default does not perform any down-sampling. For the MSLR-WEB30K dataset running without any downsampling was prohibitively expensive. For all of our experi-ments we ran with a pre-processing downsample to a random 1000 examples. We found this to be a fair point for balancing speed and quality when comparing to . It is of course possible with both algorithms to modify the number of samples used to strike a different trade-off between run time and accuracy. pwlf pwlf pwlf pwlfit 6.4 Monotonicity ตามที่กล่าวถึงในส่วน สามารถจับคู่โค้ง monotone กับการตรวจจับทิศทางอัตโนมัติ รูป เปรียบเทียบรุ่นโค้งที่เหมาะสมกับและไม่มีข้อ จํากัด ของ monotonicity (โดยอัตโนมัติสรุปทิศทาง) ทั่วชุดข้อมูล สําหรับชุดข้อมูล COMPAS รูปแบบ monotonic และ nonmonotonic มีความแม่นยําเปรียบเทียบในขณะที่สําหรับ FICO, MSLR-WEB30K และ CWS รูปแบบ non-monotonic มีความแม่นยํามากขึ้น 5, pwlfit 4a Monotonicity ในแง่ของคุณสมบัติที่เหมาะสมเป็นความต้องการสําหรับรูปแบบที่สามารถตีความได้ ในกรณีเหล่านี้โมโนโตนอาจเป็นความต้องการกว่าโมโนโตนแม้ว่ามันจะมีความแม่นยําน้อยกว่า ตัวอย่างเช่น รูป เปรียบเทียบโมโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโนโน 6 7 CONCLUSION We have introduced a novel method for distilling interpretable models into human-readable code using piecewise-linear curves and demonstrated its efficacy on four datasets. We have shown that curve models match or outperform the accuracy achieved by other additive models. On smaller datasets, curve models match the accuracy of more complex models, like interacting decision forests. Our localized distillation methodology is applicable to any model containing univariate numerical functions and is straightforward to implement using the publicly-available library. pwlfit [22] We have explained how curve model distillation reinforces interpretability and addresses a variety of real-world engineering challenges. Curve models are 1) transparent, 2) well-regularized, 3) easy to analyze for presence of biases or other fairness issues, and 4) can be directly edited or improved outside the context of machine learn-ing to fix the aforementioned fairness issues. Distilling models into human-readable code allows one to address novel machine learning problems using well-established software engineering methods. Curve models can be improved by multiple contributors in parallel, reviewed, and made to systematically follow best practices. Curve models are well-suited for production applications, since they can be natively supported in many languages, are easy to deploy, and fast to evaluate. ACKNOWLEDGMENTS เราขอขอบคุณ Vytenis Sakenas, Jaime Fernandez del Rio, Benoit Zhong และ Petr Mitrichev สําหรับการสนับสนุนของพวกเขาและให้อัลกอริทึมและโครงสร้างพื้นฐานการเพิ่มประสิทธิภาพที่ใช้ในการทดลองของเรา นอกจากนี้เรายังขอขอบคุณ Paul Heymann, Diego Federici, Mike Bendersky, Paul Haahr และ Petr Mitrichev สําหรับความคิดเห็นที่เป็นประโยชน์และความคิดเห็นรายละเอียดของพวกเขา สุดท้ายเราขอขอบคุณ Xinyu Qian, Janelle Lee, Po Hu และ Chary Chen สําหรับการเตรียมชุดข้อมูล CWS สําหรับการทดลองของเรา REFERENCES [1] 2018. FICO Explainable Machine Learning Challenge. https://community.fico. com/s/explainable-machine-learning-challenge. [2] Rishabh Agarwal, Nicholas Frosst, Xuezhou Zhang, Rich Caruana, and Geoffrey E. Hinton. 2020. Neural Additive Models: Interpretable Machine Learning with Neural Nets. arXiv :cs.LG/2004.13912 [3] Elaine Angelino, Nicholas Larus-Stone, Daniel Alabi, Margo Seltzer และ Cynthia Rudin. 2017 การเรียนรู้รายชื่อกฎที่ดีที่สุดที่ได้รับการรับรอง . กระบวนการของ ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17) [4] Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner. 2016. Machine bias: There’s software used across the country to predict future criminals. 23 (2016). And it’s biased against blacks. ProPublica [5] Cristian Buciluundefined, Rich Caruana, and Alexandru Niculescu-Mizil. 2006. Model Compression. In . 535–541. Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’06) [6] Rich Caruana, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, and Noemie Elhadad. 2015. Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-Day Readmission. In . 1721–1730. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’15) [7] Chaofan Chen, Kangcheng Lin, Cynthia Rudin, Yaron Shaposhnik, Sijia Wang, and Tong Wang. 2018. An Interpretable Model with Globally Consistent Explanations for Credit Risk. arXiv :cs.LG/1811.12615 [8] Alexandra Chouldechova. 2017. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. 5, 2 (Jun 2017), 153–163. Big Data https://doi.org/10.1089/big.2016.0047 [9] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image063.gif)Julia Dressel and Hany Farid. 2018. The accuracy, fairness, and limits of predicting recidivism. 4, 1 (2018) Science Advances https://doi.org/10.1126/sciadv.aao5580 [10] Mengnan Du, Ninghao Liu, and Xia Hu. 2019. Techniques for interpretable machine learning. 63, 1 (Dec 2019), 68–77. Commun. ACM https://doi.org/10. 1145/3359786 [11] Trevor Hastie และ Robert Tibshirani 1986. รูปแบบ Additive Generalized 1, 3 (08 1986), 297–310. Statist. Sci. [12] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. 2015. Distilling the Knowledge in a Neural Network. arXiv :stat.ML/1503.02531 [13] Charles F. Jekel and Gerhard Venter. 2019. . pwlf: A Python Library for Fitting 1D Continuous Piecewise Linear Functions https://github.com/cjekel/piecewise_ หมายเลขรุ่น: linear_fit_py [14] Jon Kleinberg. 2018. Inherent Trade-Offs in Algorithmic Fairness. In . Abstracts of the 2018 ACM International Conference on Measurement and Modeling of Computer Systems (SIGMETRICS ’18) [15] Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Pérez, Brian Granger, Matthias Bussonnier, Jonathan Frederic, Kyle Kelley, Jessica Hamrick, Jason Grout, Sylvain Corlay, Paul Ivanov, Damián Avila, Safia Abdalla, and Carol Willing. 2016. Jupyter Notebooks – a publishing format for reproducible computational workflows. In , F. Loizides and B. Schmidt (Eds.). IOS Press, 87 – 90. Positioning and Power in Academic Publishing: Players, Agents and Agendas [16] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image072.gif)A. K. Kolmogorov. 1957. On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition. 114 (1957), 369–373. สถาบันการศึกษาวิทยาศาสตร์ของสหภาพโซเวียต [17] Yin Lou, Rich Caruana, and Johannes Gehrke. 2012. Intelligible Models for Classification and Regression. In . 150–158. Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’12) [18] Yin Lou, Rich Caruana, Johannes Gehrke, และ Giles Hooker. 2013 รูปแบบที่เข้าใจได้อย่างแม่นยําด้วยการโต้ตอบในคู่ . 623–631. Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’13) [19] Tao Qin and Tie-Yan Liu. 2013. Introducing LETOR 4.0 Datasets. abs/1306.2597 (2013). CoRR http://arxiv.org/abs/1306.2597 [20] Tao Qin, Tie-Yan Liu, and Hang Li. 2010. A general approximation framework for direct optimization of information retrieval measures. 13, 4 (2010), 375-397 Information retrieval [21] Cynthia Rudin. 2018. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. arXiv :stat.ML/1811.10154 [22] Ethan Sterling and Walker Ravina. 2019. . pwlfit: A Piecewise-Linear Curve Fitting Library https://github.com/google/pwlfit [23] Sarah Tan, Rich Caruana, Giles Hooker, และ Yin Lou. 2018 Distill-and-Compare: การตรวจสอบรุ่น Black-Box โดยใช้การกระจายตัวแบบโปร่งใส ใน . 303–310. กระบวนการของ 2018 AAAI / ACM Conference on AI, Ethics, and Society (AIES ’18) [24] Berk Ustun and Cynthia Rudin. 2014. Methods and Models for Interpretable Linear Classification. arXiv :stat.ME/1405.4047 [25] Wikipedia. 2020. Bhatia–Davis inequality. [Online; accessed 03-September-2020]. http://en.wikipedia.org/w/index.php? ชื่อ=Bhatia%E2%80%93Davis%20ไม่เท่าเทียมกัน&OLD=875899600 [26] Wikipedia. 2020. Isotonic regression. [Online; accessed 30-November-2020]. http://en.wikipedia.org/w/index.php?title= Isotonic%20การกู้คืน&OLD=989717822. [27] Wikipedia. 2020. Kolmogorov–Arnold representation theorem. [Online; accessed 10-August-2020]. http://en.wikipedia.org/w/index.php?title=Kolmogorov%E2%80%93Arnold% 20representation%20theorem&oldid=964097101. [28] Wikipedia. 2020. Minimum description length. [ออนไลน์; เข้าสู่ระบบ 12 สิงหาคม 2020] http://en.wikipedia.org/w/index. php?title=Minimum%20description%20length&oldid=965620302. [29] วิกิพีเดีย. 2020 หมายเลข Nothing-up-my-sleeve [ออนไลน์; เข้าถึง 12 สิงหาคม 2020] http://en.wikipedia.org/w/ index.php?title=Nothing-up-my-sleeve%20number&oladh=972510276 [30] Wikipedia. 2020. Segmented regression. [ออนไลน์; เข้าถึง 10 สิงหาคม 2020] http://en.wikipedia.org/w/index.php? title=Segmented%20regression&oldid=910888930. [31] Matthew D. Zeiler. 2012. ADADELTA: An Adaptive Learning Rate Method. abs/1212.5701 (2012). arXiv CoRR :12125701 http://arxiv.org/abs/1212.5701 [32] Honglei Zhuang, Xuanhui Wang, Michael Bendersky, Alexander Grushetsky, Yonghui Wu, Petr Mitrichev, Ethan Sterling, Nathan Bell, Walker Ravina, and Hai Qian. 2021. Interpretable Ranking with Generalized Additive Models. In . to appear. Proceedings of the 14th ACM International Conference on Web Search and Data Mining (WSDM ’21) รายละเอียดการทดลอง A.1 Cross Validation เราได้ทําการตรวจสอบข้าม 5 ครั้งในทุกชุดข้อมูล • : ชุดข้อมูลถูกแบ่งออกเป็น 5 ส่วนเท่ากัน แต่ละส่วนถูกใช้เป็นชุดทดสอบครั้งเดียว (20%) กับส่วนที่เหลือเป็นชุดฝึกอบรม (80%) เราใช้พับแบบสุ่มเช่นเดียวกับในกระดาษ NAM [ ]. ไม่มีการใช้ชุดการยืนยันเนื่องจากขนาดเล็กของข้อมูล ในทางกลับกันเราใช้การประเมินถุงทุกที่ชุดการยืนยันจะถูกใช้ (ดูด้านล่าง) COMPAS & FICO 2 • : เราใช้พับและพาร์ทิชันที่กําหนดไว้ล่วงหน้าจากชุดข้อมูลเดิม สําหรับแต่ละพับจะใช้ 60% สําหรับการฝึกอบรม 20% สําหรับการยืนยันและ 20% สําหรับการทดสอบ MSLR-WEB30K • : We used a dataset of 60,000 queries and 2,690,439 items with an average of ~44 items per query. The dataset was split into 5 equal parts. Each part was used once as a test set. Of the remaining parts 80% was used as training and 20% as validation. Overall this resulted in 64% for training, 16% for validation and 20% for test for each fold. CWS A.2 Ensemble Learning For both SGD and tree models, we trained ensembles with 56 bags using a bag fraction of 7 to produce the random subsets. For MSLR-WEB30K and CWS, queries were randomly divided into bags. For the other datasets, individual examples were randomly divided into bags. When applying our distillation technique, we distilled the ensembles into a single per feature. When learning the curves directly via SGD, we averaged the learned 𝑦-coordinate values across bags to obtain the final model. PWLCurve A.3 Loss Functions We trained SGD and tree models using log-loss for the COMPAS dataset, mean squared error (MSE) for the FICO dataset, and ranking loss (ApproxNDCG [ ]) for the MSLR-WEB30K and CWS datasets. 20 A.4 Hyper-parameters สําหรับ COMPAS และ FICO ชุดข้อมูลไฮเปอร์พารามิเตอร์ได้รับการปรับแต่งโดยใช้การประเมินออกจากถุงในชุดการฝึกอบรมของพับแรก สําหรับ MSLR-WEB30K และ CWS เราใช้ชุดการยืนยันของพับแรก • เราปรับขนาดชุดใน {128, 256, 512, 1024, 4096} เราใช้ Adadelta [ ] optimizer and tuned a sufficient maximum number of steps for convergence. No other pa-rameters were tuned. SGD: 31 • เราได้ฝึกอบรมความลึก 5 ต้นไม้โดยใช้อัลกอริทึมป่าที่เพิ่มขึ้นภายใน เราได้ปรับจํานวนขั้นตอนสูงสุดที่เพียงพอเพื่อให้สามารถเข้ากันได้ ไม่มีพารามิเตอร์อื่น ๆ ที่ได้รับการปรับแต่ง Interacting forest: • เราได้ฝึกอบรมความลึก 3 ต้นไม้ จํากัด เพื่อใช้คุณลักษณะเดียวด้วยอัลกอริทึมป่าเสริมภายใน เราได้ปรับตัวจํานวนขั้นตอนสูงสุดที่เพียงพอเพื่อให้สามารถเข้ากันได้ ไม่มีการปรับตัวพารามิเตอร์อื่น ๆ GAM forest: ในกรณีทั้งหมดเราได้ฝึกอบรมโมเดลสําหรับจํานวนขั้นตอนสูงสุดที่กําหนดไว้แล้วลัดโมเดลหลังจากฝึกอบรม Truncation ใช้อัลกอริทึมลัดขึ้นอยู่กับความไว้วางใจซึ่งพยายามเลือกขั้นตอนที่เร็วที่สุดซึ่งไม่มีขั้นตอนต่อไปที่ให้การชนะที่มั่นใจ อัลกอริทึมนี้ถูกเรียกใช้ในชุดการยืนยันหากมีหรือใช้ในทางอื่น ๆ จากการประเมินถุง A.5 Code โพสต์ GitHub สําหรับ [ ] contains several Jupyter note-books applying our distillation technique and performing the analyses shown in this paper. Please reference the v0.2.0 release to get the accompanying data files and appropriate version of the Jupyter notebooks. pwlfit 22 B LINEAR CONDENSE การสังกะสีเชิงเส้นคือการเพิ่มประสิทธิภาพข้อมูลที่ออกแบบมาเพื่อลดความซับซ้อนของระยะเวลาการทํางานของการติดตั้งโค้งเชิงเส้นชิ้นส่วนของเรา B.1 การสร้างแรงจูงใจ / ภาพรวม เลือกชุดของตัวเลือก x-knots และค้นหาผ่านการรวมกันของเหล่านั้น x-knots สําหรับแต่ละการรวมกันที่พิจารณามันแก้การแสดงออกเชิงเส้นน้อยสี่เหลี่ยมสําหรับตัวเลือก y-knots ที่เหมาะคํานวณข้อผิดพลาดสี่เหลี่ยมที่เกิดขึ้นและชอบการรวมกันที่ให้ข้อผิดพลาดต่ําสุด pwlfit แต่ละโซลูชันเป็นเส้นทางในขนาดของข้อมูลเข้าซึ่งช้าสําหรับข้อมูลขนาดใหญ่ เราสามารถลดตัวอย่างเพื่อประหยัดการคํานวณด้วยค่าใช้จ่ายของความแม่นยํา ในทางกลับกันเราแนะนําเทคนิคเพื่อประหยัดการคํานวณโดยไม่มีค่าใช้จ่ายในความแม่นยํา เราดัดแปลงข้อมูลเป็นจุดสังเคราะห์ O(#candidates) จุดสังเคราะห์เหล่านี้สร้างข้อผิดพลาดสี่เหลี่ยมที่แท้จริงบนข้อมูลเต็มรูปแบบสําหรับแต่ละครั้ง จากนั้นเราจะเพิ่มประสิทธิภาพกว่าจุดสังเคราะห์แทนจุดจริง PWLCurve สิ่งนี้เป็นไปได้เนื่องจากเรารู้ว่าผู้สมัคร X-knots ก่อนหน้านี้ ที่กําหนดไว้ใน x-knots เสมอจะเป็นเส้นระหว่าง x-knots ที่อยู่ใกล้เคียงใด ๆ ในชุดของผู้สมัคร ดังที่เราแสดงในทฤษฎีเราสามารถสังเกตเห็นได้ว่าจุดจํานวนมากจะถูกสังเกตเห็นไว้ในสองจุดดังนั้นการเข้ากันได้แบบเส้นจะเหมือนกันในสองจุดเช่นเดียวกับในชุดเต็ม ใน corollary เราใช้กระบวนการนี้แยกต่างหากระหว่างแต่ละคู่ของ x-knots ผู้สมัครซึ่งจะผลิตจุดสองจุดระหว่างแต่ละคู่ รวมความผิดพลาดสี่เหลี่ยมของชุดดังกล่าว เป็นเดียวกันในจุดสังเคราะห์เช่นเดียวกับในชุดข้อมูลที่สมบูรณ์ (จนถึงเสถียรที่เรารับกเว้นอย่างปลอดภัยเนื่องจากเป็นเหมือนกันสําหรับแต่ละ PWLCurve PWLCurve .) PWLCurve B.2 Definitions สําหรับความสะดวกสบายเราใช้คําจํากัดความมาตรฐานและเชี่ยวชาญพวกเขาสําหรับจุด 2D ที่มีน้ําหนัก ให้ 'จุด' หมายถึงค่าจริงสามเท่าของรูปร่าง (x, y, น้ําหนัก) กับน้ําหนัก 0. Definition B.1. > ให้ ‘เส้น’ หมายถึงฟังก์ชั่นของแบบฟอร์ม f (x) =mx + b สําหรับ m, b, x ∈ R คําอธิบาย B.2 สําหรับฟังก์ชั่น f : R → R และจุดสิ้นสุดชุด P ระบุข้อผิดพลาดสี่เหลี่ยม SE( f , P ) เป็นจํานวนของ ( f ( x ) −y)2 · น้ําหนักสําหรับแต่ละจุดใน P หาก P เป็นว่างเราพิจารณาข้อผิดพลาดสี่เหลี่ยมเป็น 0 คําอธิบาย B.3 สําหรับชุดจุดสิ้นสุด P ใด ๆ ระบุ 'เส้นที่เหมาะสมที่สุด' ที่ดีที่สุด f itline (P) เป็นเส้น L ที่ลดลง SE(L, P) ในกรณีที่ผิดปกติที่หลายเส้นลดลง SE ให้เส้นที่เหมาะสมที่สุดคือโซลูชั่นที่มีแนวโน้ม zero และถ้าโซลูชั่นหลาย ๆ มีแนวโน้ม zero ให้เส้นที่เหมาะสมที่สุดคือโซลูชั่นที่มีแนวโน้ม zero y คําจํากัดความ B.4. There are two degenerate cases that require tie-breaking. If the point set is empty, every line has the same squared error, so our definition chooses 𝑓 (𝑥) = 0 as the best fit line. If the point set is nonempty but all its points have the same 𝑥, then any line with the correct value at 𝑥 will minimize the squared error, so our definition choose the horizontal line. B.3 ทฤษฎี Theorem B.5. ป 𝑃 ′ Given a set of points , we can construct a set ของสองหรือน้อยกว่าจุดดังกล่าว These properties are desirable because (2) allows us to compute the squared error of 𝑀 lines over a data set of 𝑁 points in O(𝑁 + 𝑀) instead of the naive O(𝑁 𝑀), and (1) allows us to extend this property from lines to a useful class of piecewise-linear curves in the corollary. Remark. โปรดทราบว่าจุดใน P ′ ถูกสร้างขึ้นแทนที่จะเลือกจาก P. การสร้างของ P ′ ถูกดําเนินการใน ภาษาไทย ] as pwlfit 22 linear_condense.linear_condense. Proof. Let 𝑋, 𝑌 , and 𝑊 represent the 𝑥, 𝑦, and 𝑤𝑒𝑖𝑔ℎ𝑡 values of 𝑃, respectively. We dismiss the trivial case where 𝑃 is empty; in that case, an empty 𝑃 ′ satisfies the requirements. Likewise, we dismiss the case where 𝑚𝑖𝑛(𝑋 ) = 𝑚𝑎𝑥 (𝑋 ) since 𝑃 ′ = {𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃)} fulfills our desired properties. With those cases resolved, we assume for the rest of this proof that 𝑚𝑖𝑛(𝑋 ) 𝑚𝑎𝑥 (𝑋). < To begin, we reframe the coordinate system such that the origin is the centroid of 𝑃 and 𝑦 = 0 is the best fit line. (This simplifies the math.) We ensure that the shift of coordinates is reversible and preserves the squared error. B.3.1 แก้ไขระบบประสาน 𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃) = (𝑋 · 𝑊 /𝑠𝑢𝑚(𝑊 ), 𝑌 · 𝑊 /𝑠𝑢𝑚(𝑊 )). We translate the coordinate frame by this centroid so that, under the new coordinates, 𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃) = (0, 0). After translation, 𝑋 · 𝑊 = 0 and 𝑌 ·𝑊 = 0. Additionally, we skew the coordinate system by the slope of the best fit line: we replace 𝑌 with 𝑌 − 𝑋 · 𝑠𝑙𝑜𝑝𝑒 (𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃)). With the centroid at the origin, the slope of the best fit line is 𝐶𝑜𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 (𝑋, 𝑌,𝑊 )/𝑉 𝑎𝑟𝑖𝑎𝑛𝑐𝑒 (𝑋,𝑊 ) = ภายใต้กรอบประสานใหม่ SE(ที่ดีที่สุด f itline (P), P) = SE(y = 0, P) = Y 2 ·W เราจะกําหนด P ′ ภายใต้ระบบประสานใหม่นี้ หลังจากนั้นเราสามารถแปลง P ′ กลับสู่ระบบประสานเดิมได้อย่างง่ายดายโดยการหมุนเวียนการสกปรกและการแปล We will express 𝑆𝐸(𝑙𝑖𝑛𝑒, 𝑃) as 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃) plus leftover terms. From that, we will derive a 𝑃 ′ such that 𝑆𝐸(𝑙𝑖𝑛𝑒, 𝑃 ′ ) equals those leftover terms. B.3.2 Squared Error of an arbitrary line. สําหรับเส้นใด ๆ y = mx + b 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) = (𝑚𝑋 + 𝑏 − 𝑌) 2 · 𝑊 = (𝑚2𝑋 2 + 2𝑏𝑚𝑋 − 2𝑚𝑋𝑌 + 𝑏 2 − 2𝑏𝑌 + 𝑌 2 ) ·𝑊 . ในกรอบการประสานของเรา X ·W = 0, Y ·W = 0, และ XY ·W = 0. ดังนั้น SE(y = mx + b, P) = (m2X 2 + b 2 + Y 2 ) ·W Y 2 ·W = SE(ที่ดีที่สุด f itline (P), P) ดังนั้น SE(y = mx + b, P) = m 2X 2 ·W + b 2 ·W + SE(ที่ดีที่สุด f itline (P), P) m 2X 2 ·W + b 2 ·W = SE(y = mx + b, P) − SE(ที่ดีที่สุด f itline (P), P) B.3.3 ข้อผิดพลาดสี่เหลี่ยมกว่า P ′ B.3.3 Squared error over 𝑃 ′ . SE(y = mx + b, P ′ ) = SE(y = mx + b, P) − SE(ที่ดีที่สุด f itline (P, P) for all lines𝑦 = 𝑚𝑥+𝑏 ⇐⇒ (𝑚𝑋 ′+𝑏−𝑌 ′ ) 2 ·𝑊 ′ = 𝑚2𝑋 2 ·𝑊 +𝑏 2 ·𝑊 for all lines 𝑦 = 𝑚𝑥 + 𝑏. สารสม่ําเสมอข้างต้นสามารถมองเห็นได้ว่าเป็น polynomial สี่เหลี่ยมในสองตัวแปร m และ b เพื่อถือค่าทั้งหมดของ m และ b สารสม่ําเสมอของแต่ละ mc b d ควรเท่ากับทั้งสองด้านของสม่ําเสมอ จากนั้นสม่ําเสมอถือ iff: 1. 𝑋 ′2 ·𝑊 ′ = 𝑋 2 ·𝑊 , and 2. 𝑋 ′ ·𝑊 ′ = 0, and 3. 𝑠𝑢𝑚(𝑊 ) = 𝑠𝑢𝑚(𝑊 ′ ), and 4. 𝑌 ′ ·𝑊 ′ = 0, and 5. 𝑌 ′2 ·𝑊 ′ = 0, and 6. 𝑋 ′𝑌 ′ ·𝑊 ′ = 0. (5) ⇐⇒ 𝑌 ′ = 0, which also guarantees (4) and (6). We will use 1-3 to derive a satisfactory 𝑋 ′ and 𝑊 ′ . We’ve determined that 𝑌 ′ = 0. B.3.4 Deriving 𝑋 ′ and 𝑊 ′ . Let 𝑋 ′ := (𝑥1, 𝑥2) and 𝑊 ′ := (𝑤1,𝑤2). Without loss of generality, let 𝑥1 <= 𝑥2. Then, to satisfy our squared error expression, it’s necessary and sufficient that: เนื่องจากเรามีสามสัดส่วนในสี่ที่ไม่รู้จักเราไม่สามารถแก้ปัญหาได้โดยตรงสําหรับ x1, x2,w1,w2 เพื่อให้ได้สัดส่วนที่สี่เราเลือกข้อ จํากัด ที่ x1/x2 = min(X)/max (X) การเลือกนี้จะทําให้การคํานวณง่ายขึ้นและจะทําให้แน่ใจว่า min(X) <= x1 <= x2 <= max (X) With this fourth equation, we solve the simultaneous equations to produce: โปรดทราบว่าเนื่องจาก centroid คือ 0 min(X) < 0 < max (X) ดังนั้นการแสดงออกเหล่านี้ทั้งหมดจะถูกกําหนดไว้ (ตัวหมายไม่เคยเป็น 0 และค่าภายใต้รากสี่เหลี่ยมไม่เคยเป็นลบ) 𝑃 ′ = (𝑥1, 0,𝑤1), (𝑥2, 0,𝑤2) satisfies our requirements. <= 𝑥1 <= 𝑥2 <= 𝑚𝑎𝑥 (𝑋). We wanted 𝑃 ′ to satisfy the the squared error expression, which it does, and also have its x-values bounded by the x-values of 𝑃, which we prove now. Let 𝜇 := 𝐸(𝑋,𝑊 ), the expected value of 𝑋 weighted by 𝑊 , which is equivalent to the x-value of 𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃). By the Bhatia–Davis inequality [25], 𝑠𝑡𝑑𝑑𝑒𝑣(𝑋,𝑊 ) 2 <= (𝜇 −𝑚𝑖𝑛(𝑋)) (𝑚𝑎𝑥 (𝑋) − 𝜇). (This inequality is equivalent to the observation that the standard deviation of a distribution is maximized when all the xs are at the extremes – i.e. equal to min(X) or max(X).) B.3.5 ตรวจสอบว่า min(X) Since 𝜇 is zero for 𝑃, 𝑠𝑡𝑑𝑑𝑒𝑣(𝑋,𝑊 ) 2 <= −𝑚𝑖𝑛(𝑋)𝑚𝑎𝑥 (𝑋). B.4 Corollary Corollary B.6. ให้กับชุดของจุด P และชุดของ x-knots K เราสามารถสร้างชุดของจุด P ′ ด้วย IPLP ′ IPL <= 2( IPLK-IPL - 1) ดังนั้นสําหรับ PWLCurve C ใด ๆ ที่ x-knots ของมันเป็นองค์ประกอบของ K, SE(C, P) = SE(C, P ′ ) + c, ที่ c เป็นเสถียรที่กําหนดโดยเฉพาะโดย P และ K ซึ่งเหมือนกันสําหรับแต่ละ C Note that the points in 𝑃 ′ are constructed, rather than chosen from 𝑃. The construction of 𝑃 ′ is implemented in pwlfit [22] as . linear_condense.condense_around_knots Let 𝑘 := |𝐾|, and consider 𝐾 in sorted order. Piecewise-linear curves are constant for input values that exceed the range of their x-knots, so 𝐶 is constant for 𝑥 = 𝑚𝑎𝑥 (𝐾) = 𝐾[𝑘 − 1]. B.4.1 Preprocess P โดยยึด ดังนั้นเราสามารถยึดค่า x ของ P ไปยัง [K[0], K[k − 1] โดยไม่เปลี่ยนแปลง SE(C, P) เราทําเช่นนี้เป็นขั้นตอนก่อน เพื่อสร้าง P ′ จาก P เราจะแยก P โดย K ไปยัง k + 1 ชิ้นส่วนแยกที่ติดฉลาก P0, P1, ..., Pk B.4.2 Partition 𝑃 by 𝐾. เพราะเรายึด P, P0 และ Pk เป็นว่าง ดังนั้น Ðk−1 i=1 Pi = P PWLCurve เป็นเส้นระหว่างจุดควบคุมที่ต่อเนื่องดังนั้น C เป็นเส้นเหนือแต่ละ Pi B.4.3 แปลงแต่ละพาร์ทิชันเป็นสองจุด จากทฤษฎีสําหรับแต่ละ Pi เราสามารถผลิตชุดสองจุด P ′ i กับ minx (Pi) <= minx (P ′ i ) <= maxx (P ′ i ) <= maxx (Pi) ดังนั้นสําหรับเส้น L ใด ๆ This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) สามารถใช้ได้ใน Archives