ตารางด้านซ้าย คําอธิบายและ 1 บทนํา 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work การยอมรับ คําอธิบายการทําซ้ํา คําอธิบายผลกระทบและการอ้างอิง 3. วิธีการ ครั้งแรกเราเก็บรวบรวมข้อมูลจํานวนมากของชุดเวลาสาธารณะใน และจากนั้นใช้มันเพื่อเตรียมการฝึกอบรม a เกี่ยวกับ the เราพูดถึงแต่ละขั้นตอนเหล่านี้ในส่วนต่อไปนี้ Time Series Pile transformer model masked time series prediction task 3.1. The Time ซีรี่ส์ Pile ไม่เหมือนกับการประมวลผลภาษาธรรมชาติและการมองเห็นคอมพิวเตอร์ซึ่งชุดข้อมูลขนาดใหญ่เช่น The Pile (Gao et al.,2020) และ ImageNet-1K (Russakovsky et al., 2015) สามารถใช้ได้ง่ายสําหรับการฝึกอบรมก่อนการประมวลผลชุดข้อมูลเวลาสาธารณะมีขนาดเล็กมากกระจายและเป็นส่วนใหญ่เป็นงานเฉพาะ (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023) เพื่อสะสมความแตกต่างนี้เราจะรวบรวมชุดเวลาหลายชุดจาก 4 สารเก็บข้อมูลสาธารณะที่เฉพาะเจาะจงที่ใช้กันอย่างแพร่หลายทําให้เกิดจํานวนมากของชุดเวลาที่ครอบคลุมโดเมนต่างๆและลักษณะของชุดเวลาเช่นความยาว amplitudes และความละเอียดเวลา เราเรียกคอลเลกชันนี้เป็น Time Series Pile (Zhou et al., 2021) เป็นคอลเลกชันของ 9 ชุดข้อมูลที่ใช้กันอย่างแพร่หลายในการประเมินประสิทธิภาพการคาดการณ์ระยะยาว (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 อะไหล่ชั่วโมงและนาทีของ อุณหภูมิเครื่องแปลงไฟฟ้า (ETT) (Zhou et al., 2021), อุณหภูมิไฟฟ้า (Trindade, 2015), การจราจร (California Department of Transportation, 2024), สภาพอากาศ (Max Planck Institute for Biogeochemistry, 2024), โรคคล้ายกับโรค (ILI) (Centers for Disease Control and Prevention, 2024) และอัตราแลกเปลี่ยน (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) เป็นคอลเลกชันของ 58 ชุดข้อมูลการคาดการณ์ระยะสั้นที่มีให้เลือกโดยสาธารณะรวมถึงชุดเวลามากกว่า 100K ซึ่งครอบคลุมโดเมนต่างๆและความละเอียดเวลา Monash time series forecasting archive (Dau et al., 2018) ประกอบด้วย 159 ชุดข้อมูลชุดเวลาที่ใช้กันอย่างแพร่หลายในการเปรียบเทียบอัลกอริทึมการจัดอันดับ (Ismail Fawaz et al., 2019) ชุดข้อมูลเหล่านี้เป็นส่วนหนึ่งของเจ็ดประเภทที่แตกต่างกัน (รูปภาพรูปภาพการอ่านเซ็นเซอร์การจับภาพการเคลื่อนไหวสเปกโตกราฟ ECG อุปกรณ์ไฟฟ้าและข้อมูลจําลอง) มีความแตกต่างอย่างมีนัยสําคัญในแง่ของจํานวนชั้นเรียนและขนาดของชุดการฝึกอบรม UCR/UEA classification archive (Paparrizos et al., 2022b) เป็นคอลเลกชันล่าสุดของ 1980 univariate ซีรีส์เวลาที่มีการติดฉลากผิดปกติจาก 18 ชุดข้อมูลการตรวจจับผิดปกติที่นําเสนอในช่วงทศวรรษที่ผ่านมา คอลเลกชันนี้รวมทั้งซีรีส์เวลาสังเคราะห์และโลกจริงที่มาจากแหล่งที่หลากหลายเช่นร่างกายมนุษย์เรืออวกาศสิ่งแวดล้อมและเว็บบริการ TSB-UAD anomaly benchmark เราแบ่งแต่ละชุดข้อมูลอย่างระมัดระวังเป็นชุดการฝึกอบรมการยืนยันและการทดสอบการแยกส่วนขึ้นอยู่กับชุดที่ระบุโดยผู้สร้างข้อมูล เมื่อชุดเหล่านี้ไม่สามารถใช้ได้เราให้ตัวอย่างแบบสุ่ม 60% ของข้อมูลสําหรับการฝึกอบรม 10% สําหรับการยืนยันและ 30% สําหรับการทดสอบ ชุดข้อมูลการคาดการณ์ระยะยาวและการตรวจจับความผิดปกติเป็นชุดระยะยาวซึ่งแบ่งออกแนวนอนตามที่แสดงในรูปที่ 2 ในทางกลับกันชุดข้อมูลการคาดการณ์ระยะสั้นและการจัดอันดับมักจะมีชุดระยะสั้นหลายชุด สําหรับชุดข้อมูลเหล่านี้ชุดเวลาที่สมบูรณ์คือการฝึกอบรมการยืนยันหรือการทดสอบ เราใช้เมล็ดสุ่มเดียวกันที่ตั้งไว้เป็น 13 ในระหว่างการทดลองของเราตั้งแต่การฝึกอบรมก่อนจนถึงการประเมินต่อไปเพื่อให้แน่ใจว่า MOMENT เท่านั้นสังเกตการฝึกอบรมของชุดข้อมูล Minimizing data contamination using careful train-test splitting. 3.2 รูปแบบสถาปัตยกรรม Our transformer encoder retains the modifications proposed by Raffel et al. (2020) to the original Transformer (Vaswani et al., 2017). Specifically, we remove the additive bias from the Layer Norm (Ba et al., 2016), and place it before the residual skip connections (He et al., 2016), and use the relation positional embedding scheme (Shaw et al., 2018). Below we summarize the intuition behind some of our key design decisions. ซีรี่ส์เวลาแตกต่างกันไปในความยาวจํานวนช่องเสียบความกว้างและความละเอียดเวลา เรามุ่งเน้นความยาวตัวแปรโดยการ จํากัด input ของ MOMENT ไปยังซีรี่ส์เวลา univariate ของความยาวคงที่ T = 512 ตามการปฏิบัติทั่วไปเรา sub-sample ซีรี่ส์เวลาที่ยาวนานและ pad shorter กับ zeros ในทางซ้าย นอกจากนี้การแบ่งซีรี่ส์เวลาเป็นแพทช์ลดความยืดหยุ่นของหน่วยความจําและความซับซ้อนในการคํานวณของ MOMENT อย่างสี่เหลี่ยมและเพิ่มความยาวของซีรี่ส์เวลาที่สามารถใช้เป็น input อย่างสม่ําเสมอ เราใช้ซีรี่ส์เวลาหลายตัวโดยการทํางานอย่างอิสระในแต่ละช่องทางตามมิติแบทช์ เช่นเดียวกับการศึกษาล่าสุด (Zhou et al., 2023; Nie et al., 2023) Handling varying time series characteristics. การติดตามการออกแบบของเครื่องแปลงสัญญาณในโดเมนภาษาช่วยให้เราสามารถใช้ประโยชน์จากการใช้งานที่สามารถปรับขนาดได้และมีประสิทธิภาพ (เช่นการตรวจสอบ gradient, การฝึกอบรมความแม่นยําผสม) Intentionally simple encoder. เราใช้หัวการคาดการณ์น้ําหนักเบาแทน decoder ขนาดเดียวกันกับตัวเข้ารหัสเพื่อให้สามารถปรับเปลี่ยนสถาปัตยกรรมที่จําเป็นสําหรับการปรับความละเอียดเฉพาะงานของพารามิเตอร์ที่สามารถฝึกอบรมได้จํานวน จํากัด ในขณะที่รักษาส่วนใหญ่ของพารามิเตอร์และคุณสมบัติระดับสูงที่ได้รับการเรียนรู้โดยตัวเข้ารหัส intact Light-weight prediction head. 3.3. การฝึกอบรมล่วงหน้าโดยใช้ Masked Time Series แบบจําลอง เรา pre-train MOMENT โดยใช้งานจําลองชุดเวลาที่ซ่อนตัว รูปที่ 3 แสดงภาพรวมของขั้นตอนการฝึกอบรมก่อนการฝึกอบรมของเรา ในระหว่างการฝึกอบรมเราจะซ่อนจํานวนเล็ก ๆ ของแพทช์อย่างสม่ําเสมอในแบบสุ่มโดยการแทนที่การแทรกแพทช์ของพวกเขาด้วยการแทรกแพทช์ที่สามารถเรียนรู้ [MASK] การแทรกแพทช์ชุดเวลาที่ซ่อนตัวแล้วจะถูกให้อาหารเข้าไปในตัวเข้ารหัสเครื่องแปลงเพื่อเรียนรู้การแสดงแพทช์ซึ่งจะใช้ในการสร้างใหม่ชุดเวลาเดิมโดยใช้หัวการสร้างใหม่น้ําหนักเบา วัตถุประสงค์ของการฝึกอบรมก่อนคือการลดความผิดพลาดในการสร้างใหม่ที่ซ่อนตัวคือความผิดพลาดเฉลี่ยสี่เหลี่ยมระหว่างความจริงพื้นฐานและการคาดการณ์โดยเฉลี่ยกว่าแพ เราทําการฝึกอบรมก่อนสามขนาดที่แตกต่างกันของ MOMENT ประมาณสอดคล้องกับขนาดของตัวเข้ารหัสใน T5-Small, Base และ Large โดยเฉพาะอย่างยิ่งรุ่นฐาน (Small, Large) ใช้ชั้น 12 (6, 24) Transform กับขนาดที่ซ่อนอยู่ D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) หัวใจความสนใจและเครือข่ายการให้อาหารขนาด 3072 (2048, 4096) ซึ่งมีผลให้ประมาณ 125 (40, 385) ล้านพารามิเตอร์ น้ําหนักทั้งหมดจะถูกเริ่มต้นอย่างสุ่มก่อนการฝึกอบรมก่อน รูปแบบทั้งหมดใช้ชุดเวลาการป้อนความยาว T = 512 การทําลายเป็น N = 64 แผ่นแยกความยาว P = 8 เราซ่อน 30% ของแพทช์อย่างสม่ําเสมอในระหว่างการฝึกอบรมก่อน 3.4. Fine-tuning บนงานด้านล่าง MOMENT สามารถใช้ได้อย่างราบรื่นสําหรับงานวิเคราะห์ชุดเวลาหลายอย่าง ในงานนี้เราพิจารณา 5 งานวิเคราะห์ชุดเวลาที่ใช้งานได้เป็นตัวอย่างเช่น การคาดการณ์ระยะยาวและระยะสั้น การจําแนกการตรวจจับความผิดปกติและการคํานวณ สําหรับงานคาดการณ์ที่มีแนวนอน H เราแทนที่หัวการสร้างใหม่ด้วยหัวการคาดการณ์ซึ่งก่อนหน้านี้จะทําให้การแทรก Patch แบบ N-D-dimensional ทั้งหมดลงในเวกเตอร์ขนาด N × D จากนั้นโปรเจคเป็นชุดเวลาแบบ H-dimensional ผ่านชั้นการคาดการณ์เชิงเส้น สําหรับงานอื่น ๆ ทั้งหมดเราเก็บไว้หัวการสร้างใหม่ เราให้คําอธิบายรายละเอียดของแต่ละงานและการกําหนดค่าของ MOMENT ในแอป E 
 
 
 
 
 
 
 
 ผู้เขียน : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, สหรัฐอเมริกา (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA โดยมีส่วนร่วมเท่าเทียมกันคําสั่งตัดสินใจโดยใช้เครื่องกําเนิดไฟฟ้าแบบสุ่ม (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA โดยมีส่วนร่วมเท่าเทียมกันคําสั่งตัดสินใจโดยใช้เครื่องกําเนิดไฟฟ้าแบบสุ่ม (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA (5) Shuo Li, University of Pennsylvania, Philadelphia, สหรัฐอเมริกา (6) Artur Dubrawski, ห้องปฏิบัติการอัตโนมัติ, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, สหรัฐอเมริกา (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA โดยมีส่วนร่วมเท่าเทียมกันคําสั่งตัดสินใจโดยใช้เครื่องกําเนิดไฟฟ้าแบบสุ่ม (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA โดยมีส่วนร่วมเท่าเทียมกันคําสั่งตัดสินใจโดยใช้เครื่องกําเนิดไฟฟ้าแบบสุ่ม (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA (5) Shuo Li, University of Pennsylvania, Philadelphia, สหรัฐอเมริกา (6) Artur Dubrawski, ห้องปฏิบัติการอัตโนมัติ, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA 
 
 กระดาษนี้สามารถใช้ได้ใน archiv ภายใต้ใบอนุญาต CC BY 4.0 DEED กระดาษนี้เป็น ใบอนุญาต CC BY 4.0 DEED สามารถใช้ได้ใน Archives สามารถใช้ได้ใน Archives [2] เราพบว่าส่วนใหญ่ของชุดข้อมูลการจัดอันดับมีชุดเวลาที่สั้นกว่า 512 นอกจากนี้หน้าต่างมองกลับความยาว 512 พบว่าเพียงพอสําหรับการคาดการณ์ระยะไกลที่แม่นยํา (Nie et al., 2023). [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

เสียงนี้ผลิตในภาษาต้นฉบับของเรื่องราว!

คุณจะฝึก AI เพื่อเข้าใจเวลาได้อย่างไร ด้วยข้อมูลขนาดใหญ่

About Author

ความคิดเห็น

แขวนแท็ก

บทความนี้ถูกนำเสนอใน

Related Stories

MAKING FRIENDS.

How AWS, Bosch & Brave Reach 4M+ Tech Pros on HackerNoon

Meet the HackerNoon Top Writers - Vladislav Guzey on Writing and Creativity

Meet Endorsely: HackerNoon Company of the Week

MAKING FRIENDS.

How AWS, Bosch & Brave Reach 4M+ Tech Pros on HackerNoon

Meet the HackerNoon Top Writers - Vladislav Guzey on Writing and Creativity

Meet Endorsely: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps