Förvandla timmar av träning till minuter med GPU-acceleration Om du är en maskininlärningsutövare känner du till den här scenen väl. Du har tillbringat timmar med att bråka om data, konstruera de perfekta funktionerna och noggrant utforma ditt experiment. och hit in. model.fit(X, y) Och sen... du väntar. Progressfältet kryper framåt i en glacial takt. Du tar en kaffe. Du kontrollerar Slack. Du kommer tillbaka, och din CPU är fortfarande slipning bort. Du kan inte testa funktioner, justera hyperparametrar och hålla huvudet i problemet. Den dyraste delen av maskininlärning är din tid XGBoost har tjänat sitt rykte som krafthuset för gradient boosting. Det är guldstandarden på tabelldataset. Men dess styrka kommer med en kostnad. De flesta utövare inser inte att XGBoost har en enda parameter som kan omvandla denna upplevelse. Flip det, och din modell kan träna 5–15x snabbare. Inga algoritmförändringar. Inga nya bibliotek. Bara en rad i din konfiguration. Att en förändring tar dig från att slutföra ett enda experiment på en dag till att köra flera. Hyperparameter sökningar som en gång dragits på i dagar nu wrap upp i timmar. Istället för att vänta på en framsteg bar, du stanna i slingan, testa idéer medan de är färska och hålla momentum i ditt arbete. I många fall gör CUDA-acceleration skillnaden mellan att slutföra ett jobb och aldrig slutföra det. Den "magiska" parametern: GPU-acceleration gjort lätt XGBoost har inbyggt stöd för NVIDIA CUDA, så att trycka på GPU-acceleration kräver inte nya bibliotek eller kodöversättningar. Här är ett typiskt CPU-arbetsflöde: import xgboost as xgb
model = xgb.XGBClassifier(
    ...
    tree_method="hist" # CPU training
)
model.fit(X_train, y_train)
 För att använda din GPU ändrar du bara Två : tree_method "gpu_hist" import xgboost as xgb
model = xgb.XGBClassifier(
    ...
    tree_method="gpu_hist" # GPU training
)
model.fit(X_train, y_train)
 eller för återvändare, set : device="cuda" import xgboost as xgb
xgb_model = xgb.XGBRegressor(device="cuda") 
xgb_model.fit(X, y)
 Det är det. Oavsett om du använder XGBClassifier eller XGBRegressor lägger du till Ber XGBoost att använda alla tillgängliga NVIDIA GPU-resurser.Denna enda förändring kan göra din träning 5–15x snabbare på stora datamängder. device="cuda" The Proof: En 46x acceleration på Amex Standard Prediction För att visa accelerationen i aktion, jämförde vi en XGBoost-klassificerare på en 5,5 miljoner rad (50 giga) deluppsättning av American Express Default Prediction-dataset, som innehåller 313 funktioner. Vi tränade modellen på två konfigurationer: 
 
 
 CPU: En M3 Pro 12-kärnig CPU. GPU: En NVIDIA A100 GPU. Här är träningstiderna jämfört: Resultatet är dramatiskt: 
 
 
 CPU Träningstid: 27 minuter NVIDIA GPU Träningstid: 35 sekunder Samtidigt som man uppnår nästan identisk prestanda. På 50M eller 500M rader kan CPU-timmar sträcka sig till dagar, medan GPU: er, byggda för massiva parallella arbetsbelastningar, hanterar tillväxten med minimal extra tid. Skillnaden mellan mätvärden som R2, RMSE och MAE är minimal, oavsett om det gäller baslinjemodeller eller justerade modeller. Så du handlar inte om noggrannhet för hastighet. När det gäller prediktiv kraft är båda modellerna överens om en sak: Det är den viktigaste egenskapen, och De gör också topp fem. Bortsett från det, de börjar skilja sig. P-2_last B_1_last CPU-modellen fokuserar på funktioner, med fokus på de senaste värdena. GPU-modellen gynnar aggregerade Funktioner som och b och , funktioner som CPU aldrig rankas i sin topp fem. _last _mean P-2_mean -22_mean B-1_mean Detta föreslår en hypotes: CPU-modellen fångar kortsiktiga risksignaler, svarar på de senaste händelserna, medan GPU-modellen fångar långsiktiga mönster, utvärderar en kunds risk över hela sin historia. Vi förväntar oss också att på ännu större, terabyte-skala datamängder, GPU: er kan producera modeller med något bättre mätvärden tack vare deras förmåga att bearbeta mer data på en gång. Kör koden och se prestanda skillnaden i detta . Try It Yourself: anteckningsbok anteckningsbok anteckningsbok Bästa praxis för GPU-acceleration Lägg till För att få ut det mesta av GPU-acceleration, ha dessa bästa metoder i åtanke: device="cuda" Börja med rätt storlek data GPU-acceleration fungerar bäst på datasatser som är tillräckligt stora för att motivera överhuvudet för att flytta data från system RAM till GPU-minne. För mycket små datamängder kan den tid som spenderas på att överföra data till GPU och installera parallella beräkningar faktiskt överstiga själva träningstiden, vilket gör CPU-utbildningen snabbare i dessa fall. Tänk på ditt VRAM: Fäst dina data i GPU-minne GPU:er har sitt eget höghastighetsminne, kallat VRAM, som är separat från ditt system RAM. För standardutbildning måste din datamängd passa helt i VRAM. och kommando. nvidia-smi Som en tumregel: Om din DataFrame använder 10 GB system RAM behöver du en GPU med mer än 10 GB VRAM. För stora arbetsbelastningar är GPU-enheter som NVIDIA A10G (24 GB) eller A100 (40–80 GB) vanliga val. Om du ser fel utanför minnet betyder det vanligtvis att din datamängd är för stor för att passa in i GPU:s minne. Optimera datatyper för att minska minnesavtrycket Ett av de enklaste sätten att spara VRAM är genom att använda mer effektiva datatyper. Pandas standard till 64-bitars typer (float64, int64), som vanligtvis är mer exakta än nödvändigt. Konvertering av kolumner till 32-bitars typer (float32, int32) kan minska minnesanvändningen med ungefär hälften utan att påverka modellens noggrannhet. Denna lilla justering kan göra en stor skillnad när du arbetar med stora datamängder på en GPU. df['my_column'].astype('float32') Gå End-to-End: Accelerate Data Prep med cudf.pandas Ofta är det största flaskhalsarna inte själva träningen utan förberedelsen av data. Flytta data fram och tillbaka mellan CPU och GPU-minne lägger till överhuvud som kan sakta ner ditt arbetsflöde. biblioteket löser detta genom att tillhandahålla en GPU-drivna drop-in ersättning för pandor. cudf.pandas Genom att starta skriptet med import När du överför denna GPU-native DataFrame till XGBoost, eliminerar du överföring överhuvud och uppnår massiva end-to-end-accelerationer. cudf.pandas as pd För datamängder större än VRAM: Använd externt minne Vad händer om dataset är 100 GB, men din GPU bara har 24 GB VRAM? Med XGBoost 3.0 kan du hantera detta genom att bearbeta data i bitar från systemminne eller disk. Detta möjliggör GPU-accelererad utbildning för terabyte-skala dataset på en enda GPU, utan att förlora prestanda. Beyond VRAM: Träning Terabyte-Scale Datasets med XGBoost 3.0 Tidigare var datamängder som var större än en GPU:s VRAM en hård gräns för accelererad träning.Du var antingen tvungen att nedmontera dina data eller falla tillbaka till långsammare CPU-baserade arbetsflöden. Utgåvan av XGBoost 3.0 eliminerar denna barriär med en ny Detta gör att du kan träna på massiva datamängder genom att strömma data från systemminnet eller disken direkt till GPU: n för bearbetning. external memory capability Detta möjliggör skalbar gradientökning på terabyte-arbetsbelastningar på en enda GPU, en uppgift som tidigare krävde stora, distribuerade kluster. På modern hårdvara som NVIDIA Grace Hopper Superchip kan detta tillvägagångssätt vara upp till 8 gånger snabbare än ett multi-core CPU-system, allt samtidigt som full prestanda och noggrannhet bibehålls. Även om den här funktionen fungerar med kärnan DMatrix-objektet i stället för Scikit-Learn-wrapper, parametrarna förblir bekanta. När man parat med För dataförberedelse kan hela arbetsflödet för terabyte-skala datamängder nu köras på GPU:n. Massiva datamängder ger dig nu den skala som behövs för att bygga starkare modeller på en bråkdel av tiden. cudf.pandas Reclaimera din tid I maskininlärning är den största kostnaden den tid som spenderas på att vänta.Väntar på modeller att träna, för data att bearbeta, eller för experiment att avsluta saktar ner din förmåga att testa idéer, upptäcka insikter och skapa värde. NVIDIA GPU acceleration låter dig återkräva den tiden. Med en enda parameterändring kan du träna modeller 5–15 gånger snabbare, köra end-to-end-datarörledningar på GPU:n och till och med arbeta med datamängder som är större än din GPU:s minne. Verktygen är klara, integrationerna är sömlösa och installationen är enkel. Snabbare iteration innebär fler experiment, fler upptäckter och i slutändan bättre modeller. Härifrån har du några olika sätt att dyka i: 
 
 
 
 Följ den NVIDIA-annoterade Notebook för en steg-för-steg-guide. Se hela trailern i YouTube-videon. Dyk in i den officiella __XGBoost Dokumentation t__o utforska alla cuda konfigurationsalternativ.GPU Acceleration Made Ea anteckningsbok anteckningsbok Youtube videor Youtube videor Ta inte bara mitt ord för det. kör min Amex och känna bara hur mycket snabbare ditt arbetsflöde kan vara. , notebook , anteckningsbok anteckningsbok Lycklig byggnad Paola

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

👉 Join The Tech Audience Accelerator 👈

Read My Stories

Det här ljudet är producerat på berättelsens originalspråk!

För länge; Att läsa

Make resilience your competitive advantage

Sluta vänta: Gör XGBoost 46x snabbare med en parameterändring

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps