Ju jeni duke humbur fuqinë e GPU-së – Fix TensorFlow Input Pipeline sot

Përmbajtja Overview Përmbledhje Burimet Setup Të dhënat Trajnimi në loop Optimizimi i qasjes Qasja naive Prefetching Ekstraktimi i të dhënave paralele Transformimi i të dhënave paralele Caching Vektorizimi i hartës Reduktimi i gjurmëve të kujtesës Përmbledhje GPU-të dhe TPU-të mund të zvogëlojnë në mënyrë drastike kohën e nevojshme për të ekzekutuar një hap të vetëm trajnimi. API ndihmon në ndërtimin e tubacioneve të hyrjes fleksibël dhe efikase. ky dokument tregon se si të përdorni API për ndërtimin e tubacioneve të hyrjes TensorFlow me performancë të lartë. tf.data tf.data Para se të vazhdoni, kontrolloni Udhëzues për të mësuar se si të përdorni zjarrë Ndërtimi i tubacioneve të hyrjes TensorFlow tf.data Burimet Ndërtimi i tubacioneve të hyrjes TensorFlow tf.data.Dataset API të dhënave Analiza e performancës së tf.data me TF Profiler Setup import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Gjatë këtij udhëzuesi, ju do të iteroni në të gjithë një grup të të dhënave dhe do të matni performancën. Krijimi i referencave të riprodhueshme të performancës mund të jetë i vështirë. Faktorët e ndryshëm që ndikojnë në riprodhueshmërinë përfshijnë: Karakteristikat aktuale të CPU Trafiku i rrjetit mekanizmave komplekse, të tilla si cache Për të marrë një referencë të riprodhueshme, ju do të ndërtoni një shembull artificial. Të dhënat Filloni duke përcaktuar një klasë që trashëgohet nga Thirrje Në këtë dataset: tf.data.Dataset ArtificialDataset Gjeneron num_samples mostra (default është 3) Flini për disa kohë para se të fillojë artikulli i parë për të simuluar hapjen e një skedari Flini për disa kohë para se të prodhoni çdo element për të simuluar të dhënat e leximit nga një skedar class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) Këto të dhëna janë të ngjashme me një, duke shtuar një vonesë fikse në fillim të dhe në mes të çdo mostre. tf.data.Dataset.range Trajnimi në loop Tjetra, shkruani një cikël stërvitjeje që mat se sa kohë duhet për të iteruar mbi një grup të dhënash. def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) Optimizimi i performancës Për të treguar se si mund të optimizohet performanca, ju do të përmirësoni performancën e . ArtificialDataset Qasja naive Filloni me një pipeline naive duke përdorur asnjë truk, duke iteruar mbi grupin e të dhënave si-është. benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 Nën kapak, kështu u shpenzua koha juaj e ekzekutimit: Plotësimi tregon se kryerja e një hapi trajnimi përfshin: Hapja e një skedari nëse nuk është hapur ende Hapur një hyrje të të dhënave nga skedari Përdorimi i të dhënave për trajnime Megjithatë, në një zbatim naiv të sinkronizuar si këtu, ndërsa tubacioni juaj po merr të dhënat, modeli juaj është ulur bosh. Seksionet e ardhshme ndërtohen mbi këtë tubacion të hyrjes, duke ilustruar praktikat më të mira për projektimin e tubacioneve të hyrjes me performancë TensorFlow. Prefetching Prefetching mbivlerëson para-procesimin dhe modelin e ekzekutimit të një hapi trajnimi. , tubacioni i hyrjes po lexon të dhënat hap pas hapi Duke bërë kështu zvogëlon kohën e hapit në maksimum (në krahasim me shumën) të trajnimit dhe kohën e nevojshme për të nxjerrë të dhënat. s s+1 të zjarri ofron transformimi. Ajo mund të përdoret për të shkëputur kohën kur të dhënat janë prodhuar nga koha kur të dhënat janë konsumuar. Në veçanti, transformimi përdor një fije sfond dhe një buffer të brendshëm për të prefetch elemente nga grupi i të dhënave hyrëse para kohës që ato kërkohen. Numri i elementeve për të prefetch duhet të jetë i barabartë me (ose ndoshta më i madh se) numri i grupeve të konsumuar nga një hap i vetëm trajnimi. Ju mund ose manualisht të rregullojë këtë vlerë, ose të vendosni atë në që do të përshpejtojë Runtime për të rregulluar vlerën në mënyrë dinamike në runtime. tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data Vini re se transformimi prefetch ofron përfitime në çdo kohë që ka një mundësi për të mbivendosur punën e një "prodhuesi" me punën e një "konsumatori". benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 Tani, siç tregon skema e kohës së ekzekutimit të të dhënave, ndërsa hapi i trajnimit është duke u drejtuar për mostrën 0, tubacioni i hyrjes është duke lexuar të dhënat për mostrën 1, dhe kështu me radhë. Ekstraktimi i të dhënave paralele Në një mjedis të botës reale, të dhënat e hyrjes mund të ruhen në distancë (p.sh. në Google Cloud Storage ose HDFS).Një tubacion i grupit të të dhënave që punon mirë kur lexon të dhënat në vend mund të bllokohet në I/O kur lexon të dhënat në distancë për shkak të dallimeve të mëposhtme midis ruajtjes lokale dhe të largët: Time-to-first-byte: Leximi i bajtit të parë të një skedari nga ruajtja e largët mund të marrë urdhra të madhësisë më të gjatë se nga ruajtja lokale. Ndërsa ruajtja e largët zakonisht ofron bandwidth të madh të përgjithshëm, leximi i një skedari të vetëm mund të jetë në gjendje të përdorë vetëm një pjesë të vogël të kësaj bandwidth. Përveç kësaj, pasi bajtët e papërpunuar janë ngarkuar në kujtesë, mund të jetë gjithashtu e nevojshme për të deserializuar dhe / ose dekoduar të dhënat (p.sh. Kjo mbivendosje është e pranishme pavarësisht nëse të dhënat janë ruajtur në vend ose në distancë, por mund të jetë më e keqe në rastin e largët nëse të dhënat nuk janë prefetched në mënyrë efektive. Protokolli Për të zvogëluar ndikimin e nxjerrjes së të dhënave të ndryshme në përgjithësi, transformimi mund të përdoret për të paralelizuar hapin e ngarkimit të të dhënave, duke lënë mes vete përmbajtjen e grupeve të tjera të të dhënave (të tilla si lexuesit e skedarëve të të dhënave). argument, ndërsa niveli i paralelizmit mund të përcaktohet nga argumente të ngjashme me atë të transformimit, të Transformimi mbështet , e cila do të delegojë vendimin se çfarë niveli paralelizmi do të përdoret për Koha e drejtimit tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data Sekuencë e ndërmjetme Argumentet e gabuara të Transformimi e bën atë të ndërfaqe mostrat e vetme nga dy grupe të të dhënave në mënyrë sekuenciale. tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 Ky skemë kohore e ekzekutimeve të të dhënave lejon të shfaqet sjellja e transformimi, marrja e mostrave alternativisht nga dy grupet e të dhënave në dispozicion. megjithatë, nuk ka përmirësim të performancës këtu. interleave Ndërmjetësimi paralel Tani, përdorni Argumentet e Kjo ngarkon disa grupe të të dhënave paralelisht, duke zvogëluar kohën e pritjes për të hapur skedarët. num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 Këtë herë, siç tregon skema e kohës së ekzekutimit të të dhënave, leximi i dy grupeve të të dhënave është paralelizuar, duke zvogëluar kohën globale të përpunimit të të dhënave. Transformimi i të dhënave paralele Gjatë përgatitjes së të dhënave, elementet e hyrjes mund të kenë nevojë të përpunohen paraprakisht. Zjarri i ofron transformimi, i cili zbaton një funksion të përcaktuar nga përdoruesi për çdo element të grupit të të dhënave të hyrjes. Për shkak se elementët e hyrjes janë të pavarur nga njëri-tjetri, para-procesimi mund të paralelizohet në shumë bërthama të CPU. dhe transformimit, të Transformimi i ofron argument për të specifikuar nivelin e paralelizmit. tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls Për të zgjedhur vlerën më të mirë për argumenti varet nga hardware juaj, karakteristikat e të dhënave tuaj të trajnimit (të tilla si madhësia dhe forma e saj), kostoja e funksionit tuaj hartë, dhe çfarë përpunimi tjetër është duke ndodhur në CPU në të njëjtën kohë. dhe transformimit, të Transformimi mbështet që do të delegojë vendimin për atë se çfarë niveli paralelizmi do të përdoret për Koha e drejtimit num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Sekuencë Mapping Filloni duke përdorur transformim pa paralelizëm si një shembull bazë. map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 Sa për , këtu, siç tregon komplot, kohët e shpenzuara për hapjen, leximin, para-procesimin (mapping) dhe hapat e trajnimit të përmblidhen së bashku për një iterim të vetëm. Qasja naive Harta paralele Tani, përdorni të njëjtën funksion të para-përpunimit, por aplikoni atë paralelisht në mostra të shumta. benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 Siç tregon komplot i të dhënave, hapat e para-procesimit mbivendosen, duke zvogëluar kohën e përgjithshme për një iterim të vetëm. Caching të Transformimi mund të cache një grup të dhënash, qoftë në kujtesë ose në ruajtjen lokale.Kjo do të shpëtojë disa operacione (si hapja e skedarëve dhe leximi i të dhënave) nga ekzekutimi gjatë çdo epoke. tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 Këtu, skema e kohës së ekzekutimit të të dhënave tregon se kur cache një grup të dhënash, transformimet para një (si hapja e skedarit dhe leximi i të dhënave) janë ekzekutuar vetëm gjatë epokës së parë. të transformimit. cache cache Nëse funksioni i përcaktuar nga përdoruesi kalon në Transformacioni është i shtrenjtë, përdorni Transformimi pas transformimit për aq kohë sa grupi i të dhënave që rezulton mund të përshtatet ende në kujtesë ose në ruajtjen lokale.Nëse funksioni i përcaktuar nga përdoruesi rrit hapësirën e nevojshme për të ruajtur grupin e të dhënave përtej kapacitetit të cache, ose aplikoni atë pas Transformimi ose konsideroni para-përpunimin e të dhënave tuaja para punës tuaj të trajnimit për të reduktuar përdorimin e burimeve. map cache map cache Vektorizimi i hartës Përdorimi i një funksioni të përcaktuar nga përdoruesi në transformimi ka të bëjë me planifikimin dhe ekzekutimin e funksionit të përcaktuar nga përdoruesi.Vektorizoni funksionin e përcaktuar nga përdoruesi (dmth, le të veprojë mbi një sërë hyrjesh në të njëjtën kohë) dhe aplikoni Transformimi të të transformimit. map batch më parë map Për të ilustruar këtë praktikë të mirë, dataset artificial nuk është i përshtatshëm. vonesa e programimit është rreth 10 mikrosekonda (10e-6 sekonda), shumë më pak se dhjetëra milisekonda të përdorura në Prandaj, ndikimi i tyre është i vështirë për t’u parë. ArtificialDataset Për shembull, përdorni bazën Funksionon dhe thjeshton rrjedhën e trajnimit në formën e saj më të thjeshtë. tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 Scalar hartë fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 Plotësimi i mësipërm ilustron se çfarë po ndodh (me më pak mostra) duke përdorur metodën e hartës skalare. Ajo tregon se funksioni i hartuar zbatohet për çdo mostër. Vektorizimi i hartës fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 Këtë herë, funksioni i hartuar quhet një herë dhe zbatohet për një batch të mostrës.Siç tregon skema e kohës së ekzekutimit të të dhënave, ndërsa funksioni mund të marrë më shumë kohë për të ekzekutuar, overhead shfaqet vetëm një herë, duke përmirësuar performancën e përgjithshme të kohës. Reduktimi i gjurmëve të kujtesës Një numër transformimesh, duke përfshirë të dhe , ruani një buffer të brendshëm të elementeve. Nëse funksioni i përcaktuar nga përdoruesi kalon në transformimi ndryshon madhësinë e elementeve, pastaj renditja e transformimit hartë dhe transformimet që elementet buffer ndikon në përdorimin e kujtesës. Në përgjithësi, zgjidhni rendin që rezulton në gjurmët më të ulëta të kujtesës, përveç nëse renditja e ndryshme është e dëshirueshme për performancën. interleave prefetch shuffle map Caching kompjuterike të pjesshme Është e rekomanduar që të cache të dhënat pas Një kompromis mund të arrihet nëse funksioni juaj i hartuar mund të ndahet në dy pjesë: një pjesë që konsumon kohë dhe një pjesë që konsumon kujtesë. map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) Në këtë mënyrë, pjesa që konsumon kohë ekzekutohet vetëm gjatë epokës së parë, dhe ju shmangni përdorimin e hapësirës së tepërt të cache. I publikuar fillimisht në faqen e internetit TensorFlow, ky artikull shfaqet këtu nën një titull të ri dhe është i licencuar nën CC BY 4.0. I publikuar fillimisht në faqen e internetit TensorFlow, ky artikull shfaqet këtu nën një titull të ri dhe është i licencuar nën CC BY 4.0. TensorFlow TensorFlow