You're Wasting GPU Power—Fix Your TensorFlow Input Pipeline Այսօր

Content- ի վերահսկողություն Հիմնական տեսություն Ապրանքներ Հիմնական DataSET-ի մասին Ուսուցման loop Հիմնական optimization Արդյո՞վ է սխալը Prefetching է Data Extraction-ի հետազոտություն Data Transformation-ի հետազոտություն Caching մասին Vectorizing մոդելներ Հիմնական հոդված՝ Memory Footprint Հիմնական տեսություն GPU-ները եւ TPU-ները կարող են խոշորորեն կտրել մեկ դասընթացը կատարելու ժամանակը: Հիմնական կատարումը պահանջում է արդյունավետ մատակարարման խողովակ, որը մատակարարում է տվյալները հաջորդ դասընթացի համար, մինչեւ ժամանակակից դասընթացը ավարտվում է: API-ն օգնում է կառուցել հզոր եւ արդյունավետ input pipelines. Այս գրասենյակը ցույց է տալիս, թե ինչպես օգտագործել TensorFlow- ի բարձր արդյունավետության մատակարարման խողովակների ստեղծման API-ը: tf.data tf.data Երբ դուք սկսում եք, ստուգեք Տեղադրել, թե ինչպես պետք է օգտագործել Ապրիլ TensorFlow մատակարարման խողովակներ tf.data Ապրանքներ TensorFlow մատակարարման խողովակներ tf.data.Dataset API-ի մասին Tf.data- ի կատարումը TF Profiler- ի հետ Հիմնական import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Այս ուղեցույցի ընթացքում դուք կերակրեք տվյալների միասին եւ կերակրեք արդյունավետությունը: Կա կարող է դժվար լինել արտադրել արտադրականության մանրամասներ, որոնք կարող են վերլուծվել: Որոշ գործառույթները, որոնք ազդում են արտադրականության համար: Այժմ CPU բեռնելը ցանցային traffic Հիմնական գործիքներ, ինչպիսիք են Cache Ինչպե՞ս ստանալ վերլուծված benchmark- ը, դուք պետք է կառուցել թվային օրինակը: DataSET-ի մասին Առաջին դասընթացը նշում է, որ մի դասընթացը կունենա Հիմնական Այս տվյալների համար: tf.data.Dataset ArtificialDataset Num_samples մանրամասներ ստեղծում է (բարպատը 3 է) Սեւում է մի քանի ժամանակ, երբ առաջին բաղադրիչը սմարում է ֆայլը բացելու համար Երբեք մի քանի անգամ գնում է, երբ արտադրում է յուրաքանչյուր բաղադրիչը, որպեսզի մի ֆայլից կարդալ տվյալները class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) Այս տվյալների բաղադրիչը նման է Մեկը, որը ավելացվում է փաթեթավոր ծախսերը սկսած եւ միջեւ յուրաքանչյուր նմուշի. tf.data.Dataset.range Ուսուցման loop Հաջորդը, գրեք dummy training loop, որը չափում է, թե ինչպես երկար ժամանակ է պետք է վերլուծել մի dataset. Training time simulates. def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) Optimize կատարումը Տեսնել, թե ինչպես կարող եք optimize կատարումը, դուք պետք է բարելավել կատարումը . ArtificialDataset Արդյո՞վ է սխալը Սկսեք մի հին խողովակով, որը օգտագործում է ոչ մի բարդություն, այնպես էլ այնպես էլ այնպես էլ այնպես էլ, որ տվյալների միասին iterates. benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 Այսպիսին է, թե ինչպե՞ս կատարելու ժամանակը օգտագործվել է: Տեսանյութը ցույց է տալիս, որ դասընթացը ներառում է: Սեղմեք ֆայլը, եթե այն դեռ չի բացվել Տեղադրեք տվյալների ներառումը ֆայլից Օգտագործեք տվյալները դասընթացների համար Երբ ձեր մատակարարը մատակարարում է տվյալները, ձեր մատակարարի մատակարարը մատակարարում է տվյալները, ձեր մատակարարի մատակարարը մատակարարում է տվյալները, իսկ ձեր մատակարարի մատակարարը մատակարարվում է մատակարարի մատակարարի մատակարարի մատակարարում: Հաջորդ մասերը կառուցում են այս մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մ Prefetching է Prefetching- ը վերլուծում է դասընթացի դասընթացի նախապատրաստման եւ մոդելային դասընթացը, իսկ մոդելը կատարում է դասընթացի դասընթացը , input pipeline- ը փնտրում է տվյալները փնտրում Այսպիսով, քայլը ժամանակը կտրում է առավելագույնին (լուսանկարներ) դասընթացը եւ ժամանակը, որը պետք է արտադրել տվյալները: s s+1 Դա Fire- ը ապահովում է Դա կարող է օգտագործվել այն ժամանակից, երբ տվյալները արտադրվում են, եւ այն ժամանակից, երբ տվյալները օգտագործվում են: Բացի այդ, փոխանակմանը օգտագործում է բջջային գծի եւ ներքին փակիչը, որպեսզի բաղադրիչները ստուգել են բաղադրիչները բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղ Ինչպե՞ս կարող է արագացնել Runtime- ը կարող է փոխել արժեքը Runtime- ում. tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data Նշեք, որ prefetch փոխանակումը ապահովում է առավելությունները ցանկացած ժամանակ, երբ կա հնարավորություն `պատակարարի` աշխատանքը `պատակարարի` աշխատանքը `պատակարարի` աշխատանքը: benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 Այժմ, քանի որ տվյալների կատարման ժամանակը ցույց է տալիս, երբ ուսուցման քայլը աշխատում է նմուշի 0-ի համար, նմուշի 1-ի տվյալները կարդալ են, եւ այլն: Data Extraction-ի հետազոտություն Տեղադրված տվյալները կարող են մանրամասն պահել (հարկե, Google Cloud Storage- ում կամ HDFS- ում): Տեղադրված տվյալների խողովակները, որոնք լավ աշխատում են այն ժամանակ, երբ տվյալները տպագրվում են տեղականորեն, կարող են տպագրվել I/O- ում, երբ տվյալները տպագրվում են մանրամասնորեն, քանի որ տեղական եւ մանրամասն տպագրության միջեւ հետեւյալ տարբերությունները: Time-to-First-Byte- ը: Ապրիշի ֆայլի առաջին բայթը հեռավոր սարքավորումներից կարող է տեւել երկար ժամանակ, քան տեղական սարքավորումներից: Read throughput- ը: Երբ հեռավոր սարքավորումներ սովորաբար առաջարկում են մեծ միասնական լայնությունը, մի միասնական ֆայլը կարդալը կարող է միայն օգտագործել այս լայնության մի փոքր քանակը: Բացի այդ, երբ սեղմված բայթները բեռնում են մանրամասնության մեջ, կարող է նաեւ անհրաժեշտ լինել տվյալների deserialization եւ / կամ decrypting (հարկե. This overhead is present regardless of whether the data is stored locally or remotely, but can be worse in the remote case if data is not prefetched effectively. Պրոֆիլմ Որպես համարվում է տարբեր տվյալների արտահանման ազդեցությունը, այն Տեսանյութը կարող է օգտագործվել տվյալների բեռնելի քայլը համեմատելու համար, ինչպիսիք են այլ տվյալների բեռնելների բեռնելը (լուսանկարներ): Տեսանյութի բեռնելի բեռնելը կարող է նշվել Մարդիկ, որոնք կարող են որոշել, թե ինչպես է սխալը, կարող են որոշել, թե ինչպես է սխալը Արդյոք, ինչպիսիք են Transformation, The Transformation- ը աջակցում է Ինչպե՞ս պետք է որոշել, թե ինչ մակարդակը պետք է օգտագործվի Runtime է. tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data Հիմնական interleave Արդյո՞վ է սխալը, թե ինչի մասին Տեսանյութը կարող է միավոր մանրամասներ մտնել երկու տվյալների սերտիֆիկայում: tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 Այս data execution time plot- ը թույլ է տալիս ցույց տալ, որ տվյալների կատարումը Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է դա: interleave Հիմնական interleave Այժմ օգտագործեք аргумент է Դա բեռնում է բազմաթիվ տվյալների սերտիֆիկները միասին, սեղմելով ժամանակը, որը տեւում է ֆայլերը բացելու համար: num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 Այս անգամ, քանի որ տվյալների կատարման ժամանակագրությունը ցույց է տալիս, երկու տվյալների սերտիֆիկների կարդալը հարմարեցված է, որը կտրում է ամբողջական տվյալների մշակման ժամանակը: Data Transformation-ի հետազոտություն Երբ պատրաստվում են տվյալները, կարող է պետք է նախընտրել ինտերնետային բաղադրիչները. Fire- ը առաջարկում է Տեսանյութը, որը օգտագործում է օգտագործող-կիզայնված գործառույթը input data set- ի յուրաքանչյուր բաղադրիչի համար: Երբ input elements are independent of each other, pre-processing can be parallelized across multiple CPU cores. եւ Transformations, The Transformation- ը ապահովում է Արդյոք, դուք պետք է որոշել, թե ինչպես է մակարդակի parallelism. tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls Լավագույն գինը ընտրելու համար Արդյոք, դուք կարող եք ստանալ այն, ինչ դուք պետք է ստանալ, քանի որ դուք պետք է ստանալ այն, ինչ դուք պետք է ստանալ, եւ դուք պետք է ստանալ այն, ինչ դուք պետք է ստանալ այն, ինչ դուք պետք է ստանալ. եւ Transformation, The Transformation- ը աջակցում է Ինչպե՞ս պետք է որոշել, թե ինչ մակարդակը պետք է օգտագործվի Runtime է. num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Հիմնական քարտեզ սկսեք օգտագործելով Պահպանություն ոչ մի բազանային օրինակ է. map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 Ինչպե՞ս է , այստեղ, ինչպես գիրքը ցույց է տալիս, բացելու, կարդալ, pre-processing (mapping) եւ ուսուցման քայլերի ժամանակը միասին միասին միասին. Արդյունքներ Naive Parallel մոդելներ Այժմ օգտագործեք նույն pre-processing գործառույթը, բայց օգտագործեք այն միասին բազմաթիվ նմուշների համար: benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 Որպես տվյալների բաղադրիչը ցույց է տալիս, pre-processing- ի քայլերը վերլուծվում են, ինչպիսիք են միասին միասին միասին միասին միասին միասին միասին: Caching մասին Դա Transformation- ը կարող է բեռնել մի տվյալների բաղադրիչը, այնպես որ, այն կարող է բեռնել մի տվյալների բաղադրիչը, այնպես էլ բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադր tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 Այսպիսով, data execution time plot- ը ցույց է տալիս, որ, երբ դուք խոստանում եք data set- ը, փոխանակումներ, որոնք առաջանում են data execution- ը: Մեկը, ինչպիսիք են ֆայլերի բացումը եւ տվյալների կարդալը, կատարվում են միայն առաջին ժամանակի ընթացքում: Հաջորդ ժամանակները վերցնում են տվյալները, որոնք սեղմվում են Արդյոք Transformation. cache cache Եթե օգտագործող-պատկված գործառույթը փոխվել է Ավելի ծախսեր է, օգտագործեք Transformation-ի հետո Տեսանյութը կարող է փոխվել այն ժամանակ, երբ բաղադրիչը կարող է տեղադրվել մանրամասի կամ տեղական մանրամասի մեջ: Եթե օգտագործող-համշակված գործառույթը ավելացնել է մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասը: Տեղադրեք ձեր տվյալների նախընտրում, նախընտրեք ձեր դասընթացային աշխատանքը, որպեսզի նվազեցեք սարքավորումների օգտագործումը: map cache map cache Vectorizing մոդելներ Օգտագործող-պատկված գործառույթը փոխվել է Արդյոք, ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են: փոխանակման Արդյոք Արդյոք Transformation. map batch Նախորդ map Այս լավ գործառույթը ցույց է տալիս, որ ձեր թվային տվյալների միավորը չի հարմարվում: Հիմնական ժամանակը 10 microseconds (10e-6seconds) մոտ է, շատ ավելի փոքր է, քան այս ժամանակում օգտագործված դիզայնի դիզայնի դիզայնը: Այսպիսով, իր ազդեցությունը դժվար է տեսնել. ArtificialDataset Այս օրինակը օգտագործվում է Basic Տեղադրել եւ հեշտացնել դասընթացը իր հեշտագույն ձեւով: tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 Scalar քարտեզը fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 Ահա թե ինչ է կատարվում (վազագույն նմուշների հետ) օգտագործելով scalar mapping մեթոդը: Այն ցույց է տալիս, որ mapped գործառույթը կիրառվում է յուրաքանչյուր նմուշի համար: Երբ այս գործառույթը շատ արագ է, այն ունի մի քանի overhead- ը, որը ազդում է ժամանակի կատարումը: Vectorized մոդելներ fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 Այս անգամ, թարմացված գործառույթը կոչվում է մեկ անգամ եւ կիրառվում է մի շարք նմուշի համար: Երբ տվյալների կատարման ժամանակը ցույց է տալիս, երբ գործառույթը կարող է պետք է ավելի երկար ժամանակ կատարելու համար, վերահսկողությունը միայն մեկ անգամ ցույց է տալիս, որը բարելավում է ամբողջական ժամանակի կատարումը: Հիմնական հոդված՝ Memory Footprint Շատ փոխանակներ, այդ թվում՝ Հիմա եւ Տեղադրեք, թե ինչ է անում այս գործառույթը, եթե user-defined գործառույթը փոխվել է Ապրանքների չափը փոխվում է, ապա քարտի փոխանցման եւ փոխանցման փոխանցման կարգը, որը կախված է սմարքի օգտագործման համար: Ընդհանուր առմամբ, ընտրեք սմարքի օգտագործման կարգը, որը հասկանում է սմարքի ցածր մակարդակը, եթե տարբեր սմարման պահանջվում է կատարման համար: interleave prefetch shuffle map Caching կատեգորիաներ Խնդրում ենք փոխել տվյալները, քանի որ Արդյոք, դուք կարող եք ստանալ փոխանցման, եթե ձեր փոխանցված գործառույթը կարող է կտրել երկու մասերի: մեկ ժամանակը օգտագործող եւ մեկ թվային օգտագործող մասը: Այս դեպքում, դուք կարող եք ցանցել ձեր փոխանցումներ, ինչպիսիք են ներսում: map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) Այսպիսին, ժամանակի խոշոր մասը կատարվում է միայն առաջին epoch- ում, եւ դուք փնտրում եք, որ օգտագործեք շատ թափանցման տարածք: Այս հոդվածը առաջին անգամ հայտնվել է TensorFlow կայքում, այս հոդվածը հայտնվում է այստեղ նոր թվով եւ licensed under CC BY 4.0. Code samples shared under the Apache 2.0 License. Այս հոդվածը առաջին անգամ հայտնվել է TensorFlow կայքում, այս հոդվածը հայտնվում է այստեղ նոր թվով եւ licensed under CC BY 4.0. Code samples shared under the Apache 2.0 License. TensorFlow- ը TensorFlow- ը