For data af alle former og størrelser tilbyder Ragged Tensors et hjem

Indholdsoversigt Setup Overblik Hvad du kan gøre med en ragged tensor Opbygning af en ragged tensor Hvad du kan gemme i en ragged tensor Eksempel på brug af case Glatte og ensartede dimensioner Håndbold vs Sparta TensorFlow API'er Keras F. Eksempel Datasæt Tf. funktion Redningsmodeller Overbelastede operatører Setup !pip install --pre -U tensorflow import math import tensorflow as tf 2024-08-27 01:20:40.536630: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-27 01:20:40.557820: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-27 01:20:40.563984: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Overblik Dine data kommer i mange former; dine tensorer bør også. De gør det nemt at gemme og behandle data med ikke-uniforme former, herunder: Spændende tensorer Variable-længde funktioner, såsom sæt af skuespillere i en film. Batcher af sekventielle input med variabel længde, f.eks. sætninger eller videoklip. Hierarkiske input, såsom tekstdokumenter, der er opdelt i afsnit, afsnit, sætninger og ord. Individuelle felter i strukturerede input, såsom protokolbuffere. Hvad du kan gøre med en ragged tensor Ragged tensorer understøttes af mere end hundrede TensorFlow-operationer, herunder matematiske operationer (såsom og ), array operationer (såsom og ), string manipulation ops (såsom ) kontrol flow operationer (såsom og ) og mange andre: tf.add tf.reduce_mean tf.concat tf.tile tf.strings.substr tf.while_loop tf.map_fn digits = tf.ragged.constant([[3, 1, 4, 1], [], [5, 9, 2], [6], []]) words = tf.ragged.constant([["So", "long"], ["thanks", "for", "all", "the", "fish"]]) print(tf.add(digits, 3)) print(tf.reduce_mean(digits, axis=1)) print(tf.concat([digits, [[5, 3]]], axis=0)) print(tf.tile(digits, [1, 2])) print(tf.strings.substr(words, 0, 2)) print(tf.map_fn(tf.math.square, digits)) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721643.161122 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.164924 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.168750 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.172328 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.183636 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.187178 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.190668 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.194028 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.197422 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.201089 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.204485 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.207934 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.469725 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.471772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.473847 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.475930 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.477949 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.479867 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.481845 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.483831 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.486309 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.488220 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.490205 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.492181 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.532055 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.534019 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.536012 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.538150 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.540140 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.542032 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.543963 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.545991 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.547989 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.551435 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.553772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.556197 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor([2.25 nan 5.33333333 6. nan], shape=(5,), dtype=float64) Der findes også en række metoder og operationer, der er specifikke for raggede tensorer, herunder fabriksmetoder, konverteringsmetoder og værdikartningsoperationer. Pakke med dokumentation. tf.ragged Ragged tensorer understøttes af mange TensorFlow API'er, herunder , der , der , der og For mere information, se afsnittet på Nedenfor er Keras Datasæt Tf. funktion Redningsmodeller F. Eksempel TensorFlow APIs Som med normale tensorer kan du bruge Python-stil indeksering til at få adgang til specifikke skiver af en ragged tensor. Nedenfor er Indexing print(digits[0]) # First row tf.Tensor([3 1 4 1], shape=(4,), dtype=int32) print(digits[:, :2]) # First two values in each row. print(digits[:, -2:]) # Last two values in each row. Og ligesom almindelige tensorer kan du bruge Pythons aritmetiske og sammenligningsoperatorer til at udføre elementvise operationer. Nedenfor er Overloaded operators print(digits + 3) print(digits + tf.ragged.constant([[1, 2, 3, 4], [], [5, 6, 7], [8], []])) Hvis du har brug for at udføre en elementvis transformation til værdierne af en Du kan bruge , som tager en funktion plus et eller flere argumenter, og anvender funktionen til at transformere Det er værdier. RaggedTensor tf.ragged.map_flat_values RaggedTensor times_two_plus_one = lambda x: x * 2 + 1 print(tf.ragged.map_flat_values(times_two_plus_one, digits)) Ragged tensors kan konverteres til Nested Python S og NumPy af s: list array digits.to_list() [[3, 1, 4, 1], [], [5, 9, 2], [6], []] digits.numpy() array([array([3, 1, 4, 1], dtype=int32), array([], dtype=int32), array([5, 9, 2], dtype=int32), array([6], dtype=int32), array([], dtype=int32)], dtype=object) Opbygning af en ragged tensor Den nemmeste måde at bygge en ragged tensor på er ved at bruge som skaber den Korresponderer med en given Python eller Numbers : tf.ragged.constant RaggedTensor list array sentences = tf.ragged.constant([ ["Let's", "build", "some", "ragged", "tensors", "!"], ["We", "can", "use", "tf.ragged.constant", "."]]) print(sentences) paragraphs = tf.ragged.constant([ [['I', 'have', 'a', 'cat'], ['His', 'name', 'is', 'Mat']], [['Do', 'you', 'want', 'to', 'come', 'visit'], ["I'm", 'free', 'tomorrow']], ]) print(paragraphs) Rågede tensorer kan også konstrueres ved parring Tensorer med Tensorer, der angiver, hvordan disse værdier skal opdeles i rækker ved hjælp af fabriksklassemetoder såsom , der og . Værdier Røddelegation tf.RaggedTensor.from_value_rowids tf.RaggedTensor.from_row_lengths tf.RaggedTensor.from_row_splits tf.RaggedTensor.from_value_rowids tf.RaggedTensor.from_value_rowids Hvis du ved, hvilken række hver værdi tilhører, så kan du opbygge en Brug af a Rækkepartitionering af tensorer: RaggedTensor value_rowids print(tf.RaggedTensor.from_value_rowids( values=[3, 1, 4, 1, 5, 9, 2], value_rowids=[0, 0, 0, 0, 2, 2, 3])) tf.RaggedTensor.from_row_lengths tf.RaggedTensor.from_row_lengths Hvis du ved, hvor lang hver række er, kan du bruge en Rækkepartitionering af tensorer: row_lengths print(tf.RaggedTensor.from_row_lengths( values=[3, 1, 4, 1, 5, 9, 2], row_lengths=[4, 0, 2, 1])) tf.RaggedTensor.from_row_splits tf.RaggedTensor.from_row_splits Hvis du kender indekset, hvor hver række begynder og slutter, kan du bruge en Rækkepartitionering af tensorer: row_splits print(tf.RaggedTensor.from_row_splits( values=[3, 1, 4, 1, 5, 9, 2], row_splits=[0, 4, 4, 6, 7])) Se den Klassedokumentation for en komplet liste over fabriksmetoder. tf.RaggedTensor Bemærk: Som standard tilføjer disse fabriksmetoder påstande om, at linjepartitionstensoren er velformet og i overensstemmelse med antallet af værdier. Bemærk: Som standard tilføjer disse fabriksmetoder påstande om, at linjepartitionstensoren er velformet og i overensstemmelse med antallet af værdier. Hvad du kan gemme i en ragged tensor Som med normal s, værdierne i a skal alle have samme type; og værdierne skal alle være på samme af den spænding): Tensor RaggedTensor Range print(tf.ragged.constant([["Hi"], ["How", "are", "you"]])) # ok: type=string, rank=2 print(tf.ragged.constant([[[1, 2], [3]], [[4, 5]]])) # ok: type=int32, rank=3 try: tf.ragged.constant([["one", "two"], [3, 4]]) # bad: multiple types except ValueError as exception: print(exception) Can't convert Python sequence with mixed types to Tensor. try: tf.ragged.constant(["A", ["B", "C"]]) # bad: multiple nesting depths except ValueError as exception: print(exception) all scalar values must have the same nesting depth Eksempel på brug af case Følgende eksempel viser, hvordan s kan bruges til at konstruere og kombinere unigram og bigram indlejringer til en batch af variabel længde forespørgsler, ved hjælp af specielle markører til begyndelsen og slutningen af hver sætning. Pakke med dokumentation. RaggedTensor tf.ragged queries = tf.ragged.constant([['Who', 'is', 'Dan', 'Smith'], ['Pause'], ['Will', 'it', 'rain', 'later', 'today']]) # Create an embedding table. num_buckets = 1024 embedding_size = 4 embedding_table = tf.Variable( tf.random.truncated_normal([num_buckets, embedding_size], stddev=1.0 / math.sqrt(embedding_size))) # Look up the embedding for each word. word_buckets = tf.strings.to_hash_bucket_fast(queries, num_buckets) word_embeddings = tf.nn.embedding_lookup(embedding_table, word_buckets) # ① # Add markers to the beginning and end of each sentence. marker = tf.fill([queries.nrows(), 1], '#') padded = tf.concat([marker, queries, marker], axis=1) # ② # Build word bigrams and look up embeddings. bigrams = tf.strings.join([padded[:, :-1], padded[:, 1:]], separator='+') # ③ bigram_buckets = tf.strings.to_hash_bucket_fast(bigrams, num_buckets) bigram_embeddings = tf.nn.embedding_lookup(embedding_table, bigram_buckets) # ④ # Find the average embedding for each sentence all_embeddings = tf.concat([word_embeddings, bigram_embeddings], axis=1) # ⑤ avg_embedding = tf.reduce_mean(all_embeddings, axis=1) # ⑥ print(avg_embedding) tf.Tensor( [[-0.07189021 0.23444025 -0.04020268 -0.27113184] [ 0.10560822 0.00976487 -0.17885399 0.5371701 ] [-0.23479678 -0.15996003 0.07078557 0.24388357]], shape=(3, 4), dtype=float32) Glatte og ensartede dimensioner A er er en dimension, hvis skiver kan have forskellige længder. For eksempel, den indre (kolonne) dimension af er ragged, da kolonnen skærer ( ... ... , Dimensioner, hvis skiver alle har samme længde, kaldes . Grøn dimension rt=[[3, 1, 4, 1], [], [5, 9, 2], [6], []] rt[0, :] rt[4, :] Ensartede dimensioner Grøn dimension Den yderste dimension af en ragged tensor er altid ensartet, da den består af en enkelt skive (og derfor er der ingen mulighed for forskellige skive længder). De resterende dimensioner kan være enten ragged eller ensartet. For eksempel kan du gemme ordembeddinger for hvert ord i en batch af sætninger ved hjælp af en ragged tensor med form hvor parenteserne omkring indikerer, at dimensionen er ryddet. [num_sentences, (num_words), embedding_size] (num_words) Ragged tensorer kan have flere ragged dimensioner. For eksempel kan du gemme et batch af strukturerede tekstdokumenter ved hjælp af en tensor med form (Hvor igen parenteser bruges til at angive raggede dimensioner). [num_documents, (num_paragraphs), (num_sentences), (num_words)] Som med , den af en ragged tensor er dets samlede antal dimensioner (herunder både ragged og ensartede dimensioner). er en værdi, der kan være enten a eller a . tf.Tensor Range Potentielt forstyrret spænding tf.Tensor tf.RaggedTensor Range Potentielt forstyrret spænding Når man beskriver formen på en RaggedTensor, er raggede dimensioner konventionelt angivet ved at indsætte dem i parenteser. For eksempel, som du så ovenfor, kan formen på en 3D RaggedTensor, der gemmer ordindlejringer for hvert ord i en række sætninger, skrives som . [num_sentences, (num_words), embedding_size] Den Atribut returnerer a for en ragged tensor, hvor ragged dimensioner har størrelse : RaggedTensor.shape tf.TensorShape None tf.ragged.constant([["Hi"], ["How", "are", "you"]]).shape TensorShape([2, None]) Metoden er kan bruges til at finde en stram grænseform for en given : tf.RaggedTensor.bounding_shape RaggedTensor print(tf.ragged.constant([["Hi"], ["How", "are", "you"]]).bounding_shape()) tf.Tensor([2 3], shape=(2,), dtype=int64) Håndbold vs Sparta En strømsvamp bør skal betragtes som en type sparse tensor. at model de samme data i et kompakt format; men ragged tensor er en Denne forskel er afgørende, når man definerer operationer: Ikke Effektive koder til tf.Tensor Forlængelse af tf.Tensor Anvendelse af en op til en sparsom eller tæt tensor skal altid give det samme resultat. Anvendelse af en op til en ragged eller sparsom tensor kan give forskellige resultater. Som et illustrativt eksempel, overveje, hvordan array operationer såsom , der og er defineret for ragged vs. sparse tensorer. Concatenating ragged tensors slutter hver række til at danne en enkelt række med den kombinerede længde: concat stack tile ragged_x = tf.ragged.constant([["John"], ["a", "big", "dog"], ["my", "cat"]]) ragged_y = tf.ragged.constant([["fell", "asleep"], ["barked"], ["is", "fuzzy"]]) print(tf.concat([ragged_x, ragged_y], axis=1)) Men sammenkobling af sparsomme tensorer svarer til sammenkobling af de tilsvarende tætte tensorer, som illustreret af følgende eksempel (hvor Ø angiver manglende værdier): sparse_x = ragged_x.to_sparse() sparse_y = ragged_y.to_sparse() sparse_result = tf.sparse.concat(sp_inputs=[sparse_x, sparse_y], axis=1) print(tf.sparse.to_dense(sparse_result, '')) tf.Tensor( [[b'John' b'' b'' b'fell' b'asleep'] [b'a' b'big' b'dog' b'barked' b''] [b'my' b'cat' b'' b'is' b'fuzzy']], shape=(3, 5), dtype=string) For et andet eksempel på, hvorfor denne sondring er vigtig, overveje definitionen af "den gennemsnitlige værdi af hver række" for en op såsom For en sparsom tensor er den gennemsnitlige værdi for en række summen af rækkeværdierne divideret med rækkevidden.Men for en sparsom tensor er den gennemsnitlige værdi for en række summen af rækkeværdierne divideret med den sparsomme tensors samlede bredde (som er større end eller lig med bredden af den længste række). tf.reduce_mean TensorFlow API'er Keras er TensorFlows API på højt niveau til opbygning og træning af dyb læringsmodeller. Den har ikke ragged support. Men den understøtter maskerede tensorer. Så den nemmeste måde at bruge en ragged tensor i en Keras-model er at konvertere den ragged tensor til en tæt tensor, ved hjælp af og derefter ved hjælp af Keras' builtin masking: Tf. af Keras .to_tensor() # Task: predict whether each sentence is a question or not. sentences = tf.constant( ['What makes you think she is a witch?', 'She turned me into a newt.', 'A newt?', 'Well, I got better.']) is_question = tf.constant([True, False, True, False]) # Preprocess the input strings. hash_buckets = 1000 words = tf.strings.split(sentences, ' ') hashed_words = tf.strings.to_hash_bucket_fast(words, hash_buckets) hashed_words.to_list() [[940, 203, 668, 387, 790, 320, 939, 185], [315, 515, 791, 181, 939, 787], [564, 205], [820, 180, 993, 739]] hashed_words.to_tensor() tf.keras.Input? # Build the Keras model. keras_model = tf.keras.Sequential([ tf.keras.layers.Embedding(hash_buckets, 16, mask_zero=True), tf.keras.layers.LSTM(32, return_sequences=True, use_bias=False), tf.keras.layers.GlobalAveragePooling1D(), tf.keras.layers.Dense(32), tf.keras.layers.Activation(tf.nn.relu), tf.keras.layers.Dense(1) ]) keras_model.compile(loss='binary_crossentropy', optimizer='rmsprop') keras_model.fit(hashed_words.to_tensor(), is_question, epochs=5) Epoch 1/5 WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721648.311913 10235 service.cc:146] XLA service 0x7f82d4008680 initialized for platform CUDA (this does not guarantee that XLA will be used). Devices: I0000 00:00:1724721648.311945 10235 service.cc:154] StreamExecutor device (0): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311949 10235 service.cc:154] StreamExecutor device (1): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311952 10235 service.cc:154] StreamExecutor device (2): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311955 10235 service.cc:154] StreamExecutor device (3): Tesla T4, Compute Capability 7.5 1/1 ━━━━━━━━━━━━━━━━━━━━ 4s 4s/step - loss: 8.0590 Epoch 2/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 47ms/step - loss: 8.0590 Epoch 3/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 4/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 5/5 I0000 00:00:1724721650.626376 10235 device_compiler.h:188] Compiled cluster using XLA! This line is logged at most once for the lifetime of the process. 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 43ms/step - loss: 8.0590 print(keras_model.predict(hashed_words.to_tensor())) 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 407ms/step [[-0.00517703] [-0.00227403] [-0.00706224] [-0.00354813]] F. Eksempel Det er en standard kodning for TensorFlow data. Data kodet med s omfatter ofte variable-længde-funktioner. For eksempel definerer følgende kode et batch af fire Meddelelser med forskellige længder: F. Eksempel Protobøgen tf.Example tf.Example import google.protobuf.text_format as pbtext def build_tf_example(s): return pbtext.Merge(s, tf.train.Example()).SerializeToString() example_batch = [ build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["red", "blue"]} } } feature {key: "lengths" value {int64_list {value: [7]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["orange"]} } } feature {key: "lengths" value {int64_list {value: []} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["black", "yellow"]} } } feature {key: "lengths" value {int64_list {value: [1, 3]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["green"]} } } feature {key: "lengths" value {int64_list {value: [3, 5, 2]} } } }''')] Du kan analysere disse kodede data ved hjælp af , som tager en tensor af serialiserede strenge og en funktionsspecifikation ordbog, og returnerer en ordbog mapping funktion navne til tensorer. I ordbogen om specifikationer: tf.io.parse_example tf.io.RaggedFeature feature_specification = { 'colors': tf.io.RaggedFeature(tf.string), 'lengths': tf.io.RaggedFeature(tf.int64), } feature_tensors = tf.io.parse_example(example_batch, feature_specification) for name, value in feature_tensors.items(): print("{}={}".format(name, value)) colors= lengths= kan også bruges til at læse funktioner med flere raggede dimensioner. . tf.io.RaggedFeature Dokumentation af ild Datasæt er en API, der giver dig mulighed for at opbygge komplekse input pipelines fra enkle, genanvendelige stykker. , som repræsenterer en sekvens af elementer, hvor hvert element består af en eller flere komponenter. Tf. data tf.data.Dataset # Helper function used to print datasets in the examples below. def print_dictionary_dataset(dataset): for i, element in enumerate(dataset): print("Element {}:".format(i)) for (feature_name, feature_value) in element.items(): print('{:>14} = {}'.format(feature_name, feature_value)) Bygge datasæt med ragged tensors Datasæt kan bygges fra raggede tensorer ved hjælp af de samme metoder, der bruges til at opbygge dem fra S eller NumPy S. Som sådan : tf.Tensor array Dataset.from_tensor_slices dataset = tf.data.Dataset.from_tensor_slices(feature_tensors) print_dictionary_dataset(dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] Bemærk: Dataset.from_generator understøtter ikke ragged tensors endnu, men understøttelse vil blive tilføjet snart. Det er ikke tilgængeligt endnu, men støtten vil snart blive tilføjet. Note: Dataset.from_generator Batching og unbatching datasæt med ragged tensors Datasets with ragged tensors can be batched (which combines elementer i et enkelt element) ved hjælp af af metoden. n Dataset.batch batched_dataset = dataset.batch(2) print_dictionary_dataset(batched_dataset) Element 0: colors = lengths = Element 1: colors = lengths = Omvendt kan et batch datasæt omdannes til et fladt datasæt ved hjælp af . Dataset.unbatch unbatched_dataset = batched_dataset.unbatch() print_dictionary_dataset(unbatched_dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] Batchning af datasæt med variable-længde non-ragged tensors Hvis du har et datasæt, der indeholder ikke-raggede tensorer, og tensorlængderne varierer på tværs af elementer, kan du batch disse ikke-raggede tensorer til raggede tensorer ved at anvende Omdannelse af: dense_to_ragged_batch non_ragged_dataset = tf.data.Dataset.from_tensor_slices([1, 5, 3, 2, 8]) non_ragged_dataset = non_ragged_dataset.map(tf.range) batched_non_ragged_dataset = non_ragged_dataset.apply( tf.data.experimental.dense_to_ragged_batch(2)) for element in batched_non_ragged_dataset: print(element) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_10064/1427668168.py:4: dense_to_ragged_batch (from tensorflow.python.data.experimental.ops.batching) is deprecated and will be removed in a future version. Instructions for updating: Use `tf.data.Dataset.ragged_batch` instead. Transformation af datasæt med ragged tensors Du kan også oprette eller transformere raggede tensorer i datasæt ved hjælp af : Dataset.map def transform_lengths(features): return { 'mean_length': tf.math.reduce_mean(features['lengths']), 'length_ranges': tf.ragged.range(features['lengths'])} transformed_dataset = dataset.map(transform_lengths) print_dictionary_dataset(transformed_dataset) Element 0: mean_length = 7 length_ranges = Element 1: mean_length = 0 length_ranges = Element 2: mean_length = 2 length_ranges = Element 3: mean_length = 3 length_ranges = Tf. funktion er en dekorator, der forudberegner TensorFlow-diagrammer til Python-funktioner, som kan forbedre ydeevnen af din TensorFlow-kode væsentligt. For eksempel fungerer følgende funktion med både raggede og ikke-raggede tensorer: Tf. funktion @tf.function @tf.function def make_palindrome(x, axis): return tf.concat([x, tf.reverse(x, [axis])], axis) make_palindrome(tf.constant([[1, 2], [3, 4], [5, 6]]), axis=1) make_palindrome(tf.ragged.constant([[1, 2], [3], [4, 5, 6]]), axis=1) 2024-08-27 01:20:51.662289: W tensorflow/core/grappler/optimizers/loop_optimizer.cc:933] Skipping loop optimization for Merge node with control input: RaggedConcat/assert_equal_1/Assert/AssertGuard/branch_executed/_9 Hvis du udtrykkeligt ønsker at For den Så kan du gøre det ved at bruge . input_signature tf.function tf.RaggedTensorSpec @tf.function( input_signature=[tf.RaggedTensorSpec(shape=[None, None], dtype=tf.int32)]) def max_and_min(rt): return (tf.math.reduce_max(rt, axis=-1), tf.math.reduce_min(rt, axis=-1)) max_and_min(tf.ragged.constant([[1, 2], [3], [4, 5, 6]])) ( , ) Konkrete funktioner indkapsler individuelle sporede grafer, der er bygget af Ragged tensorer kan anvendes gennemsigtigt med konkrete funktioner. Konkrete funktioner tf.function @tf.function def increment(x): return x + 1 rt = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) cf = increment.get_concrete_function(rt) print(cf(rt)) Redningsmodeller A er er et serialiseret TensorFlow-program, herunder både vægte og beregning. Det kan bygges fra en Keras-model eller fra en brugerdefineret model. I begge tilfælde kan raggede tensorer anvendes gennemsigtigt med de funktioner og metoder, der er defineret af en SavedModel. Redningsmodel Eksempel: Spar en Keras model import tempfile keras_module_path = tempfile.mkdtemp() keras_model.save(keras_module_path+"/my_model.keras") imported_model = tf.keras.models.load_model(keras_module_path+"/my_model.keras") imported_model(hashed_words.to_tensor()) Eksempel: Gem en custom model class CustomModule(tf.Module): def __init__(self, variable_value): super(CustomModule, self).__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x): return x * self.v module = CustomModule(100.0) # Before saving a custom model, you must ensure that concrete functions are # built for each input signature that you will need. module.grow.get_concrete_function(tf.RaggedTensorSpec(shape=[None, None], dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(tf.ragged.constant([[1.0, 4.0, 3.0], [2.0]])) INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets Bemærk: SavedModel-signaturer er konkrete funktioner.Som nævnt i afsnittet om Betonfunktioner ovenfor, håndteres raggede tensorer kun korrekt af betonfunktioner, der starter med TensorFlow 2.3. Bemærk: SavedModel-signaturer er konkrete funktioner.Som nævnt i afsnittet om Betonfunktioner ovenfor, håndteres raggede tensorer kun korrekt af betonfunktioner, der starter med TensorFlow 2.3. Underskrifter Overbelastede operatører Den klasse overbelaster de standard Python aritmetiske og sammenligningsoperatorer, hvilket gør det nemt at udføre grundlæggende elementbaseret matematik: RaggedTensor x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) y = tf.ragged.constant([[1, 1], [2], [3, 3, 3]]) print(x + y) Da de overbelastede operatører udfører elementvise beregninger, skal inputene til alle binære operationer have samme form eller være bredcastable til samme form. x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) print(x + 3) For en diskussion af mere avancerede tilfælde, tjek sektionen på . Broadcasting Tensorer overbelaster det samme sæt operatører som normalt s: de unary operatører , der og og de binære operatører , der , der , der , der , der , der , der , der , der , der , der , der , der og . Tensor - ~ abs() + - * / // % ** & | ^ == >= Oprindeligt offentliggjort på __TensorFlow __website, denne artikel vises her under en ny overskrift og er licenseret under CC BY 4.0. Oprindeligt offentliggjort på __TensorFlow __website, denne artikel vises her under en ny overskrift og er licenseret under CC BY 4.0. Tensorflyve