すべての形状とサイズのデータのために、Ragged Tensorsは家を提供します。

コンテンツ概要 セットアップ 概要 What You Can With A Ragged Tensor(ラグード・テナー) RAGED TENSORの構築 What you can store in a ragged tensor あなたは何を貯蔵することができます 使用例 ケース 円滑で均一なサイズ スパルスVS Sparse TensorFlow API カラス TF 例 データ TF機能 保存モデル 過剰運用者 セットアップ !pip install --pre -U tensorflow import math import tensorflow as tf 2024-08-27 01:20:40.536630: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-27 01:20:40.557820: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-27 01:20:40.563984: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered 概要 あなたのデータはさまざまな形で提供されます; あなたのテンサーもそうすべきです。 TensorFlow は、組み込まれた変数長リストに相当します. They make it easy to store and process data with non-uniform shapes, including: ラグジット TENSOR 映画における俳優のセットなど、変数の長さの特徴。 文やビデオクリップなどの変数長の連続入力のバッテリー。 テキスト ドキュメントなど、セクション、段落、句、単語に分けられます。 プロトコルバッファなどの構造化された入力の個々のフィールド。 RAGED TENSOR で何ができるか Ragged tensors are supported by more than a hundred TensorFlow operations, including math operations (such as そして ), array operations (such as そして string manipulation ops (such as )の流れを制御する操作(例えば、 そして )およびその他多くの者: tf.add tf.reduce_mean tf.concat tf.tile tf.strings.substr tf.while_loop tf.map_fn digits = tf.ragged.constant([[3, 1, 4, 1], [], [5, 9, 2], [6], []]) words = tf.ragged.constant([["So", "long"], ["thanks", "for", "all", "the", "fish"]]) print(tf.add(digits, 3)) print(tf.reduce_mean(digits, axis=1)) print(tf.concat([digits, [[5, 3]]], axis=0)) print(tf.tile(digits, [1, 2])) print(tf.strings.substr(words, 0, 2)) print(tf.map_fn(tf.math.square, digits)) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721643.161122 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.164924 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.168750 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.172328 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.183636 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.187178 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.190668 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.194028 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.197422 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.201089 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.204485 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.207934 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.469725 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.471772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.473847 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.475930 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.477949 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.479867 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.481845 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.483831 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.486309 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.488220 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.490205 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.492181 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.532055 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.534019 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.536012 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.538150 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.540140 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.542032 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.543963 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.545991 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.547989 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.551435 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.553772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.556197 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor([2.25 nan 5.33333333 6. nan], shape=(5,), dtype=float64) また、工場方法、変換方法、および値マッピング操作を含む、ラッグド・テンサーに特有のいくつかの方法および操作があります。 パッケージドキュメント tf.ragged Ragged tensors は、多くの TensorFlow API によってサポートされています。 で、 で、 で、 そして、 詳細については、セクションをチェック 下の カラス データ TF機能 保存モデル TF 例 TensorFlow APIs 通常のテンサーと同様に、Python スタイルのインデックスを使用して、レッグされたテンサーの特定のシーツにアクセスできます。 下の Indexing print(digits[0]) # First row tf.Tensor([3 1 4 1], shape=(4,), dtype=int32) print(digits[:, :2]) # First two values in each row. print(digits[:, -2:]) # Last two values in each row. 通常のテンサーと同様に、Python の数値操作と比較操作を使用して、元素操作を実行できます。 下の Overloaded operators print(digits + 3) print(digits + tf.ragged.constant([[1, 2, 3, 4], [], [5, 6, 7], [8], []])) Elementwise 変換を A の値に実行する必要がある場合 , you can use , which takes a function plus one or more arguments, and applies the function to transform the 「価値観」 RaggedTensor tf.ragged.map_flat_values RaggedTensor times_two_plus_one = lambda x: x * 2 + 1 print(tf.ragged.map_flat_values(times_two_plus_one, digits)) Ragged tensors can be converted to nested Python(ラグジット・テンサーをネストされたPythonに変換できる) SとNumPy S : list array digits.to_list() [[3, 1, 4, 1], [], [5, 9, 2], [6], []] digits.numpy() array([array([3, 1, 4, 1], dtype=int32), array([], dtype=int32), array([5, 9, 2], dtype=int32), array([6], dtype=int32), array([], dtype=int32)], dtype=object) RAGED TENSORの構築 ragged tensor を構築する最も簡単な方法は、 を構築するものである。 a given nested Python に匹敵する NUMPY : tf.ragged.constant RaggedTensor list array sentences = tf.ragged.constant([ ["Let's", "build", "some", "ragged", "tensors", "!"], ["We", "can", "use", "tf.ragged.constant", "."]]) print(sentences) paragraphs = tf.ragged.constant([ [['I', 'have', 'a', 'cat'], ['His', 'name', 'is', 'Mat']], [['Do', 'you', 'want', 'to', 'come', 'visit'], ["I'm", 'free', 'tomorrow']], ]) print(paragraphs) Ragged tensors can also be constructed by pairing flat. ラグジット・テナーもパイリング・フラットによって構築することができます。 Tensors with これらの値がどのように行に分割されるかを示すテンサーは、工場のクラス方法を用いて、 で、 そして、 . 価値観 ROW パーティション tf.RaggedTensor.from_value_rowids tf.RaggedTensor.from_row_lengths tf.RaggedTensor.from_row_splits tf.RaggedTensor.from_value_rowids トップページ > トップページ > トップページ > Tensor.from_value_rowids それぞれの値がどの行に属するかを知っているなら、あなたは 使用 A ROW PARTITIONING TENSOR: RaggedTensor value_rowids print(tf.RaggedTensor.from_value_rowids( values=[3, 1, 4, 1, 5, 9, 2], value_rowids=[0, 0, 0, 0, 2, 2, 3])) tf.RaggedTensor.from_row_lengths トップページ > トップページ > FROM_ROW_LENGTHS 各行がどのくらい長いかを知っているならば、あなたは ROW PARTITIONING TENSOR: row_lengths print(tf.RaggedTensor.from_row_lengths( values=[3, 1, 4, 1, 5, 9, 2], row_lengths=[4, 0, 2, 1])) tf.RaggedTensor.from_row_splits トップ > トップ > トップ > トップ > トップ > トップ > トップ > 各行が始まり終わる場所のインデックスを知っている場合は、 ROW PARTITIONING TENSOR: row_splits print(tf.RaggedTensor.from_row_splits( values=[3, 1, 4, 1, 5, 9, 2], row_splits=[0, 4, 4, 6, 7])) 見る The 工場方法の完全なリストのためのクラス文書。 tf.RaggedTensor 注: デフォルトでは、これらの工場メソッドは、行分割 tensor がよく形成され、値の数と一致しているという主張を追加します。 デフォルトでは、これらの工場メソッドは、行分割 tensor がよく形成され、値の数と一致しているという主張を追加します。 パラメータは、入力がよく形成され、一貫していることを保証できる場合に、これらのチェックを省略するために使用できます。 Note: validate=False What you can store in a ragged tensor あなたは何を貯蔵することができます 普通のように s, the values in a all must have the same type; and the values must all be at the same nesting depth. すべての値は同じタイプでなければなりません。 TENSORについて): Tensor RaggedTensor ランク print(tf.ragged.constant([["Hi"], ["How", "are", "you"]])) # ok: type=string, rank=2 print(tf.ragged.constant([[[1, 2], [3]], [[4, 5]]])) # ok: type=int32, rank=3 try: tf.ragged.constant([["one", "two"], [3, 4]]) # bad: multiple types except ValueError as exception: print(exception) Can't convert Python sequence with mixed types to Tensor. try: tf.ragged.constant(["A", ["B", "C"]]) # bad: multiple nesting depths except ValueError as exception: print(exception) all scalar values must have the same nesting depth 使用例 ケース 次の例は、どのように s は、各文の始まりと終わりのための特別なマーカーを使用して、変数長のクエリのバージョンの unigram および bigram 埋め込みを構築し、組み合わせることができます。 パッケージドキュメント RaggedTensor tf.ragged queries = tf.ragged.constant([['Who', 'is', 'Dan', 'Smith'], ['Pause'], ['Will', 'it', 'rain', 'later', 'today']]) # Create an embedding table. num_buckets = 1024 embedding_size = 4 embedding_table = tf.Variable( tf.random.truncated_normal([num_buckets, embedding_size], stddev=1.0 / math.sqrt(embedding_size))) # Look up the embedding for each word. word_buckets = tf.strings.to_hash_bucket_fast(queries, num_buckets) word_embeddings = tf.nn.embedding_lookup(embedding_table, word_buckets) # ① # Add markers to the beginning and end of each sentence. marker = tf.fill([queries.nrows(), 1], '#') padded = tf.concat([marker, queries, marker], axis=1) # ② # Build word bigrams and look up embeddings. bigrams = tf.strings.join([padded[:, :-1], padded[:, 1:]], separator='+') # ③ bigram_buckets = tf.strings.to_hash_bucket_fast(bigrams, num_buckets) bigram_embeddings = tf.nn.embedding_lookup(embedding_table, bigram_buckets) # ④ # Find the average embedding for each sentence all_embeddings = tf.concat([word_embeddings, bigram_embeddings], axis=1) # ⑤ avg_embedding = tf.reduce_mean(all_embeddings, axis=1) # ⑥ print(avg_embedding) tf.Tensor( [[-0.07189021 0.23444025 -0.04020268 -0.27113184] [ 0.10560822 0.00976487 -0.17885399 0.5371701 ] [-0.23479678 -0.15996003 0.07078557 0.24388357]], shape=(3, 4), dtype=float32) 円滑で均一なサイズ A 異なる長さの切片が存在する場合があります。例えば、内部(列)の次元は コロニー(コロニー) コロニー(コロニー) ・・・、、 )の長さが異なる. Dimensions whose slices all have the same length are called. )の長さが異なる. Dimensions whose pieces all have the same length are called. . レイアウト Dimension rt=[[3, 1, 4, 1], [], [5, 9, 2], [6], []] rt[0, :] rt[4, :] 均一サイズ レイアウト Dimension ragged tensorの最も外側のサイズは常に均一であるため、それは単一のシーツから構成されている(したがって、異なるシーツの長さの可能性はありません)。The remaining dimensions can be either ragged or uniform. For example, you can store the word embeddings for each word in a batch of sentences using a ragged tensor with shape. , where the parentheses around 次元が広がっていることを示します。 [num_sentences, (num_words), embedding_size] (num_words) Ragged tensors may have multiple ragged dimensions. For example, you could store a batch of structured text documents using a tensor with shape. たとえば、形状を持つ tensorを使用して構造化されたテキスト文書のバッチを格納できます。 (再び、割り当てが割り当てられた次元を示すために使用されます)。 [num_documents, (num_paragraphs), (num_sentences), (num_words)] 同様に、 , the a ragged tensor is its total number of dimensions (including both ragged and uniform dimensions). A ragged tensor is its total number of dimensions (including both ragged and もしかしたら、Aかもしれない価値があるのかもしれない。 あるいはA . tf.Tensor ランク POTENCIAL RAGGED TENSOR tf.Tensor tf.RaggedTensor ランク POTENCIAL RAGGED TENSOR RaggedTensorの形状を記述する場合、ラグジットサイズは、従来、それらをパラネットに組み込むことにより表されます。例えば、上記のように、3D RaggedTensorの形状は、各単語の単語の組み込みを一連の文のうちに保存する場合があります。 . [num_sentences, (num_words), embedding_size] THE 属性返す A for a ragged tensor where ragged dimensions have size. for a ragged tensor where ragged dimensions have size. : RaggedTensor.shape tf.TensorShape None tf.ragged.constant([["Hi"], ["How", "are", "you"]]).shape TensorShape([2, None]) メソッド 特定の形状のための密接な境界形を見つけることができます。 : tf.RaggedTensor.bounding_shape RaggedTensor print(tf.ragged.constant([["Hi"], ["How", "are", "you"]]).bounding_shape()) tf.Tensor([2 3], shape=(2,), dtype=int64) スパルスVS Sparse RAGGED TENSOR たとえば、スパースタンサーの種類として考えられますが、特にスパースタンサーは 同じデータをコンパクト形式でモデルするが、ragged tensor は この違いは、操作を定義する際に重要です: ノー 効率的なコードのための tf.Tensor 拡張 2 tf.Tensor 少量または密度の高いテネザーにオプションを適用すると、常に同じ結果を得るべきです。 ラッグまたは希少なテンサーにオプションを適用することは、異なる結果をもたらす可能性があります。 例として、Array operations such as で、 そして、 are defined for ragged vs. sparse tensors. Concatenating ragged tensors joins each row to form a single row with the combined length: ragged tensors are defined for ragged vs. sparse tensors. Concatenating ragged tensors joins each row to form a single row with the combined length: concat stack tile ragged_x = tf.ragged.constant([["John"], ["a", "big", "dog"], ["my", "cat"]]) ragged_y = tf.ragged.constant([["fell", "asleep"], ["barked"], ["is", "fuzzy"]]) print(tf.concat([ragged_x, ragged_y], axis=1)) しかし、スパースペンサーを結合することは、以下の例で示すように、関連するスパースペンサーを結合することに等しい(Oは欠けている値を示す)。 sparse_x = ragged_x.to_sparse() sparse_y = ragged_y.to_sparse() sparse_result = tf.sparse.concat(sp_inputs=[sparse_x, sparse_y], axis=1) print(tf.sparse.to_dense(sparse_result, '')) tf.Tensor( [[b'John' b'' b'' b'fell' b'asleep'] [b'a' b'big' b'dog' b'barked' b''] [b'my' b'cat' b'' b'is' b'fuzzy']], shape=(3, 5), dtype=string) この区別が重要である理由のもう一つの例については、「各行の平均値」の定義を考える。 一行の平均値は、行の幅で割り当てられた行の値の合計であるが、一行の平均値は、最長の行の幅よりも大きい(またはそれに等しい)数値で割り当てられた行の値の合計である。 tf.reduce_mean TensorFlow API カラス 深層学習モデルの構築とトレーニングのためのTensorFlowの高レベルのAPIです. それはRAGEDサポートを持っていません. しかし、それはマスクされたTENSORをサポートしています. KerasモデルのRAGEDTENSORを使用する最も簡単な方法は、RAGEDTENSORを密集したTENSORに変換することです。 Keras's builtin masking を使用して、 TF・ケラス .to_tensor() # Task: predict whether each sentence is a question or not. sentences = tf.constant( ['What makes you think she is a witch?', 'She turned me into a newt.', 'A newt?', 'Well, I got better.']) is_question = tf.constant([True, False, True, False]) # Preprocess the input strings. hash_buckets = 1000 words = tf.strings.split(sentences, ' ') hashed_words = tf.strings.to_hash_bucket_fast(words, hash_buckets) hashed_words.to_list() [[940, 203, 668, 387, 790, 320, 939, 185], [315, 515, 791, 181, 939, 787], [564, 205], [820, 180, 993, 739]] hashed_words.to_tensor() tf.keras.Input? # Build the Keras model. keras_model = tf.keras.Sequential([ tf.keras.layers.Embedding(hash_buckets, 16, mask_zero=True), tf.keras.layers.LSTM(32, return_sequences=True, use_bias=False), tf.keras.layers.GlobalAveragePooling1D(), tf.keras.layers.Dense(32), tf.keras.layers.Activation(tf.nn.relu), tf.keras.layers.Dense(1) ]) keras_model.compile(loss='binary_crossentropy', optimizer='rmsprop') keras_model.fit(hashed_words.to_tensor(), is_question, epochs=5) Epoch 1/5 WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721648.311913 10235 service.cc:146] XLA service 0x7f82d4008680 initialized for platform CUDA (this does not guarantee that XLA will be used). Devices: I0000 00:00:1724721648.311945 10235 service.cc:154] StreamExecutor device (0): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311949 10235 service.cc:154] StreamExecutor device (1): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311952 10235 service.cc:154] StreamExecutor device (2): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311955 10235 service.cc:154] StreamExecutor device (3): Tesla T4, Compute Capability 7.5 1/1 ━━━━━━━━━━━━━━━━━━━━ 4s 4s/step - loss: 8.0590 Epoch 2/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 47ms/step - loss: 8.0590 Epoch 3/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 4/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 5/5 I0000 00:00:1724721650.626376 10235 device_compiler.h:188] Compiled cluster using XLA! This line is logged at most once for the lifetime of the process. 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 43ms/step - loss: 8.0590 print(keras_model.predict(hashed_words.to_tensor())) 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 407ms/step [[-0.00517703] [-0.00227403] [-0.00706224] [-0.00354813]] TF 例 ある標準 TensorFlow データの暗号化 データを暗号化 s はしばしば変数長の機能を含みます. たとえば、次のコードは 4 個のバッチを定義します。 異なる長さのメッセージ: TF 例 プロトコル tf.Example tf.Example import google.protobuf.text_format as pbtext def build_tf_example(s): return pbtext.Merge(s, tf.train.Example()).SerializeToString() example_batch = [ build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["red", "blue"]} } } feature {key: "lengths" value {int64_list {value: [7]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["orange"]} } } feature {key: "lengths" value {int64_list {value: []} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["black", "yellow"]} } } feature {key: "lengths" value {int64_list {value: [1, 3]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["green"]} } } feature {key: "lengths" value {int64_list {value: [3, 5, 2]} } } }''')] あなたはこの暗号化されたデータを使用して解析することができます , which takes a tensor of serialized strings and a feature specification dictionary, and returns a dictionary mapping feature names to tensors. To read the variable-length features into ragged tensors, you simply use 特典辞書では、 tf.io.parse_example tf.io.RaggedFeature feature_specification = { 'colors': tf.io.RaggedFeature(tf.string), 'lengths': tf.io.RaggedFeature(tf.int64), } feature_tensors = tf.io.parse_example(example_batch, feature_specification) for name, value in feature_tensors.items(): print("{}={}".format(name, value)) colors= lengths= また、複数のグラウンドサイズの機能を読み取ることもできます。詳細については、 . tf.io.RaggedFeature 火の文書 データ 単純で再利用可能なパーツから複雑な入力パイプラインを構築することを可能にするAPIです。 それぞれの要素が1つまたは複数のコンポーネントから構成される要素の順序を表す。 TFデータ tf.data.Dataset # Helper function used to print datasets in the examples below. def print_dictionary_dataset(dataset): for i, element in enumerate(dataset): print("Element {}:".format(i)) for (feature_name, feature_value) in element.items(): print('{:>14} = {}'.format(feature_name, feature_value)) Building Datasets with RAGGED TENSOR Datasets can be built from ragged tensors using the same methods that are used to build them from ragged tensors. データセットは、 ragged tensorsを使用して、それらを構築するために使用される同じ方法を使用して構築することができます。 SまたはNumPy S、たとえば : tf.Tensor array Dataset.from_tensor_slices dataset = tf.data.Dataset.from_tensor_slices(feature_tensors) print_dictionary_dataset(dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] 注: Dataset.from_generator はまだ ragged tensors をサポートしていませんが、すぐにサポートが追加されます。 注: Dataset.from_generator はまだ ragged tensors をサポートしていませんが、すぐにサポートが追加されます。 Batching and unbatching Datasets with ragged tensors バッチングとバッチング ragged tensors with data sets can be batched (which combines 単一の要素(単一の要素を用いる) 方法です。 n Dataset.batch batched_dataset = dataset.batch(2) print_dictionary_dataset(batched_dataset) Element 0: colors = lengths = Element 1: colors = lengths = 逆に、バッチデータセットは、使用するフラットデータセットに変換することができる。 . Dataset.unbatch unbatched_dataset = batched_dataset.unbatch() print_dictionary_dataset(unbatched_dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] Batching Datasets with variable-length non-ragged tensors バッチングデータセット 非ラグレード tensor が含まれているデータセットがあり、 tensor の長さが要素によって異なっている場合は、これらの非ラグレード tensor を ragged tensor にバッチして適用できます。 変換: dense_to_ragged_batch non_ragged_dataset = tf.data.Dataset.from_tensor_slices([1, 5, 3, 2, 8]) non_ragged_dataset = non_ragged_dataset.map(tf.range) batched_non_ragged_dataset = non_ragged_dataset.apply( tf.data.experimental.dense_to_ragged_batch(2)) for element in batched_non_ragged_dataset: print(element) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_10064/1427668168.py:4: dense_to_ragged_batch (from tensorflow.python.data.experimental.ops.batching) is deprecated and will be removed in a future version. Instructions for updating: Use `tf.data.Dataset.ragged_batch` instead. Transforming Datasets with ragged tensors データセットを変換する また、データセットで ragged tensors を作成または変換できます。 : Dataset.map def transform_lengths(features): return { 'mean_length': tf.math.reduce_mean(features['lengths']), 'length_ranges': tf.ragged.range(features['lengths'])} transformed_dataset = dataset.map(transform_lengths) print_dictionary_dataset(transformed_dataset) Element 0: mean_length = 7 length_ranges = Element 1: mean_length = 0 length_ranges = Element 2: mean_length = 2 length_ranges = Element 3: mean_length = 3 length_ranges = TF機能 あなたのTensorFlowコードのパフォーマンスを大幅に向上させるPython機能のためのTensorFlowグラフを予算するデコレータです。 たとえば、次の機能は、ラッグと非ラッグの両方で動作します。 TF機能 @tf.function @tf.function def make_palindrome(x, axis): return tf.concat([x, tf.reverse(x, [axis])], axis) make_palindrome(tf.constant([[1, 2], [3, 4], [5, 6]]), axis=1) make_palindrome(tf.ragged.constant([[1, 2], [3], [4, 5, 6]]), axis=1) 2024-08-27 01:20:51.662289: W tensorflow/core/grappler/optimizers/loop_optimizer.cc:933] Skipping loop optimization for Merge node with control input: RaggedConcat/assert_equal_1/Assert/AssertGuard/branch_executed/_9 明確に指定したい場合は、 for the その後、あなたはそれを使用して . input_signature tf.function tf.RaggedTensorSpec @tf.function( input_signature=[tf.RaggedTensorSpec(shape=[None, None], dtype=tf.int32)]) def max_and_min(rt): return (tf.math.reduce_max(rt, axis=-1), tf.math.reduce_min(rt, axis=-1)) max_and_min(tf.ragged.constant([[1, 2], [3], [4, 5, 6]])) ( , ) 具体的な機能 個別に構築されたグラフをカプセル化する Ragged tensors can be used transparently with concrete functions. ラグジット・テナーは、具体的な機能で透明に使用することができます。 具体的な機能 tf.function @tf.function def increment(x): return x + 1 rt = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) cf = increment.get_concrete_function(rt) print(cf(rt)) 保存モデル A 重量と計算の両方を含む連続化されたTensorFlowプログラムです。それはKerasモデルまたはカスタムモデルから構築することができます。いずれの場合でも、Ragged tensorsはSavedModelによって定義された機能と方法で透明に使用することができます。 保存モデル 例:Kerasモデルを保存する import tempfile keras_module_path = tempfile.mkdtemp() keras_model.save(keras_module_path+"/my_model.keras") imported_model = tf.keras.models.load_model(keras_module_path+"/my_model.keras") imported_model(hashed_words.to_tensor()) Example: Save a Custom モデル class CustomModule(tf.Module): def __init__(self, variable_value): super(CustomModule, self).__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x): return x * self.v module = CustomModule(100.0) # Before saving a custom model, you must ensure that concrete functions are # built for each input signature that you will need. module.grow.get_concrete_function(tf.RaggedTensorSpec(shape=[None, None], dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(tf.ragged.constant([[1.0, 4.0, 3.0], [2.0]])) INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets 注: SavedModel 署名は具体的な関数である。上記の「Concrete Functions」セクションで議論したように、Ragged tensors は、TensorFlow 2.3 から始まる具体的な関数によってのみ正しく処理されます。 注: SavedModel 署名は具体的な関数である。上記の「Concrete Functions」セクションで議論したように、Ragged tensors は、TensorFlow 2.3 から始まる具体的な関数によってのみ正しく処理されます。 サイン 過剰運用者 THE class overloads the standard Python arithmetic and comparison operators, making it easy to perform basic elementwise math: class overloads the standard Python arithmetic and comparison operators, making it easy to perform basic elementwise math. class overloads the standard Python arithmetic and comparison operators, making it easy to perform basic elementwise math: RaggedTensor x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) y = tf.ragged.constant([[1, 1], [2], [3, 3, 3]]) print(x + y) 過剰なオペレーターが元素方向の計算を行うため、すべてのバイナリオペレーションの入力は同じ形を有するか、または同じ形に拡張可能である必要があります。 x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) print(x + 3) より高度なケースの議論については、セクションを確認してください。 . Broadcasting Ragged tensors overloads the same set of operators as normal. ラグジッド・テンサーは、通常と同じセットのオペレーターを過負荷にします。 s: unary オペレーター で、 そして、 ; and the binary operators(バイナリーオペレーター) で、 で、 で、 で、 で、 で、 で、 で、 で、 で、 で、 で、 で、 そして、 . Tensor - ~ abs() + - * / // % ** & | ^ == >= 元々 __TensorFlow __website に掲載されたこの記事は、ここに新しいタイトルの下に現れ、CC BY 4.0 でライセンスを受けています。 元々 __TensorFlow __website に掲載されたこの記事は、ここに新しいタイトルの下に現れ、CC BY 4.0 でライセンスを受けています。 TensorFlowについて