للحصول على بيانات من كل أشكال وأعراض ، توفر الماسح الضوئي منزلًا

محتوى الرسائل تثبيت نظرة عامة ماذا يمكنك القيام به مع تشنج إنشاء تلسكوب متحرك ما يمكنك تخزينه في تشنج مثال استخدام الحالة الأبعاد المزدوجة والمستقرة كرة القدم vs Sparse تكنولوجيا TensorFlow كريم tf.مثل بيانات TF وظيفة النماذج العملاء المضطهدين تثبيت !pip install --pre -U tensorflow import math import tensorflow as tf 2024-08-27 01:20:40.536630: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-27 01:20:40.557820: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-27 01:20:40.563984: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered نظرة عامة تتوفر البيانات الخاصة بك في العديد من أشكالها؛ يجب أن تكون التضخمات الخاصة بك أيضا. هي ما يعادل TensorFlow من قائمة طويلة المتغيرات المتواجدة، مما يجعل من السهل تخزين البيانات مع أشكال غير متساوية، بما في ذلك: التوترات المتكررة ميزات طوله المتغير، مثل مجموعة الممثلين في فيلم. مجموعة من الدخولات التالية من طوله المتغير، مثل القصص أو مقاطع الفيديو. الملفات التقليدية، مثل الوثائق النصية التي يتم تقسيمها إلى أجزاء وأجزاء وأصوات وأصوات. المجالات الفردية في الملفات المختلطة، مثل البوكر البروتوكولية. ماذا يمكنك القيام به مع تشنج يتم دعم التضخم المضخم من قبل أكثر من مائة عملية TensorFlow ، بما في ذلك العمليات الرياضية (مثل: و ) ، والعملات المرتبطة (مثل و ( String Manipulation Ops ) ، مثل ) ، والسيطرة على عمليات النقل (مثل و ) والعديد من الآخرين : tf.add tf.reduce_mean tf.concat tf.tile tf.strings.substr tf.while_loop tf.map_fn digits = tf.ragged.constant([[3, 1, 4, 1], [], [5, 9, 2], [6], []]) words = tf.ragged.constant([["So", "long"], ["thanks", "for", "all", "the", "fish"]]) print(tf.add(digits, 3)) print(tf.reduce_mean(digits, axis=1)) print(tf.concat([digits, [[5, 3]]], axis=0)) print(tf.tile(digits, [1, 2])) print(tf.strings.substr(words, 0, 2)) print(tf.map_fn(tf.math.square, digits)) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721643.161122 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.164924 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.168750 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.172328 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.183636 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.187178 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.190668 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.194028 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.197422 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.201089 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.204485 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721643.207934 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.469725 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.471772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.473847 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.475930 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.477949 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.479867 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.481845 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.483831 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.486309 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.488220 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.490205 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.492181 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.532055 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.534019 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.536012 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.538150 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.540140 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.542032 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.543963 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.545991 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.547989 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.551435 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.553772 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1724721644.556197 10064 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor([2.25 nan 5.33333333 6. nan], shape=(5,), dtype=float64) هناك أيضًا عددًا من الأساليب والأنشطة التي هي محددة للمتعددات المضغوطة، بما في ذلك أساليب مصنع، أساليب التحويل، والأنشطة لخرائط القيمة. ملفات البطاقة. tf.ragged يتم دعم التضخم المضخم من قبل العديد من API TensorFlow ، بما في ذلك ، ، ، و و للحصول على المزيد من المعلومات، انقر فوق القسم أدناه كريم بيانات TF وظيفة النماذج tf.مثل TensorFlow APIs كما هو الحال مع التوازنات العادية، يمكنك استخدام توازنات بطريقة Python لإجراء الوصول إلى قطعة معينة من التوازنات المضغوطة. أدناه Indexing print(digits[0]) # First row tf.Tensor([3 1 4 1], shape=(4,), dtype=int32) print(digits[:, :2]) # First two values in each row. print(digits[:, -2:]) # Last two values in each row. وكما هو الحال مع التوازنات العادية، يمكنك استخدام توازنات Python الفصلية ومقارنة لإجراء العمليات عن بعد.للحصول على المزيد من المعلومات، انقر فوق أدناه Overloaded operators print(digits + 3) print(digits + tf.ragged.constant([[1, 2, 3, 4], [], [5, 6, 7], [8], []])) إذا كنت بحاجة إلى إجراء تحويل عنصر إلى القيم من يمكنك استخدام ، الذي يأخذ وظيفة بالإضافة إلى واحدة أو أكثر من العوامل ، ويستخدم وظيفة لتغيير من القيم . RaggedTensor tf.ragged.map_flat_values RaggedTensor times_two_plus_one = lambda x: x * 2 + 1 print(tf.ragged.map_flat_values(times_two_plus_one, digits)) يمكن تحويل التوازنات المضطربة إلى Python المضطربة S و NumPy ب : list array digits.to_list() [[3, 1, 4, 1], [], [5, 9, 2], [6], []] digits.numpy() array([array([3, 1, 4, 1], dtype=int32), array([], dtype=int32), array([5, 9, 2], dtype=int32), array([6], dtype=int32), array([], dtype=int32)], dtype=object) إنشاء تلسكوب متحرك أسهل طريقة لتصنيع تشنج هو استخدام وهو الذي يخلق تتوافق مع Python معين أو NumPy : tf.ragged.constant RaggedTensor list array sentences = tf.ragged.constant([ ["Let's", "build", "some", "ragged", "tensors", "!"], ["We", "can", "use", "tf.ragged.constant", "."]]) print(sentences) paragraphs = tf.ragged.constant([ [['I', 'have', 'a', 'cat'], ['His', 'name', 'is', 'Mat']], [['Do', 'you', 'want', 'to', 'come', 'visit'], ["I'm", 'free', 'tomorrow']], ]) print(paragraphs) يمكن أيضا إنشاء التضخم المضخم من خلال الحفر التوترات مع تقييمات تشير إلى كيفية تقسيم هذه القيمة إلى صفوف، باستخدام أساليب الطبقة المصنعة مثل: ، و و . القيم دورة التجزئة tf.RaggedTensor.from_value_rowids tf.RaggedTensor.from_row_lengths tf.RaggedTensor.from_row_splits tf.RaggedTensor.from_value_rowids tf.RaggedTensor.from_value_rowids إذا كنت تعرف أي صفحة لكل قيمة ، فيمكنك بناء باستخدام A تلسكوب تلسكوب: RaggedTensor value_rowids print(tf.RaggedTensor.from_value_rowids( values=[3, 1, 4, 1, 5, 9, 2], value_rowids=[0, 0, 0, 0, 2, 2, 3])) tf.RaggedTensor.from_row_lengths tf.RaggedTensor.from_row_lengths إذا كنت تعرف مدى طول كل صفحة ، يمكنك استخدام تلسكوب تلسكوب: row_lengths print(tf.RaggedTensor.from_row_lengths( values=[3, 1, 4, 1, 5, 9, 2], row_lengths=[4, 0, 2, 1])) tf.RaggedTensor.from_row_splits tf.RaggedTensor.from_row_splits إذا كنت تعرف مؤشر حيث تبدأ كل صفحة وتنتهي، يمكنك استخدام تلسكوب تلسكوب: row_splits print(tf.RaggedTensor.from_row_splits( values=[3, 1, 4, 1, 5, 9, 2], row_splits=[0, 4, 4, 6, 7])) انظروا إلى وثيقة الفصول لكل قائمة كاملة من الأساليب المصنعة. tf.RaggedTensor ملاحظة: حسب المعيار، يمكن استخدامه في هذه الأساليب المصنعة لتوضيح أن التضخم التجزئة الجانب هو جيد ومتوازن مع عدد القيم. قد تستخدم المقياس Validate=False لتخفف هذه التحقيقات إذا يمكنك ضمان أن الملفات هي جيدة ومتوازنة. بصورة أساسية ، إضافة هذه الأساليب المصنعة إلى الإشكاليات التي تؤكد أن توازن القسم الجانبي جيدًا وتوافقًا مع عدد القيم. يمكن استخدام النموذج لتخفيف هذه التحقيقات إذا يمكنك التأكد من أن الدخولات هي جيدة ومتوازنة. Note: validate=False ما يمكنك تخزينه في تشنج كما هو الحال مع المعتاد s ، القيمة في a يجب أن يكون لكل منهما نفس النوع؛ ويجب أن تكون جميع القيم في نفس عمق التخزين (القيمة على سبيل المثال، على التردد): Tensor RaggedTensor رينج print(tf.ragged.constant([["Hi"], ["How", "are", "you"]])) # ok: type=string, rank=2 print(tf.ragged.constant([[[1, 2], [3]], [[4, 5]]])) # ok: type=int32, rank=3 try: tf.ragged.constant([["one", "two"], [3, 4]]) # bad: multiple types except ValueError as exception: print(exception) Can't convert Python sequence with mixed types to Tensor. try: tf.ragged.constant(["A", ["B", "C"]]) # bad: multiple nesting depths except ValueError as exception: print(exception) all scalar values must have the same nesting depth مثال استخدام الحالة وتظهر النتيجة التالية كيف يمكن استخدامه لتصنيع وتجميع مكونات unigram و bigram لعدد من طلبات طوله المتغير، باستخدام علامات خاصة للبدء والنتائج لكل عبارة. ملفات البطاقة. RaggedTensor tf.ragged queries = tf.ragged.constant([['Who', 'is', 'Dan', 'Smith'], ['Pause'], ['Will', 'it', 'rain', 'later', 'today']]) # Create an embedding table. num_buckets = 1024 embedding_size = 4 embedding_table = tf.Variable( tf.random.truncated_normal([num_buckets, embedding_size], stddev=1.0 / math.sqrt(embedding_size))) # Look up the embedding for each word. word_buckets = tf.strings.to_hash_bucket_fast(queries, num_buckets) word_embeddings = tf.nn.embedding_lookup(embedding_table, word_buckets) # ① # Add markers to the beginning and end of each sentence. marker = tf.fill([queries.nrows(), 1], '#') padded = tf.concat([marker, queries, marker], axis=1) # ② # Build word bigrams and look up embeddings. bigrams = tf.strings.join([padded[:, :-1], padded[:, 1:]], separator='+') # ③ bigram_buckets = tf.strings.to_hash_bucket_fast(bigrams, num_buckets) bigram_embeddings = tf.nn.embedding_lookup(embedding_table, bigram_buckets) # ④ # Find the average embedding for each sentence all_embeddings = tf.concat([word_embeddings, bigram_embeddings], axis=1) # ⑤ avg_embedding = tf.reduce_mean(all_embeddings, axis=1) # ⑥ print(avg_embedding) tf.Tensor( [[-0.07189021 0.23444025 -0.04020268 -0.27113184] [ 0.10560822 0.00976487 -0.17885399 0.5371701 ] [-0.23479678 -0.15996003 0.07078557 0.24388357]], shape=(3, 4), dtype=float32) الأبعاد المزدوجة والمستقرة A وَهُوَ الَّذِي يَتَوَفَّاكُمْ بِاللَّيْلِ وَيَعْلَمُ مَا جَرَحْتُمْ بِالنَّهَارِ ثُمَّ يَبْعَثُكُمْ فِيهِ لِيُقْضَى أَجَلٌ مُسَمًّى ثُمَّ إِلَيْهِ مَرْجِعُكُمْ ثُمَّ يُنَبِّئُكُمْ بِمَا كُنْتُمْ تَعْمَلُونَ. ولهذا السبب، فإنّه لا يصحّ أن يُسمّى ( ... ، تُسمى الأبعاد التي تتكون من أجزاء مختلفة تُسمى الأبعاد التي تتكون من أجزاء متساوية تُسمى الأبعاد . الحد الأقصى rt=[[3, 1, 4, 1], [], [5, 9, 2], [6], []] rt[0, :] rt[4, :] الأبعاد المشتركة الحد الأقصى الحد الأقصى من التضخم هو دائمًا متساوي، لأنه يتكون من قطعة واحدة (وهذا يعني أنه ليس من الممكن أن تختلف طوائف التضخم). قد تكون الحد الأقصى متساويًا أو متساويًا. على سبيل المثال، يمكنك تخزين إدراج الكلمة لكل كلمة في مجموعة من القصص باستخدام التضخم المتساوي مع شكل حيث تتراوح القصص حول تشير إلى أن الأبعاد تزداد. [num_sentences, (num_words), embedding_size] (num_words) قد يكون لها مزايا متعددة، على سبيل المثال، يمكنك تخزين مجموعة من الوثائق النصية الهيكلية باستخدام مزايا مع شكل (وهو أيضاً يستخدم المفاتيح لتحديد الأبعاد المضغوطة). [num_documents, (num_paragraphs), (num_sentences), (num_words)] كما مع الحد الأدنى من الحد الأقصى هو عدد الحد الأقصى (بما في ذلك الحد الأقصى و الحد الأقصى). هو قيمة يمكن أن تكون أيضًا أو a . tf.Tensor رينج احتمالات التضخم tf.Tensor tf.RaggedTensor رينج احتمالات التضخم عند وصف شكل RaggedTensor ، يتم تحديد الأبعاد المضغوطة بطبيعة الحال عن طريق إدراجها في المقاطع. على سبيل المثال ، كما رأيت أعلاه ، يمكن كتابة شكل RaggedTensor 3D الذي يحتوي على تثبيت الكلمة لكل كلمة في مجموعة من القصص مثل . [num_sentences, (num_words), embedding_size] ذاك العنوان يعود إلى a بالنسبة إلى التضخم المضخم حيث لديها الحجم المضخم : RaggedTensor.shape tf.TensorShape None tf.ragged.constant([["Hi"], ["How", "are", "you"]]).shape TensorShape([2, None]) الطريقة يمكن استخدامه لتحديد شكل من الأشكال المرتبطة بـ : tf.RaggedTensor.bounding_shape RaggedTensor print(tf.ragged.constant([["Hi"], ["How", "are", "you"]]).bounding_shape()) tf.Tensor([2 3], shape=(2,), dtype=int64) كرة القدم vs Sparse يجب أن يكون التضخم الصلب يمكن أن تُشكِّل نوعًا من التضخم، على سبيل المثال، التضخم هو هذا النموذج هو نفس البيانات في شكل ضخم؛ ولكن التضخم المضخم هو هذا الفرق هو الأهم عند تعريف العمليات: لا الكمبيوتر الفعلي ل tf.Tensor توسيع tf.Tensor يجب أن يقدم تطبيق Op على التضخم القليل أو العميق دائما نفس النتيجة. قد يقدم تطبيق Op على التضخم المضخم أو المضخم نتائج مختلفة. على سبيل المثال ، فكر في كيفية تكوين عمليات مثل: ، و و يتم تحديد الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة مع الترددات المضغوطة: concat stack tile ragged_x = tf.ragged.constant([["John"], ["a", "big", "dog"], ["my", "cat"]]) ragged_y = tf.ragged.constant([["fell", "asleep"], ["barked"], ["is", "fuzzy"]]) print(tf.concat([ragged_x, ragged_y], axis=1)) ومع ذلك، فإنه يتوافق مع التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد في التواجد التواجد في التواجد التواجد في التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد التواجد: sparse_x = ragged_x.to_sparse() sparse_y = ragged_y.to_sparse() sparse_result = tf.sparse.concat(sp_inputs=[sparse_x, sparse_y], axis=1) print(tf.sparse.to_dense(sparse_result, '')) tf.Tensor( [[b'John' b'' b'' b'fell' b'asleep'] [b'a' b'big' b'dog' b'barked' b''] [b'my' b'cat' b'' b'is' b'fuzzy']], shape=(3, 5), dtype=string) بالنسبة إلى مثال آخر لماذا هذا التمييز مهم ، فكر في تحديد "القدرة المتوسطة لكل صفحة" ل op مثل: ولكن بالنسبة للضغط القصير ، فإن القيمة المتوسطة لكل صفحة هي مجموع القيم في صفحة مقسمة إلى أقصى صفحة ، ولكن بالنسبة للضغط القصير ، فإن القيمة المتوسطة لكل صفحة هي مجموع القيم في صفحة مقسمة إلى أقصى صفحة القصيرة (الذي هو أكبر أو يساوي أقصى صفحة أطول). tf.reduce_mean تكنولوجيا TensorFlow كريم هو API على مستوى عال من TensorFlow لتصنيع وتدريب نموذج التعلم العميق. فهو ليس لديه دعم RAGGED. ولكنها تعمل على دعم التضخم المخطط. لذلك هو أسهل طريقة لاستخدام التضخم المخطط في نموذج Keras هو تحويل التضخم المخطط إلى التضخم العميق، باستخدام و بعد ذلك باستخدام تشكيل Keras builtin: كوريا .to_tensor() # Task: predict whether each sentence is a question or not. sentences = tf.constant( ['What makes you think she is a witch?', 'She turned me into a newt.', 'A newt?', 'Well, I got better.']) is_question = tf.constant([True, False, True, False]) # Preprocess the input strings. hash_buckets = 1000 words = tf.strings.split(sentences, ' ') hashed_words = tf.strings.to_hash_bucket_fast(words, hash_buckets) hashed_words.to_list() [[940, 203, 668, 387, 790, 320, 939, 185], [315, 515, 791, 181, 939, 787], [564, 205], [820, 180, 993, 739]] hashed_words.to_tensor() tf.keras.Input? # Build the Keras model. keras_model = tf.keras.Sequential([ tf.keras.layers.Embedding(hash_buckets, 16, mask_zero=True), tf.keras.layers.LSTM(32, return_sequences=True, use_bias=False), tf.keras.layers.GlobalAveragePooling1D(), tf.keras.layers.Dense(32), tf.keras.layers.Activation(tf.nn.relu), tf.keras.layers.Dense(1) ]) keras_model.compile(loss='binary_crossentropy', optimizer='rmsprop') keras_model.fit(hashed_words.to_tensor(), is_question, epochs=5) Epoch 1/5 WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1724721648.311913 10235 service.cc:146] XLA service 0x7f82d4008680 initialized for platform CUDA (this does not guarantee that XLA will be used). Devices: I0000 00:00:1724721648.311945 10235 service.cc:154] StreamExecutor device (0): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311949 10235 service.cc:154] StreamExecutor device (1): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311952 10235 service.cc:154] StreamExecutor device (2): Tesla T4, Compute Capability 7.5 I0000 00:00:1724721648.311955 10235 service.cc:154] StreamExecutor device (3): Tesla T4, Compute Capability 7.5 1/1 ━━━━━━━━━━━━━━━━━━━━ 4s 4s/step - loss: 8.0590 Epoch 2/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 47ms/step - loss: 8.0590 Epoch 3/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 4/5 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 44ms/step - loss: 8.0590 Epoch 5/5 I0000 00:00:1724721650.626376 10235 device_compiler.h:188] Compiled cluster using XLA! This line is logged at most once for the lifetime of the process. 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 43ms/step - loss: 8.0590 print(keras_model.predict(hashed_words.to_tensor())) 1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 407ms/step [[-0.00517703] [-0.00227403] [-0.00706224] [-0.00354813]] tf.مثل هذا هو المعيار إدخال بيانات TensorFlow.إدخال بيانات مع غالبا ما تتضمن s خصائص طوله المتغير. على سبيل المثال، يحدد الكود التالي مجموعة من أربعة رسائل مع طوابق مختلفة: tf.مثل Protobuf tf.Example tf.Example import google.protobuf.text_format as pbtext def build_tf_example(s): return pbtext.Merge(s, tf.train.Example()).SerializeToString() example_batch = [ build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["red", "blue"]} } } feature {key: "lengths" value {int64_list {value: [7]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["orange"]} } } feature {key: "lengths" value {int64_list {value: []} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["black", "yellow"]} } } feature {key: "lengths" value {int64_list {value: [1, 3]} } } }'''), build_tf_example(r''' features { feature {key: "colors" value {bytes_list {value: ["green"]} } } feature {key: "lengths" value {int64_list {value: [3, 5, 2]} } } }''')] يمكنك تحليل هذه البيانات المسطحة باستخدام ، الذي يأخذ تلسكوبًا من الشريانات المزدوجة وكتب التحديثات المميزة، ويترجّح اسمًا من الخصائص المكتوبة إلى التلسكوبات. في مقال التحديث: tf.io.parse_example tf.io.RaggedFeature feature_specification = { 'colors': tf.io.RaggedFeature(tf.string), 'lengths': tf.io.RaggedFeature(tf.int64), } feature_tensors = tf.io.parse_example(example_batch, feature_specification) for name, value in feature_tensors.items(): print("{}={}".format(name, value)) colors= lengths= يمكن أيضاً أن تستخدم لتعرف الميزات مع العديد من الأبعاد المضغوطة. . tf.io.RaggedFeature وثائق الحرائق بيانات هو API الذي يسمح لك ببناء خطوط الدخول المعقدة من أجزاء بسيطة ومتعددة الاستخدام. ، والذي يمثل سلسلة من العناصر، حيث يتكون كل عنصر من واحد أو أكثر من العناصر. TF.بيانات tf.data.Dataset # Helper function used to print datasets in the examples below. def print_dictionary_dataset(dataset): for i, element in enumerate(dataset): print("Element {}:".format(i)) for (feature_name, feature_value) in element.items(): print('{:>14} = {}'.format(feature_name, feature_value)) بناء مجموعات البيانات مع التضخم المضخم ويمكن بناء مجموعات البيانات من التعديلات المضغوطة باستخدام نفس الطرق التي تستخدم لإنشاءها من S أو NumPy S ، مثل : tf.Tensor array Dataset.from_tensor_slices dataset = tf.data.Dataset.from_tensor_slices(feature_tensors) print_dictionary_dataset(dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] ملاحظة: Dataset.from_generator لا يدعم التعديلات المضغوطة حتى الآن، ولكن سيتم إضافة الدعم قريبا. لا يدعم التضخم المضخم حتى الآن، ولكن سيتم إضافة دعم قريبا. Note: Dataset.from_generator تخصيص مجموعات البيانات التي لا تخصيص لها مع التعديلات المتعددة يمكن تجميع مجموعات البيانات مع التضخم المضخم (يمكن الجمع بينها أجزاء متتالية إلى أجزاء واحدة) باستخدام الطريقة n Dataset.batch batched_dataset = dataset.batch(2) print_dictionary_dataset(batched_dataset) Element 0: colors = lengths = Element 1: colors = lengths = على النقيض من ذلك، يمكن تحويل مجموعة البيانات المشتركة إلى مجموعة البيانات الخلفية باستخدام . Dataset.unbatch unbatched_dataset = batched_dataset.unbatch() print_dictionary_dataset(unbatched_dataset) Element 0: colors = [b'red' b'blue'] lengths = [7] Element 1: colors = [b'orange'] lengths = [] Element 2: colors = [b'black' b'yellow'] lengths = [1 3] Element 3: colors = [b'green'] lengths = [3 5 2] مجموعة من البيانات مع التعديلات غير المتطورة من طوله المتغير إذا كان لديك مجموعة البيانات التي تحتوي على الترددات التي لا تتردد، وتختلف طوابق الترددات في جميع عناصرها، فيمكنك إرسال هذه الترددات التي لا تتردد في الترددات إلى الترددات التي لا تتردد عن طريق تطبيق الترددات التي لا تتردد. التغيير : dense_to_ragged_batch non_ragged_dataset = tf.data.Dataset.from_tensor_slices([1, 5, 3, 2, 8]) non_ragged_dataset = non_ragged_dataset.map(tf.range) batched_non_ragged_dataset = non_ragged_dataset.apply( tf.data.experimental.dense_to_ragged_batch(2)) for element in batched_non_ragged_dataset: print(element) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_10064/1427668168.py:4: dense_to_ragged_batch (from tensorflow.python.data.experimental.ops.batching) is deprecated and will be removed in a future version. Instructions for updating: Use `tf.data.Dataset.ragged_batch` instead. تحويل مجموعات البيانات باستخدام التينتر المتحرك يمكنك أيضًا إنشاء أو تحويل التوازنات المضغوطة في مجموعة البيانات باستخدام : Dataset.map def transform_lengths(features): return { 'mean_length': tf.math.reduce_mean(features['lengths']), 'length_ranges': tf.ragged.range(features['lengths'])} transformed_dataset = dataset.map(transform_lengths) print_dictionary_dataset(transformed_dataset) Element 0: mean_length = 7 length_ranges = Element 1: mean_length = 0 length_ranges = Element 2: mean_length = 2 length_ranges = Element 3: mean_length = 3 length_ranges = TF وظيفة هو مزيج يعمل على تحديد إعدادات TensorFlow لمهام Python ، والتي يمكن أن تحسن بشكل كبير أداء رمز TensorFlow الخاص بك. على سبيل المثال، يعمل الوظيفة التالية مع كل من التضخم المضخم والمضخم: TF وظيفة @tf.function @tf.function def make_palindrome(x, axis): return tf.concat([x, tf.reverse(x, [axis])], axis) make_palindrome(tf.constant([[1, 2], [3, 4], [5, 6]]), axis=1) make_palindrome(tf.ragged.constant([[1, 2], [3], [4, 5, 6]]), axis=1) 2024-08-27 01:20:51.662289: W tensorflow/core/grappler/optimizers/loop_optimizer.cc:933] Skipping loop optimization for Merge node with control input: RaggedConcat/assert_equal_1/Assert/AssertGuard/branch_executed/_9 إذا كنت ترغب في تحديد بشكل واضح بالنسبة لـ ثم يمكنك القيام بذلك باستخدام . input_signature tf.function tf.RaggedTensorSpec @tf.function( input_signature=[tf.RaggedTensorSpec(shape=[None, None], dtype=tf.int32)]) def max_and_min(rt): return (tf.math.reduce_max(rt, axis=-1), tf.math.reduce_min(rt, axis=-1)) max_and_min(tf.ragged.constant([[1, 2], [3], [4, 5, 6]])) ( , ) وظائف محددة إزالة الفيديوهات الفريدة التي تم إنشاؤها من قبل يمكن استخدام التضخم المضخم بشكل شفاف مع الوظائف الحيوية. وظائف محددة tf.function @tf.function def increment(x): return x + 1 rt = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) cf = increment.get_concrete_function(rt) print(cf(rt)) النماذج A هو برنامج TensorFlow المتعدد الأبعاد ، بما في ذلك الوزن والتمثيل. ويمكن بناء من نموذج Keras أو من نموذج مخصص. في أي حال ، يمكن استخدام التضخم المضخم بشكل شفاف مع الوظائف والوسائل المحددة من قبل SavedModel. نموذج مثال: حفظ نموذج Keras import tempfile keras_module_path = tempfile.mkdtemp() keras_model.save(keras_module_path+"/my_model.keras") imported_model = tf.keras.models.load_model(keras_module_path+"/my_model.keras") imported_model(hashed_words.to_tensor()) مثال: حفظ نموذج مخصص class CustomModule(tf.Module): def __init__(self, variable_value): super(CustomModule, self).__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x): return x * self.v module = CustomModule(100.0) # Before saving a custom model, you must ensure that concrete functions are # built for each input signature that you will need. module.grow.get_concrete_function(tf.RaggedTensorSpec(shape=[None, None], dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(tf.ragged.constant([[1.0, 4.0, 3.0], [2.0]])) INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets INFO:tensorflow:Assets written to: /tmpfs/tmp/tmpkmr703wo/assets ملاحظة: تقييمات SavedModel هي وظائف معينة. كما تم بحثها في القسم عن وظائف معينة أعلاه، يتم التعامل مع تقييمات معينة بشكل صحيح فقط من خلال وظائف معينة بدءاً من TensorFlow 2.3.إذا كنت بحاجة إلى استخدام تقييمات SavedModel في نسخة سابقة من TensorFlow، فمن المستحسن أن تقسيم التقييمات معينة إلى تقييمات المكونات. ملاحظة: تقييمات SavedModel هي وظائف معينة. كما تم بحثها في القسم عن وظائف معينة أعلاه، يتم التعامل مع تقييمات معينة بشكل صحيح فقط من خلال وظائف معينة بدءاً من TensorFlow 2.3.إذا كنت بحاجة إلى استخدام تقييمات SavedModel في نسخة سابقة من TensorFlow، فمن المستحسن أن تقسيم التقييمات معينة إلى تقييمات المكونات. التوقعات العملاء المضطهدين ذاك يغطي القسم معالجات Python المعتدلة والمقارنة القياسية، مما يجعل من السهل تنفيذ الرياضيات الأساسية عن طريق العناصر: RaggedTensor x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) y = tf.ragged.constant([[1, 1], [2], [3, 3, 3]]) print(x + y) نظرًا لأن العملاء المضطربين يعملون في الحسابات الأساسية، يجب أن تكون الدخولات لجميع العمليات الثنائية نفس الشكل أو أن تكون قابلة للتنقل إلى نفس الشكل.في أسوأ الحالات التلفزيونية، يتم تجميع سكالار واحد في الحسابات الأساسية مع كل قيمة في تشنج: x = tf.ragged.constant([[1, 2], [3], [4, 5, 6]]) print(x + 3) لمناقشة القضايا المتقدمة، انظر القسم على . Broadcasting التضخم المضطرب يتحمل نفس مجموعة من المراقبين كما العادة s: العملاء الوحيدين ، و و · الممارسين الثنائية ، ، ، ، ، ، ، ، ، ، ، ، ، و و . Tensor - ~ abs() + - * / // % ** & | ^ == >= نشرت في الأصل على الموقع __TensorFlow __، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. نشرت في الأصل على الموقع __TensorFlow __، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. TensorFlow