Cómo comprimir imágenes con SVD y TensorFlow Core APIs

Contenido Overview Introducción Instalación Fundamentos del SVD Aproximación de bajo rango con SVD Imagen de carga El algoritmo de compresión de imagen Evaluación de aproximaciones Factor de compresión vs. Rank Suma cumulativa de valores singulares Errores y valores únicos Conclusión Introducción Este tutorial explora la técnica de (SVD) y sus aplicaciones para problemas de aproximación de bajo rango. El SVD se utiliza para factorizar matrices reales o complejas y tiene una variedad de casos de uso en la ciencia de datos, como la compresión de imágenes. El proyecto. Descomposición de valor singular Imagen Instalación import matplotlib from matplotlib.image import imread from matplotlib import pyplot as plt import requests # Preset Matplotlib figure sizes. matplotlib.rcParams['figure.figsize'] = [16, 9] import tensorflow as tf print(tf.__version__) 2024-08-15 02:40:31.007111: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:40:31.028202: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:40:31.034794: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered 2.17.0 Fundamentos del SVD La descomposición de valor singular de una matriz, A, se determina por la siguiente factorización: A = Tamaño dónde Am×n: matriz de entrada donde m≥n Um×n: matriz ortogonal, UTU=I, con cada columna, ui, que denota un vector singular izquierdo de A Σn×n: matriz diagonal con cada entrada diagonal, σi, que denota un valor singular de A VTn×n: matriz orthogonal, VTV=I, con cada fila, vi, que denota un vector singular derecho de A Cuando m<n, U y Σ ambos tienen dimensión (m×m), y VT tiene dimensión (m×n). El paquete de álgebra lineal de TensorFlow tiene una función, , que se puede utilizar para calcular la descomposición de valor singular de una o más matrices. Comenzando por definir una matriz simple y calcular su factorización SVD. tf.linalg.svd A = tf.random.uniform(shape=[40,30]) # Compute the SVD factorization s, U, V = tf.linalg.svd(A) # Define Sigma and V Transpose S = tf.linalg.diag(s) V_T = tf.transpose(V) # Reconstruct the original matrix A_svd = U@S@V_T # Visualize plt.bar(range(len(s)), s); plt.xlabel("Singular value rank") plt.ylabel("Singular value") plt.title("Bar graph of singular values"); WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689633.424919 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.428762 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.432420 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.437707 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.449819 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.453529 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.457079 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.460600 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.464019 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.467451 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.470857 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.474376 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.696864 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.698995 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.701043 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.703182 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.705235 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.707223 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.709163 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.711162 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.713114 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.715090 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.717036 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.719041 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.757916 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.759983 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.761969 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.764105 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.766234 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.768229 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.770180 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.772176 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.774158 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.776614 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.779022 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.781451 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 El La función se puede utilizar para calcular directamente la reconstrucción de la matriz a partir de las . tf.einsum tf.linalg.svd A_svd = tf.einsum('s,us,vs -> uv',s,U,V) print('\nReconstructed Matrix, A_svd', A_svd) Reconstructed Matrix, A_svd tf.Tensor( [[0.819255 0.95082176 0.30085772 ... 0.34306473 0.9112067 0.45277762] [0.71988434 0.20786765 0.3098724 ... 0.82478774 0.82917416 0.19994356] [0.23278469 0.17072585 0.10488278 ... 0.60508984 0.8121238 0.10594818] ... [0.10953172 0.72077066 0.30288345 ... 0.5790409 0.15389094 0.11265922] [0.44894537 0.04313891 0.6947845 ... 0.41589245 0.6668094 0.53494996] [0.79140556 0.47814542 0.24980234 ... 0.32851136 0.86007696 0.32692394]], shape=(40, 30), dtype=float32) Aproximación de bajo rango con el SVD El rango de una matriz, A, se determina por la dimensión del espacio vectorial extendido por sus columnas.El SVD puede usarse para aproximar una matriz con un rango inferior, lo que finalmente disminuye la dimensionalidad de los datos necesarios para almacenar la información representada por la matriz. La aproximación rank-r de A en términos del SVD se define por la fórmula: Ar=UrΣrVrT dónde Urm×r: matriz compuesta por las primeras columnas r de U Σrr×r: matriz diagonal compuesta por los primeros valores singulares r en Σ Vrr×nT: matriz compuesta por las primeras filas r de VT Comience escribiendo una función para calcular la aproximación de rango de una matriz dada. Este procedimiento de aproximación de rango bajo se utiliza para comprimir imágenes; por lo tanto, también es útil calcular los tamaños de datos físicos para cada aproximación. Para la simplicidad, asuma que el tamaño de datos para una matriz aproximada de rango de r es igual al número total de elementos necesarios para calcular la aproximación. A continuación, escriba una función para visualizar la matriz original, A su aproximación de rango de r, Ar y la matriz de error. def rank_r_approx(s, U, V, r, verbose=False): # Compute the matrices necessary for a rank-r approximation s_r, U_r, V_r = s[..., :r], U[..., :, :r], V[..., :, :r] # ... implies any number of extra batch axes # Compute the low-rank approximation and its size A_r = tf.einsum('...s,...us,...vs->...uv',s_r,U_r,V_r) A_r_size = tf.size(U_r) + tf.size(s_r) + tf.size(V_r) if verbose: print(f"Approximation Size: {A_r_size}") return A_r, A_r_size def viz_approx(A, A_r): # Plot A, A_r, and A - A_r vmin, vmax = 0, tf.reduce_max(A) fig, ax = plt.subplots(1,3) mats = [A, A_r, abs(A - A_r)] titles = ['Original A', 'Approximated A_r', 'Error |A - A_r|'] for i, (mat, title) in enumerate(zip(mats, titles)): ax[i].pcolormesh(mat, vmin=vmin, vmax=vmax) ax[i].set_title(title) ax[i].axis('off') print(f"Original Size of A: {tf.size(A)}") s, U, V = tf.linalg.svd(A) Original Size of A: 1200 # Rank-15 approximation A_15, A_15_size = rank_r_approx(s, U, V, 15, verbose = True) viz_approx(A, A_15) Approximation Size: 1065 # Rank-3 approximation A_3, A_3_size = rank_r_approx(s, U, V, 3, verbose = True) viz_approx(A, A_3) Approximation Size: 213 Como se esperaba, el uso de rango inferior resulta en aproximaciones menos precisas. Sin embargo, la calidad de estas aproximaciones de bajo rango a menudo son suficientemente buenas en escenarios del mundo real. También tenga en cuenta que el objetivo principal de la aproximación de bajo rango con SVD es reducir la dimensionalidad de los datos pero no reducir el espacio en disco de los datos mismos. Sin embargo, a medida que las matrices de entrada se vuelven más dimensionales, muchas aproximaciones de bajo rango también terminan beneficiándose de un tamaño de datos reducido. Imagen de carga La siguiente imagen está disponible en la Imagen es un modelo de difusión de texto a imagen desarrollado por el equipo Brain de Google Research. Una IA creó esta imagen basada en la prompt: "Una foto de un perro Corgi montando en una bicicleta en Times Square. Está usando gafas de sol y un sombrero de playa." ¡Qué cool es eso! También puede cambiar la URL de abajo a cualquier enlace .jpg para cargar en una imagen personalizada de elección. Imagen Después de leer un archivo JPEG, Matplotlib emite una matriz, I, de forma (m×n×3) que representa una imagen bidimensional con 3 canales de color para rojo, verde y azul respectivamente. img_link = "https://imagen.research.google/main_gallery_images/a-photo-of-a-corgi-dog-riding-a-bike-in-times-square.jpg" img_path = requests.get(img_link, stream=True).raw I = imread(img_path, 0) print("Input Image Shape:", I.shape) Input Image Shape: (1024, 1024, 3) def show_img(I): # Display the image in matplotlib img = plt.imshow(I) plt.axis('off') return show_img(I) El algoritmo de compresión de imagen Ahora, use el SVD para calcular las aproximaciones de bajo rango de la imagen de la muestra. Recuerde que la imagen es de forma (1024×1024×3) y que la teoría SVD sólo se aplica a las matrices de dos dimensiones. Esto significa que la imagen de la muestra debe ser batida en 3 matrices de tamaño igual que correspondan a cada uno de los 3 canales de color. Esto se puede hacer mediante la transposición de la matriz a ser de forma (3×1024×1024). Para visualizar claramente el error de aproximación, reescale los valores RGB de la imagen de [0,255] a [0,1]. Recuerde cortar los valores aproximados para caer dentro de este intervalo antes de visualizarlos. La función es útil para esto. tf.clip_by_value def compress_image(I, r, verbose=False): # Compress an image with the SVD given a rank I_size = tf.size(I) print(f"Original size of image: {I_size}") # Compute SVD of image I = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I, [2, 0, 1]) # einops.rearrange(I, 'h w c -> c h w') s, U, V = tf.linalg.svd(I_batched) # Compute low-rank approximation of image across each RGB channel I_r, I_r_size = rank_r_approx(s, U, V, r) I_r = tf.transpose(I_r, [1, 2, 0]) # einops.rearrange(I_r, 'c h w -> h w c') I_r_prop = (I_r_size / I_size) if verbose: # Display compressed image and attributes print(f"Number of singular values used in compression: {r}") print(f"Compressed image size: {I_r_size}") print(f"Proportion of original size: {I_r_prop:.3f}") ax_1 = plt.subplot(1,2,1) show_img(tf.clip_by_value(I_r,0.,1.)) ax_1.set_title("Approximated image") ax_2 = plt.subplot(1,2,2) show_img(tf.clip_by_value(0.5+abs(I-I_r),0.,1.)) ax_2.set_title("Error") return I_r, I_r_prop Ahora, computa las aproximaciones de rank-r para las siguientes filas : 100, 50, 10 I_100, I_100_prop = compress_image(I, 100, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 100 Compressed image size: 614700 Proportion of original size: 0.195 I_50, I_50_prop = compress_image(I, 50, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 50 Compressed image size: 307350 Proportion of original size: 0.098 I_10, I_10_prop = compress_image(I, 10, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 10 Compressed image size: 61470 Proportion of original size: 0.020 Evaluación de aproximaciones Hay una variedad de métodos interesantes para medir la eficacia y tener más control sobre las aproximaciones de matriz. Factor de compresión vs. Rank Para cada una de las aproximaciones anteriores, observe cómo los tamaños de datos cambian con el rango. plt.figure(figsize=(11,6)) plt.plot([100, 50, 10], [I_100_prop, I_50_prop, I_10_prop]) plt.xlabel("Rank") plt.ylabel("Proportion of original image size") plt.title("Compression factor vs rank"); Para explorar esto más, recuerde que el tamaño de datos de una matriz aproximada, Ar, se define como el número total de elementos necesarios para su cálculo. x=(m×r)+r+(r×n)=r×(m+n+1) c=xy=r×(m+n+1)m×n dónde X: Tamaño del aire Y: Tamaño de A C = XY: factor de compresión r: rango de la aproximación m y n: dimensiones de fila y columna de A Para encontrar el rango, r, que es necesario para comprimir una imagen a un factor deseado, c, la ecuación anterior puede ser reordenada para resolver para r: r= c×m×nm+n+1 Tenga en cuenta que esta fórmula es independiente de la dimensión del canal de color ya que cada una de las aproximaciones RGB no se afectan mutuamente. def compress_image_with_factor(I, compression_factor, verbose=False): # Returns a compressed image based on a desired compression factor m,n,o = I.shape r = int((compression_factor * m * n)/(m + n + 1)) I_r, I_r_prop = compress_image(I, r, verbose=verbose) return I_r Comprimir una imagen al 15% de su tamaño original. compression_factor = 0.15 I_r_img = compress_image_with_factor(I, compression_factor, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 76 Compressed image size: 467172 Proportion of original size: 0.149 Suma cumulativa de valores singulares La suma cumulativa de los valores singulares puede ser un indicador útil de la cantidad de energía capturada por una aproximación de r de r. Visualizar la proporción cumulativa media RGB de los valores singulares en la imagen de muestra. La función puede ser útil para esto. tf.cumsum def viz_energy(I): # Visualize the energy captured based on rank # Computing SVD I = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I, [2, 0, 1]) s, U, V = tf.linalg.svd(I_batched) # Plotting average proportion across RGB channels props_rgb = tf.map_fn(lambda x: tf.cumsum(x)/tf.reduce_sum(x), s) props_rgb_mean = tf.reduce_mean(props_rgb, axis=0) plt.figure(figsize=(11,6)) plt.plot(range(len(I)), props_rgb_mean, color='k') plt.xlabel("Rank / singular value number") plt.ylabel("Cumulative proportion of singular values") plt.title("RGB-averaged proportion of energy captured by the first 'r' singular values") viz_energy(I) Parece que más del 90% de la energía en esta imagen se captura dentro de los primeros 100 valores singulares. Ahora, escriba una función para comprimir una imagen de entrada dada un factor de retención de energía deseado. def compress_image_with_energy(I, energy_factor, verbose=False): # Returns a compressed image based on a desired energy factor # Computing SVD I_rescaled = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I_rescaled, [2, 0, 1]) s, U, V = tf.linalg.svd(I_batched) # Extracting singular values props_rgb = tf.map_fn(lambda x: tf.cumsum(x)/tf.reduce_sum(x), s) props_rgb_mean = tf.reduce_mean(props_rgb, axis=0) # Find closest r that corresponds to the energy factor r = tf.argmin(tf.abs(props_rgb_mean - energy_factor)) + 1 actual_ef = props_rgb_mean[r] I_r, I_r_prop = compress_image(I, r, verbose=verbose) print(f"Proportion of energy captured by the first {r} singular values: {actual_ef:.3f}") return I_r Comprimir una imagen para retener el 75% de su energía. energy_factor = 0.75 I_r_img = compress_image_with_energy(I, energy_factor, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 35 Compressed image size: 215145 Proportion of original size: 0.068 Proportion of energy captured by the first 35 singular values: 0.753 Errores y valores únicos Existe también una relación interesante entre el error de aproximación y los valores singulares.Resulta que la norma de Frobenius cuadrada de la aproximación es igual a la suma de los cuadrados de sus valores singulares que se omitieron: Pruebe esta relación con una aproximación de rango-10 de la matriz de ejemplo al comienzo de este tutorial. s, U, V = tf.linalg.svd(A) A_10, A_10_size = rank_r_approx(s, U, V, 10) squared_norm = tf.norm(A - A_10)**2 s_squared_sum = tf.reduce_sum(s[10:]**2) print(f"Squared Frobenius norm: {squared_norm:.3f}") print(f"Sum of squared singular values left out: {s_squared_sum:.3f}") Squared Frobenius norm: 33.021 Sum of squared singular values left out: 33.021 Conclusión Este cuaderno introdujo el proceso de implementar la descomposición de valor singular con TensorFlow y aplicarlo para escribir un algoritmo de compresión de imagen. Las APIs TensorFlow Core se pueden utilizar para una variedad de casos de uso de computación científica de alto rendimiento. Para obtener más información sobre las funcionalidades de álgebra lineal de TensorFlow, visite los documentos para el módulo linalg. El SVD también se puede aplicar para construir sistemas de recomendación. Para obtener más ejemplos de cómo utilizar las APIs TensorFlow Core, consulte la Si desea aprender más sobre cargar y preparar datos, consulte los tutoriales en o . Guía Carga de datos de imagen Carga de datos CSV Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. TensorFlow TensorFlow