Como comprimir imagens com APIs SVD e TensorFlow Core

Conteúdo Visão Geral Introdução Instalação Fundamentos do SVD Aproximação de nível baixo com SVD Imagem carregada Algoritmo de Compressão de Imagens Avaliação de aproximações Fator de Compressão vs. Rank Suma cumulativa de valores únicos Erros e valores únicos CONCLUSÃO Introdução Este tutorial descreve a técnica de (SVD) e suas aplicações para problemas de aproximação de baixa classificação. O SVD é usado para factorizar matrizes reais ou complexas e tem uma variedade de casos de uso em ciência de dados, como compressão de imagem. do projeto. Descomposição de valor singular Imagem Instalação import matplotlib from matplotlib.image import imread from matplotlib import pyplot as plt import requests # Preset Matplotlib figure sizes. matplotlib.rcParams['figure.figsize'] = [16, 9] import tensorflow as tf print(tf.__version__) 2024-08-15 02:40:31.007111: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:40:31.028202: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:40:31.034794: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered 2.17.0 Fundamentos do SVD A decomposição de valor singular de uma matriz, A, é determinada pela seguinte factorização: A = Atividade onde Am×n: matriz de entrada onde m≥n Um×n: matriz ortogonal, UTU=I, com cada coluna, ui, indicando um vetor singular esquerdo de A Σn×n: matriz diagonal com cada entrada diagonal, σi, indicando um valor singular de A VTn×n: matriz ortogonal, VTV=I, com cada linha, vi, indicando um vetor singular direito de A Quando m<n, U e Σ ambos têm dimensão (m×m), e VT tem dimensão (m×n). O pacote de álgebra linear do TensorFlow tem uma função, , que pode ser usado para calcular a decomposição de valor singular de uma ou mais matrizes.Comece definindo uma matriz simples e calculando sua factorização SVD. tf.linalg.svd A = tf.random.uniform(shape=[40,30]) # Compute the SVD factorization s, U, V = tf.linalg.svd(A) # Define Sigma and V Transpose S = tf.linalg.diag(s) V_T = tf.transpose(V) # Reconstruct the original matrix A_svd = U@S@V_T # Visualize plt.bar(range(len(s)), s); plt.xlabel("Singular value rank") plt.ylabel("Singular value") plt.title("Bar graph of singular values"); WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689633.424919 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.428762 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.432420 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.437707 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.449819 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.453529 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.457079 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.460600 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.464019 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.467451 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.470857 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689633.474376 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.696864 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.698995 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.701043 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.703182 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.705235 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.707223 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.709163 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.711162 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.713114 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.715090 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.717036 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.719041 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.757916 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.759983 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.761969 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.764105 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.766234 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.768229 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.770180 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.772176 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.774158 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.776614 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.779022 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689634.781451 126589 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 O A função pode ser usada para calcular diretamente a reconstrução da matriz a partir das saídas de . tf.einsum tf.linalg.svd A_svd = tf.einsum('s,us,vs -> uv',s,U,V) print('\nReconstructed Matrix, A_svd', A_svd) Reconstructed Matrix, A_svd tf.Tensor( [[0.819255 0.95082176 0.30085772 ... 0.34306473 0.9112067 0.45277762] [0.71988434 0.20786765 0.3098724 ... 0.82478774 0.82917416 0.19994356] [0.23278469 0.17072585 0.10488278 ... 0.60508984 0.8121238 0.10594818] ... [0.10953172 0.72077066 0.30288345 ... 0.5790409 0.15389094 0.11265922] [0.44894537 0.04313891 0.6947845 ... 0.41589245 0.6668094 0.53494996] [0.79140556 0.47814542 0.24980234 ... 0.32851136 0.86007696 0.32692394]], shape=(40, 30), dtype=float32) Aproximação de nível baixo com o SVD A classificação de uma matriz, A, é determinada pela dimensão do espaço vetorial estendido por suas colunas.O SVD pode ser usado para aproximar uma matriz com uma classificação inferior, o que, em última análise, diminui a dimensionalidade dos dados necessários para armazenar as informações representadas pela matriz. A aproximação rank-r de A em termos do SVD é definida pela fórmula: Ar=UrΣrVrT onde Urm×r: matriz composta pelas primeiras colunas r de U Σrr×r: matriz diagonal constituída pelos primeiros valores singular r em Σ Vrr×nT: matriz constituída pelas primeiras linhas r de VT Comece escrevendo uma função para calcular a aproximação de classificação-r de uma matriz dada. Este procedimento de aproximação de baixa classificação é usado para compressão de imagem; portanto, também é útil calcular os tamanhos de dados físicos para cada aproximação. Para simplicidade, suponha que o tamanho de dados para uma matriz de aproximação de classificação-r é igual ao número total de elementos necessários para calcular a aproximação. def rank_r_approx(s, U, V, r, verbose=False): # Compute the matrices necessary for a rank-r approximation s_r, U_r, V_r = s[..., :r], U[..., :, :r], V[..., :, :r] # ... implies any number of extra batch axes # Compute the low-rank approximation and its size A_r = tf.einsum('...s,...us,...vs->...uv',s_r,U_r,V_r) A_r_size = tf.size(U_r) + tf.size(s_r) + tf.size(V_r) if verbose: print(f"Approximation Size: {A_r_size}") return A_r, A_r_size def viz_approx(A, A_r): # Plot A, A_r, and A - A_r vmin, vmax = 0, tf.reduce_max(A) fig, ax = plt.subplots(1,3) mats = [A, A_r, abs(A - A_r)] titles = ['Original A', 'Approximated A_r', 'Error |A - A_r|'] for i, (mat, title) in enumerate(zip(mats, titles)): ax[i].pcolormesh(mat, vmin=vmin, vmax=vmax) ax[i].set_title(title) ax[i].axis('off') print(f"Original Size of A: {tf.size(A)}") s, U, V = tf.linalg.svd(A) Original Size of A: 1200 # Rank-15 approximation A_15, A_15_size = rank_r_approx(s, U, V, 15, verbose = True) viz_approx(A, A_15) Approximation Size: 1065 # Rank-3 approximation A_3, A_3_size = rank_r_approx(s, U, V, 3, verbose = True) viz_approx(A, A_3) Approximation Size: 213 Como esperado, o uso de faixas mais baixas resulta em aproximações menos precisas. No entanto, a qualidade dessas aproximações de baixa classificação é muitas vezes boa o suficiente em cenários do mundo real. Também note que o principal objetivo da aproximação de baixa classificação com SVD é reduzir a dimensionalidade dos dados, mas não reduzir o espaço em disco dos próprios dados. No entanto, à medida que as matrizes de entrada se tornam mais dimensional, muitas aproximações de baixa classificação também acabam se beneficiando do tamanho reduzido dos dados. Imagem carregada A imagem a seguir está disponível no Imagen é um modelo de difusão de texto para imagem desenvolvido pela equipe Brain do Google Research. Uma IA criou esta imagem com base no prompt: "Uma foto de um cão Corgi montando uma bicicleta na Times Square. Ele está usando óculos de sol e um chapéu de praia." Quão legal é isso! Você também pode alterar a URL abaixo para qualquer link .jpg para carregar em uma imagem personalizada de escolha. Imagem Depois de ler um arquivo JPEG, Matplotlib produz uma matriz, I, de forma (m×n×3) que representa uma imagem bidimensional com 3 canais de cor para vermelho, verde e azul, respectivamente. img_link = "https://imagen.research.google/main_gallery_images/a-photo-of-a-corgi-dog-riding-a-bike-in-times-square.jpg" img_path = requests.get(img_link, stream=True).raw I = imread(img_path, 0) print("Input Image Shape:", I.shape) Input Image Shape: (1024, 1024, 3) def show_img(I): # Display the image in matplotlib img = plt.imshow(I) plt.axis('off') return show_img(I) Algoritmo de Compressão de Imagens Agora, use o SVD para calcular aproximações de baixo nível da imagem da amostra. Lembre-se de que a imagem é de forma (1024×1024×3) e que a teoria SVD só se aplica a matrizes de 2 dimensões. Isso significa que a imagem da amostra deve ser batida em 3 matrizes de tamanho igual que correspondam a cada um dos 3 canais de cor. Isso pode ser feito transferindo a matriz para ser de forma (3×1024×1024). Para visualizar claramente o erro de aproximação, redimensionar os valores RGB da imagem de [0,255] para [0,1]. Lembre-se de cortar os valores aproximados para cair dentro deste intervalo antes de visualizá-los. A função é útil para isso. tf.clip_by_value def compress_image(I, r, verbose=False): # Compress an image with the SVD given a rank I_size = tf.size(I) print(f"Original size of image: {I_size}") # Compute SVD of image I = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I, [2, 0, 1]) # einops.rearrange(I, 'h w c -> c h w') s, U, V = tf.linalg.svd(I_batched) # Compute low-rank approximation of image across each RGB channel I_r, I_r_size = rank_r_approx(s, U, V, r) I_r = tf.transpose(I_r, [1, 2, 0]) # einops.rearrange(I_r, 'c h w -> h w c') I_r_prop = (I_r_size / I_size) if verbose: # Display compressed image and attributes print(f"Number of singular values used in compression: {r}") print(f"Compressed image size: {I_r_size}") print(f"Proportion of original size: {I_r_prop:.3f}") ax_1 = plt.subplot(1,2,1) show_img(tf.clip_by_value(I_r,0.,1.)) ax_1.set_title("Approximated image") ax_2 = plt.subplot(1,2,2) show_img(tf.clip_by_value(0.5+abs(I-I_r),0.,1.)) ax_2.set_title("Error") return I_r, I_r_prop Agora, calcule as aproximações de rank-r para as seguintes fileiras : 100, 50, 10 I_100, I_100_prop = compress_image(I, 100, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 100 Compressed image size: 614700 Proportion of original size: 0.195 I_50, I_50_prop = compress_image(I, 50, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 50 Compressed image size: 307350 Proportion of original size: 0.098 I_10, I_10_prop = compress_image(I, 10, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 10 Compressed image size: 61470 Proportion of original size: 0.020 Avaliação de aproximações Existem uma variedade de métodos interessantes para medir a eficácia e ter mais controle sobre aproximações de matriz. Fator de Compressão vs. Rank Para cada uma das aproximações acima, observe como os tamanhos dos dados mudam com o ranking. plt.figure(figsize=(11,6)) plt.plot([100, 50, 10], [I_100_prop, I_50_prop, I_10_prop]) plt.xlabel("Rank") plt.ylabel("Proportion of original image size") plt.title("Compression factor vs rank"); Para explorar isso mais, lembre-se que o tamanho dos dados de uma matriz aproximada, Ar, é definido como o número total de elementos necessários para o seu cálculo. x=(m×r)+r+(r×n)=r×(m+n+1) c=xy=r×(m+n+1)m×n onde X: tamanho do ar e: tamanho de A C = XY: fator de compressão r: nível da aproximação m e n: dimensões de linha e coluna de A Para encontrar a classificação, r, que é necessário para comprimir uma imagem para um fator desejado, c, a equação acima pode ser reordenada para resolver para r: r = c×m×nm+n+1 Observe que esta fórmula é independente da dimensão do canal de cor, uma vez que cada uma das aproximações RGB não afeta a outra.Agora, escreva uma função para comprimir uma imagem de entrada dada um fator de compressão desejado. def compress_image_with_factor(I, compression_factor, verbose=False): # Returns a compressed image based on a desired compression factor m,n,o = I.shape r = int((compression_factor * m * n)/(m + n + 1)) I_r, I_r_prop = compress_image(I, r, verbose=verbose) return I_r Comprimir uma imagem para 15% do seu tamanho original. compression_factor = 0.15 I_r_img = compress_image_with_factor(I, compression_factor, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 76 Compressed image size: 467172 Proportion of original size: 0.149 Suma cumulativa de valores únicos A soma cumulativa de valores singulares pode ser um indicador útil para a quantidade de energia capturada por uma aproximação rank-r. Visualize a proporção cumulativa média RGB de valores singulares na imagem da amostra. A função pode ser útil para isso. tf.cumsum def viz_energy(I): # Visualize the energy captured based on rank # Computing SVD I = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I, [2, 0, 1]) s, U, V = tf.linalg.svd(I_batched) # Plotting average proportion across RGB channels props_rgb = tf.map_fn(lambda x: tf.cumsum(x)/tf.reduce_sum(x), s) props_rgb_mean = tf.reduce_mean(props_rgb, axis=0) plt.figure(figsize=(11,6)) plt.plot(range(len(I)), props_rgb_mean, color='k') plt.xlabel("Rank / singular value number") plt.ylabel("Cumulative proportion of singular values") plt.title("RGB-averaged proportion of energy captured by the first 'r' singular values") viz_energy(I) Parece que mais de 90% da energia nesta imagem é capturada dentro dos primeiros 100 valores singulares.Agora, escreva uma função para comprimir uma imagem de entrada dado um fator de retenção de energia desejado. def compress_image_with_energy(I, energy_factor, verbose=False): # Returns a compressed image based on a desired energy factor # Computing SVD I_rescaled = tf.convert_to_tensor(I)/255 I_batched = tf.transpose(I_rescaled, [2, 0, 1]) s, U, V = tf.linalg.svd(I_batched) # Extracting singular values props_rgb = tf.map_fn(lambda x: tf.cumsum(x)/tf.reduce_sum(x), s) props_rgb_mean = tf.reduce_mean(props_rgb, axis=0) # Find closest r that corresponds to the energy factor r = tf.argmin(tf.abs(props_rgb_mean - energy_factor)) + 1 actual_ef = props_rgb_mean[r] I_r, I_r_prop = compress_image(I, r, verbose=verbose) print(f"Proportion of energy captured by the first {r} singular values: {actual_ef:.3f}") return I_r Comprimir uma imagem para reter 75% de sua energia. energy_factor = 0.75 I_r_img = compress_image_with_energy(I, energy_factor, verbose=True) Original size of image: 3145728 Number of singular values used in compression: 35 Compressed image size: 215145 Proportion of original size: 0.068 Proportion of energy captured by the first 35 singular values: 0.753 Erros e valores únicos Há também uma relação interessante entre o erro de aproximação e os valores singulares.Resulta que a norma quadrada de Frobenius da aproximação é igual à soma dos quadrados de seus valores singulares que foram excluídos: Teste esta relação com uma aproximação de classificação-10 da matriz de exemplo no início deste tutorial. s, U, V = tf.linalg.svd(A) A_10, A_10_size = rank_r_approx(s, U, V, 10) squared_norm = tf.norm(A - A_10)**2 s_squared_sum = tf.reduce_sum(s[10:]**2) print(f"Squared Frobenius norm: {squared_norm:.3f}") print(f"Sum of squared singular values left out: {s_squared_sum:.3f}") Squared Frobenius norm: 33.021 Sum of squared singular values left out: 33.021 CONCLUSÃO Este notebook introduziu o processo de implementar a decomposição de valor singular com o TensorFlow e aplicá-lo para escrever um algoritmo de compressão de imagem. As APIs do TensorFlow Core podem ser utilizadas para uma variedade de casos de uso de computação científica de alto desempenho. Para saber mais sobre as funcionalidades de álgebra linear do TensorFlow, visite os documentos para o módulo linalg. O SVD também pode ser aplicado para construir sistemas de recomendação. Para mais exemplos de utilização das APIs do TensorFlow Core, consulte o Se você quiser saber mais sobre carregar e preparar dados, consulte os tutoriais em ou . Guia Carregamento de dados de imagem Carregamento de dados CSV Originalmente publicado no site TensorFlow, este artigo aparece aqui sob um novo título e é licenciado sob CC BY 4.0. Originalmente publicado no site TensorFlow, este artigo aparece aqui sob um novo título e é licenciado sob CC BY 4.0. TensorFlow TensorFlow