Depolama alanı satın alırken genellikle medyaya ağırlık verilir, ancak erişim yöntemlerini de dikkate almak daha da önemli olabilir. Altyapıyı tasarlarken ve tedarik ederken, özellikle de bulutta yerel nesne depolamaya geçmek için eski depolamayı geride bıraktığınızda depolama protokollerini dikkate almanız gerekecektir. Bununla birlikte, nesne depolama, iletişim için S3 API'ye dayanırken eski iş yükleri, uygulamaların Unix işletim sistemleri arasında taşınabilir olmasına izin vermek için 1980'lerde geliştirilen bir dizi standart sağlayan Taşınabilir İşletim Sistemi Arayüzü POSIX'e dayanır. Muhtemelen çoğu işletmenin POSIX üzerinde çalışacak şekilde geliştirilmiş uygulamaları onlarca yıldır hizmettedir. Muhtemelen mühendisler POSIX'in zayıf performansının zaten farkındadır.  Bununla birlikte, yalnızca belirli bir formatta veya belirli bir kaynaktan veri alabilen eski sistemleriniz varsa, seçenekleriniz sınırlı olabilir ve güncel olmayan bir protokolü uygulamaktan veya kodunuzu yeniden yazmaktan başka seçeneğiniz kalmayabilir. Örneğin, ağ üzerinden erişilen RESTful API'lerle değil, yalnızca dosya sistemiyle yerel bir diskten veri alabiliyorsanız, uygulamanızın kullanabilmesi için önce bu verileri diskte kullanılabilir hale getirmeniz gerekir. Bununla birlikte, bir nesne deposunu dosya sistemi olarak kullanmanın performans, uyumluluk, veri bütünlüğü ve güvenlik açısından bir takım ciddi olumsuz etkileri vardır.  Bunu   adı verilen küçük bir yardımcı programı kullanarak bazı gerçek dünya testleriyle gösterelim. Bu yardımcı program, bir S3 klasörünü yerel dosya sistemi olarak bağlamanıza olanak tanır. S3 (Basit Depolama Hizmeti) Dosya Sistemi - FUSE (Kullanıcı Alanındaki Dosya Sistemi) anlamına gelir. S3'e dosya sistemi benzeri bir arayüz sunmak için FUSE (Kullanıcı Alanındaki Dosya Sistemi) arayüzünü kullanan açık kaynaklı bir projedir. s3fs-fuse  Bir S3 klasörü   kullanılarak monte edildiğinde, paketle sanki yerel bir dosya sistemiymiş gibi etkileşim kurabilirsiniz. Bu, paketinizdeki dosyalarda normal dosya işlemlerini (okuma, yazma, taşıma vb.) kullanabileceğiniz anlamına gelir. Bu kulağa inanılmaz derecede kullanışlı geliyor ve uygulama geliştirmeyi kolaylaştırdığını iddia edebiliriz. Ancak doğası gereği nesne depolama ve dosya sistemleri, dosya sistemi olarak monte edilen s3 klasörünü etkileyecek temel farklılıklara sahiptir. s3fs-fuse  Nesne depolamasını bir dosya sistemi olarak ele almanın neden optimal olmaktan uzak olduğunun gerçek nedenlerini tartışmak için   yardımcı programından biraz uzaklaşalım. Sorun   çok daha büyük ve yerel dosya sistemi API çağrılarını S3 nesne API çağrılarına çeviren bir dosya istemcisi olan   gibi diğer yardımcı programları da içeriyor. İlk neden, tüm bu yardımcı programların dosya sistemi işlemleri için POSIX'e bağlı olmasıdır. POSIX verimsizdir ve hiçbir zaman ağ üzerinden çok büyük dosyalarla çalışmak üzere tasarlanmamıştır. s3fs-fuse s3fs-fuse Amazon S3 için Rust tabanlı Mountpoint  POSIX tabanlı sistemlerin hızı, onlara olan talep, özellikle de eş zamanlı talep arttıkça azalır. Büyük kuruluşların derin öğrenme, yapay zeka ve diğer yoğun veri kullanım durumları için veri okyanuslarını depolaması ve bunlara erişmesi gerektiğinde, POSIX bu talepleri karşılayacak yeteneğe veya ölçeklenebilirliğe sahip değildir. Tamamen Flash dizileri POSIX'i oyunda tutarken, ölçeklenebilirlik ve RESTful API'ler (bulutun ayırt edici özellikleri) kriptonit gibidir.  Bu nedenle POSIX'i bir nesne deposunun üzerinde çalıştırmak optimalin altındadır. Bunun bazı nedenlerine bir göz atalım:    POSIX FS arayüzü doğası gereği IOPS merkezlidir. Konuşkandırlar, pahalıdırlar ve ölçeklenmeleri zordur. RESTful S3 API, IOPS'yi bir üretim sorununa dönüştürerek bu sorunu çözer. Verimin ölçeklendirilmesi daha kolay ve daha ucuzdur. Nesne depolamanın büyük ölçekte yüksek performanslı olmasının nedeni budur. POSIX'in S3 üzerinden katmanlanması ölçeklenmeyecektir çünkü POSIX, HTTP RESTful arayüzü üzerinden gerçekleştirilemeyecek kadar konuşkandır. Performans:    Nesne işlemleri atomik ve değişmez olduğundan tutarlılığın doğruluğunu garanti etmenin bir yolu yoktur. Bu, bir çökme durumunda kaydedilmemiş verileri kaybedebileceğiniz veya paylaşılan montajlar durumunda bozulma sorunlarıyla karşılaşabileceğiniz anlamına gelir. Anlambilim:    : Bir dosyaya yapılan yazmalar veya herhangi bir mutasyon, dosya taahhüt edilene kadar ad alanında görünmez. Bu, paylaşılan montajlar arasında eşzamanlı erişimin değişiklikleri görmeyeceği anlamına gelir. Paylaşılan erişim için kullanışlı değildir. Veri Bütünlüğü    POSIX izinleri ve ACL'ler ilkeldir ve S3 API'nin kimlik ve erişim yönetimi politikalarını yönetme biçimiyle uyumsuzdur. POSIX erişim yönetimini en iyi S3 API'lerinde güvenli bir şekilde uygulamak mümkün değildir. Erişim Kontrolü:  POSIX ayrıca geliştiricilerin S3'te sevdiği nesne düzeyinde şifreleme, sürüm oluşturma, değişmezlik gibi işlevselliklerin çoğundan da yoksundur; bunların POSIX dünyasında eşdeğeri yoktur ve hiçbir şey bunları tercüme edemez.  POSIX Ağrı Noktaları  Bu örnekler konuyu ve sonuçlarını göstermektedir. Başlamak için yaklaşık 10GB boyutunda ve 112 satırdan oluşan   CSV dosyasını kullanacağız. bu  Not:   zaten kurulu olduğunu ve nesne deposundaki paketlerden birini dosya sisteminize taktığınızı varsayacağız. Değilse,   talimatları izleyin. s3fs-fuse buradaki  Bu örneklerde, paket adının test-bucket olduğunu ve dosya adının taksi-data.csv olduğunu, /home/user/ dizininde olduğunu ve   /home/user/test-bucket/ dizinine monte edildiğini varsayacağız. s3fs-fuse bucket  Kopyalama İşlemi  Önce basit bir şey deneyeceğiz ve CSV dosyasını mc komutlarını kullanarak test paketimize kopyalamayı deneyeceğiz ve geçen süreyi kaydedeceğiz   time mc cp /home/user/taxi-data.csv minio/test-bucket/taxi-data.csv  Bu çok fazla zaman almamalı ve dosya paketimize kopyalanmalıdır. Şimdi aynısını   ile yapmaya çalışalım s3fs-fuse   time cp /home/user/taxi-data.csv /home/user/test-bucket/taxi-data.csv  Test sırasında geçen süre   real 1m36.056s user 0m14.507s sys 0m31.891s  Benim durumumda dosyayı yalnızca kısmen kovaya kopyalayabildim ve işlem aşağıdaki hatayla başarısız oldu   cp: error writing '/home/user/test-bucket/taxi-data.csv': Input/output error cp: failed to close '/home/user/test-bucket/taxi-data.csv': Input/output error  Birçok denemeden sonra başarılı oldu   real 5m3.661s user 0m0.053s sys 2m35.234s  Gördüğünüz gibi, yardımcı programın yapması gereken API çağrılarının miktarı ve işlemlerin genel yükü nedeniyle, yardımcı program kararsız hale gelir ve çoğu işlem tamamlanamaz bile.  Pandalar Örneği  Size basit bir   örneği gösterdik, bu ikna edici olabilir veya olmayabilir, çünkü kabul edelim,   oldukça basit olduğunu düşünebilirsiniz. cp time cp  Daha fazla ampirik kanıta ihtiyaç duyanlar için bunu test etmek amacıyla bir Python pasajı yazalım. Hem   hem de   paketiyle basit bir Panda örneği yapacağız ve performans etkisini göreceğiz s3fs-fuse python s3fs   import timeit import os import fsspec import s3fs import pandas as pd # Write a dummy CSV file to test-bucket df = pd.DataFrame({"column1": ["new_value1"], "column2": ["new_value2"]}) df.to_csv("s3://test-bucket/data/test-data.csv", index=False) def process_s3(): # add fsspec for pandas to use `s3://` path style and access S3 buckets directly fsspec.config.conf = { "s3": { "key": os.getenv("AWS_ACCESS_KEY_ID", "minioadmin"), "secret": os.getenv("AWS_SECRET_ACCESS_KEY", "minioadmin"), "client_kwargs": { "endpoint_url": os.getenv("S3_ENDPOINT", "https://play.min.io") } } } s3 = s3fs.S3FileSystem() for i in range(100): # Read the existing data print(i) df = pd.read_csv('s3://test-bucket/data/test-data.csv') # Append a new row new_df = pd.concat([df, pd.DataFrame([{"column1": f"value{i}", "column2": f"value{i}"}])], ignore_index=True) # Write the data back to the file new_df.to_csv('s3://test-bucket/data/test-data.csv', index=False) execution_time = timeit.timeit(process_s3, number=1) print(f"Execution time: {execution_time:.2f} seconds")  Test sırasında geçen süre   Execution time: 8.54 seconds  Şimdi aynısını   için deneyelim s3fs-fuse   import timeit import pandas as pd # Write a dummy CSV file to test-bucket df = pd.DataFrame({"column1": ["new_value1"], "column2": ["new_value2"]}) df.to_csv("s3://test-bucket/data/test-data.csv", index=False) def process_s3fs(): for i in range(100): # Read the existing data print(i) df = pd.read_csv('/home/user/test-bucket/data/test-data.csv') # Append a new row new_df = pd.concat([df, pd.DataFrame([{"column1": f"value{i}", "column2": f"value{i}"}])], ignore_index=True) # Write the data back to the file new_df.to_csv('/home/user/test-bucket/data/test-data.csv', index=False) execution_time = timeit.timeit(process_s3fs, number=1) print(f"Execution time: {execution_time:.2f} seconds")  Test sırasında geçen süre   Execution time: 9.59 seconds  Bu örnekler S3 dosyalarındaki sürekli okuma ve yazma işlemlerini göstermektedir. Bunun birden fazla istemci tarafından aynı anda gerçekleştirildiğini düşünün; gecikme önemli ölçüde artıyor.  Tepegöz'ü kaldırın!  Gördüğünüz gibi, nesneleri dosya olarak işlemek için POSIX çevirisini kullanmak ile nesnelerle çalışmak için doğrudan API'yi kullanmak arasındaki fark gece ve gündüzdür. Güvenlik, performans, veri bütünlüğü ve uyumluluk söz konusu olduğunda hiçbir karşılaştırma olamaz. MinIO'nun neredeyse tüm popüler programlama dilleriyle entegre edilebilecek   vardır ve Kubernetes, yalın donanım Linux, Docker kapsayıcıları ve çok daha fazlası gibi neredeyse tüm platformlarda çalışabilir. SDK'ları  MinIO, veri bütünlüğünü korumak için erişimi düzenlemek ve   için PBAC ile birlikte beklemede ve aktarım sırasında şifrelemeyle   . MinIO'yu nerede çalıştırdığınıza bakılmaksızın mümkün olan en iyi performansı elde edeceksiniz çünkü MinIO, mümkün olan en yüksek performansı sağlamak için temel donanımdan yararlanır (bkz   ). MinIO'yu yalnızca 32 kullanıma hazır NVMe SSD düğümüyle GET'lerde 325 GiB/s (349 GB/s) ve PUT'larda 165 GiB/s (177 GB/s) olarak   . kodlamayı silmek nesneleri korur . MinIO Kurulumunuz için En İyi Donanımı Seçmek karşılaştırdık  MinIO'nun ve uygulamanızın ortasında bir dosya sistemi yardımcı programına gerek yoktur! Eski uygulamaların alabileceği herhangi bir avantaj, POSIX'in acısıyla telafi edilecektir.  Başvurunuz için POSIX çevirisini kullanmayla ilgili sorularınız varsa bizimle   üzerinden iletişime geçmeyi unutmayın! Slack    da yayınlandı. Burada

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Neden Nesne Deposunun Üstüne Dosya Sistemi Koymamalısınız?

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Kazanmak için Dokun: Telegram, Solana'dan Önce Sonraki 10 Milyar Kripto Kullanıcısına Katılabilir

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Kazanmak için Dokun: Telegram, Solana'dan Önce Sonraki 10 Milyar Kripto Kullanıcısına Katılabilir

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps