Birkaç hafta önce Google'ın Gemma Geliştirici Günü'ne katıldım. Google'ın Gemma adlı en yeni LLM modellerinin yeteneklerini, taşınabilirliğini ve açıklığını tanıttığı bir gün.  Bu modeller, Üretken Yapay Zeka için heyecan verici yeni bir aşamayı sunuyor. Yerel cihazlara kurulabilecek kadar küçük modeller, yine de ilgi çekici ve yararlı bir deneyim sağlayabilir.  Mobile AI'a bakıp ilham alarak günü terk edeli   . Bu modelleri bir Android Uygulamasında denediğimde ne olacağını görmeye karar verdim. uzun zaman oldu  Uygulama  Gemma'ya kolay ama yeni bir meydan okuma sunmak istedim. Simon Says oyununu oynuyorum.  Kurallar basit. Bir oyuncu Simon olacak. Rolleri diğer oyunculara gerçekleştirmeleri gereken görevleri vermektir. Simon rolünü oynayan oyuncu, görevi vermeden önce "Simon diyor" demelidir.  Üç ekranlı bir uygulama oluşturdum. Gemma'nın iletişim kurabileceği ve görev verebileceği bir giriş ekranı, bir talimat ekranı ve bir sohbet ekranı.   Sohbet ekranının oluşturulmasını hızlandırmak için   bu blog gönderisini son derece yararlı buldum. Meyta Taliti'nin  Oluşturulan ekranlarla bir sonraki görevim Gemma'yı entegre etmekti. Bunun için MediaPipe adında öğrendiğim bir dizi araca güvendim.  Medya Borusu    , AI modellerini Android, iOS ve web'deki uygulamalara entegre etmeyi basitleştirmeyi amaçlayan bir araç koleksiyonudur. MediaPipe ile ihtiyaçlarınıza bağlı olarak birçok seçeneğiniz var.  MediaPipe  Hızlı bir şekilde başlamak istiyorsanız MediaPipe, yapay zeka modellerine başvurabilmeniz için   adlı bir API sağlar. Bu API'ler Görme, Metin ve Ses gibi farklı alanlara ayrılmıştır. Görevler  MediaPipe ayrıca uygulamalarınıza yerleştirilebilecek önceden eğitilmiş modellerden oluşan bir koleksiyon da sağlar. Yine hızlı başlamak için faydalıdır.  Daha özel bir şeye ihtiyacınız varsa ve sıfırdan bir model oluşturmak istemiyorsanız MediaPipe,   adlı bir araç sağlar. Model Maker, mevcut bir makine öğrenimi modelini yeniden eğitmek ve ona yeni veriler sağlamak için   adı verilen bir süreci kullanır. Bu yaklaşımın faydası zamandan tasarruf sağlaması ve yeni bir model oluşturmak için daha az eğitim verisi gerektirmesidir. Model Maker Transfer Öğrenimi  Model Maker da bu işlem sayesinde oluşturulan modelin boyutunu küçültebilir. Bu sürecin modelin mevcut bilgilerinin bir kısmını “unutmasına” neden olduğunu unutmayın.  MediaPipe'ın son aracı, özel modellerinizi değerlendirmek ve ayarlamak için kullanılan bir web uygulaması olan   . Modellerinizi kıyaslamak ve dağıtımdan önce ne kadar iyi çalıştıklarını anlamak istiyorsanız kullanışlıdır. MediaPipe Studio'dur  İhtiyaçlarımız için MediaPipe için yeni bir API olan LLM Interfence API'sinden yararlanacağız. Bu, Gemma ile iletişim kurmamıza ve yanıt almamıza olanak tanır.   MediaPipe'ı Çalıştırma  MediaPipe'ı kullanmak için önce onu uygulamaya derece bağımlılığı olarak eklemeniz gerekir:   implementation ("com.google.mediapipe:tasks-genai:0.10.11")  Daha sonra   örneğini yaratırsınız. Gemma ile iletişim kurmak için kullandığınız nesne budur: LlmInference   val llmInference = LlmInference.createFromOptions( context, LlmInference.LlmInferenceOptions.builder() .setModelPath("/data/local/tmp/llm/gemma-2b-it-cpu-int8.bin") .build() )    kullanılarak ayarlanan yolu not etmek önemlidir. Burası Gemma modelinin cihazda bulunduğu yerdir. Kullanılan Gemma modelinin   versiyonları olması da önemlidir.   sürümleri henüz MediaPipe tarafından desteklenmiyor; bunun ne anlama geldiğine daha sonra değineceğiz. Şimdilik modeli indirelim. .setModelPath gemma-2b 7b  Gemma'yı   indirebilirsiniz. Veri Bilimcileri ve Makine Öğrenimine adanmış bir web sitesi. Modelleri indirebilmeniz için önce bir hesap oluşturmanız ve Kullanım Şartları ve Koşullarını kabul etmeniz gerekir. Gemma sayfasına   ulaşabilirsiniz. Kaggle'dan buradan  Bu gönderiyi takip ediyorsanız   sekmesi altında modelin yalnızca   sürümlerini indirmeyi unutmayın.   versiyonlarını denerseniz kendi başınızasınız. TensorFlow Lite gemma-2b-it-cpu gemma-2b-it-gpu  Model indirildikten sonra. Modeli   ayarlanan yola aktarmak için Android Studio'daki   kullanın. Yolu veya model adını değiştirdiyseniz yol adını güncellediğinizden emin olun. .setModelPath Device Explorer'ı  Model içe aktarıldıktan sonra   yöntemini kullanarak istemleri Gemma'ya aktarmaya başlayabilirsiniz. Simon Says'ı oynaması için Gemma'ya ilettiğim istemin bir örneği: .generateResponse   private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ val gemmaResponse = llmInference.generateResponse(SimonSaysPrompt)  Daha önce Yüksek Lisans kullandıysanız ve İstem Mühendisliği konusunda temel bir anlayışa sahipseniz, bu size tanıdık gelecektir. Tedbirli davranmak için bilgi istemine ihtiyati talimatlar ekledim. Simon'un kullanıcıdan şüpheli bir şey yapmasını istemesini istemiyoruz!  Bunu bir cihazda çalıştırmayı denerseniz birkaç şey olabilir:  Uygulamanın yanıt vermesi ve sonunda yanıt vermesi kısa bir süre alabilir.  Uygulama çökebilir. Logcat'e baktığınızda MediaPipe'ın modeli bulamadığı mesajlarını göreceksiniz. Doğru model yolunu ayarladınız mı?  Uygulama çökebilir. Logcat'e bakarsanız, birçok yerel kod günlüğü ve belleğin geri dönüştürülmesiyle ilgili bilgileri görebilirsiniz.  Deneyimim ikinci ve üçüncü kategoriye girdi. Her şeyi doğru şekilde kurduysanız ve yüksek özelliklere sahip bir fiziksel cihaz kullanıyorsanız, kendi deneyimleriniz farklılık gösterebilir.  Eğer bu şeylerin eterine sahip değilseniz. Emulator aracılığıyla kullanılabilen RAM miktarını artıran başka bir seçenek daha var.  Artırılmış RAM ile Android Emülatörü Oluşturma  Mevcut RAM miktarının arttırılması genellikle belleğin yoğun olduğu ortamlarda yardımcı olur, peki belleğe ihtiyaç duyan bir LLM neden farklı olsun ki? Bunu yapmak için Android öykünücümün kullandığı RAM miktarını özelleştirdim.  Mevcut bir emülatörünüz varsa RAM alanının devre dışı olduğunu fark edebilirsiniz. Cihaz Yöneticisinde sağındaki üç noktaya tıklayarak mevcut RAM miktarını hala güncelleyebilirsiniz.    tıklayın ve ardından   ve   dosyalarını bir metin düzenleyicide açın. Her dosyadaki   değerlerini değiştirin. Bana bunun nasıl yapılacağına dair cevap verdiğiniz için bu   sorusuna teşekkür ederim.  Diskte Göster'e config.ini hardware-qemu.ini hw.ramSize Yığın Taşması  Alternatif olarak, Android Studio'da   gidip   ve ardından   tıklayarak özel bir öykünücü oluşturabilirsiniz. Özelleştirme seçeneklerinin bir parçası olarak RAM miktarını seçebilirsiniz.  Aygıt Yöneticisi'ne Sanal Aygıt Oluştur'a Yeni Donanım Profili'ne  Nispeten iyi çalışacak 8 GB RAM buldum. Ben de şansımı 22GB RAM ile denedim. Beklediğim kadar olmasa da hız açısından biraz daha iyi performans gösteriyor.  Öykünücünün geri kalanı akıcı bir şekilde çalıştığından Gemma belleğe yüklendiğinde bir yerde bir darboğaz olduğundan şüpheleniyorum. Belki bir yerde yapılabilecek bir iyileştirme.  Gemma 2b ve Gemma 7b  MediaPipe ile uyumlu Gemma modelleri   versiyonlarıdır.   2 milyar parametre anlamına gelir. Modelin çalışmasını sağlamak için birlikte çalışan parametrelerin miktarı. gemma-2b 2b  Bunlar, Gemma'ya bir soru sorduğunuzda birbirleri arasındaki bağlantıları ve çıkarımları sağlamak için eğitim sırasında model içerisinde belirlenen değerlerdir.  Ayrıca 7 milyar parametre kullanan bir   koleksiyonu da bulunmaktadır. Ancak bunlar MediaPipe tarafından desteklenmemektedir. Belki bir gün! gemma-7b  Yüksek Lisans söz konusu olduğunda parametreler hakkında daha fazla bilgi edinmek istiyorsanız bu   tavsiye ederim. sayfayı  2 milyar parametreli bir modelin mobil cihaza yüklenip çalıştırılması etkileyici bir başarıdır. Peki ne kadar iyi çalışıyor? Hadi bulalım.  gemma-2b-it-cpu-int4    4 bitlik bir LLM'dir. Bu, model tarafından kullanılan her parametrenin 4 bitlik bir bellek boyutuna sahip olduğu anlamına gelir. Buradaki fayda, modelin toplam boyutunun daha küçük olmasıdır, ancak her parametre için bellek boyutunun azaltılması, modelin doğruluğunun ve kalitesinin de etkileneceği anlamına gelir. gemma-2b-it-cpu-int4  Peki   nasıl performans gösteriyor? Dürüst olmak gerekirse o kadar da iyi değil. Yukarıdaki istemi kullanarak ve ona genel sorular sorarak Simon Says'ı oynama girişimlerimin birkaç ekran görüntüsünü burada bulabilirsiniz.  gemma-2b-it-cpu-int4  Yanıtlar beklenmedikti ve modelin Simon Says oyununa benzer bir şey yapmasını sağlamak sinir bozucuydu. Farklı bir konuya sapılacak ve yanlış bilgi halüsinasyonuna yol açacaktı.    , yüksek lisans öğrencilerinin yalanları ve gerçek olmayan şeyleri sanki gerçekmiş gibi konuştuğu bir phoenema'dır. Yukarıdaki örneği ele alalım, Mars'a 60 dakikada 60 mil hızla gidebileceğiniz doğru değil. Henüz değil. 😃 Halüsinasyonlar  Ayrıca bağlam farkındalığı eksikliği de vardı. Bu, daha önce bir konuşmada bahsettiğim bir şeyi hatırlayamadığı anlamına geliyor. Bunun nedeni muhtemelen modelin sınırlı boyutundan kaynaklanmaktadır.  Bir süre sonra bu modelden vazgeçip daha büyük olan 8 bitlik modeli denemeye karar verdim.  gemma-2b-it-cpu-int8    8 bitlik bir LLM'dir. Boyutu 4 bitlik kardeşine göre daha büyüktür. Yani daha doğru olabilir ve daha kaliteli yanıtlar sağlayabilir. Peki burada sonuç ne oldu?  gemma-2b-it-cpu-int8  Bu model, Simon Says'ın fikrini hemen kavrayarak Simon rolünü üstlendi. Ne yazık ki o da bağlam farkındalığı eksikliğinden muzdaripti.  Buna karşı koymak için, modeli her seferinde Simon Says kurallarıyla yeniden yönlendirmem ve onu bir görev sağlamasını isteyen başka bir komut istemiyle birleştirmem gerekiyordu.  Görev istemleri, Gemma'ya aktarılmak üzere bir listeden rastgele seçilir ve bu, sorulan görevlerde bir miktar çeşitlilik sağlar.  Aşağıda olup bitenlere bir örnek verilmiştir:   private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ private const val MovePrompt = SimonSaysPrompt + """ Give the player a task related to moving to a different position. """ private const val SingASongPrompt = SimonSaysPrompt + """ Ask the player to sing a song of their choice. """ private const val TakePhotoPrompt = SimonSaysPrompt + """ Give the player a task to take a photo of an object. """ private val prompts = listOf( MovePrompt, SingASongPrompt, TakePhotoPrompt ) val prompt = prompts.random() val response = llmInference.generateResponse(prompt)  Ara sıra karakter dışı görünen eğri bir top tepkisi veriyor. Bunu modelin boyutuna indiriyorum. Bunun yalnızca v1 olduğunu da dikkate almakta fayda var.  Bilgi istemleri kesin olarak belirlendikten sonra, yalnızca istemlere güvenmenin ve kullanıcı girdisini dikkate almamanın yararlı olduğunu gördüm. Model bağlam farkındalığından yoksun olduğundan, kullanıcı girişi Simon Says'ı oynamayı bırakıp bunun yerine girdiye yanıt vermesine neden oluyor.  Bu kadar hileyi eklemek tatmin edici bir sonuç değildi ama Gemma'nın Simon Says'ı oynamaya devam etmesi gerekiyordu.  İzlenimler ve Düşünceler  Peki Gemma Simon Says'ı bir Android cihazda oynayabilir mi? “Bir nevi yardımla” diyeceğim.  Gemma 2b'nin 4 bit versiyonunun daha sezgisel yanıt verdiğini görmek isterim. Gemma 2b bağlamını her istekte yeniden yönlendirme ihtiyacını ortadan kaldırmak için bilinçli hale getirmek ve kullanıcı girişine dikkat etmek de yardımcı olacaktır.  Yalnızca tek bir istem gerektiren basit istekler için. Gemma 2b'nin bu görevleri rahatça yerine getirebildiğini görebiliyorum.  Bunların modellerin v1'i olduğunu da akılda tutmakta fayda var. Mobil bir işletim sistemi üzerinde çalışıp çalışmaları etkileyici bir başarıdır!  Cihaz Üzerinde Yüksek Lisans'ın Geleceği  Mobil cihazlarda Yüksek Lisans'ın geleceği ne olacak? Gördüğüm iki engel var. Donanım sınırlamaları ve pratik kullanım durumları.  Sanırım bu modelleri yalnızca üst düzey cihazların etkin bir şekilde çalıştırabileceği bir noktadayız. Akla gelen cihazlar Tensor G yongalarına sahip Pixel 7 veya Pixel 8 serisi telefonlar ve Neural Engine yongasına sahip Apple iPhone'dur.  Bu tür özelliklerin orta sınıf telefonlara kadar filtrelendiğini görmemiz gerekiyor.    faydalanan cihaz yüksek lisans eğitimlerinden ilginç fikirler gelebilir. Yüksek Lisans'ların yanıtlar sağlarken ek bağlam elde etmek için harici veri kaynaklarıyla iletişim kurmasına yönelik bir teknik. Bu, performansı artırmanın etkili bir yolu olabilir. Retrieval Augmented Generation'dan  İkinci engel ise pratik kullanım senaryoları bulmaktır. Cihazların internet üzerinden daha güçlü LLM'lerle iletişim kurabilmesine rağmen bunların sınırlı olduğunu düşünüyorum. Örneğin OpenAI'den GPT-4'ün bir trilyondan fazla parametreyi desteklediği söyleniyor!  Bu modellerin mobil cihazlara dağıtılmasının maliyetinin, onları bulutta barındırmaktan daha ucuz hale geleceği bir zaman gelebilir. Maliyet düşürme bugünlerde çok popüler olduğundan, bunun geçerli bir kullanım durumu olduğunu görebiliyorum.  Ayrıca, hiçbir bilginin cihazınızın sınırlarını aşmadığı, kendi kişisel LLM'nize sahip olmanın gizlilik avantajları da vardır. Gizliliğe duyarlı uygulama kullanıcılarına hitap edecek faydalı bir avantaj.  Bahse girerim, LLM'lerin cihazda düzenli olarak konuşlandırılmasına hala birkaç yıl uzaktayız.  Yararlı Kaynaklar  Gemma'yı mobil bir cihazda kendiniz denemek istiyorsanız işte size yardımcı olacak bazı kaynaklar:    :   , karşılaştırmalar, hızlı başlangıç kılavuzları ve Google'ın sorumlu Üretken Yapay Zeka geliştirme yaklaşımına ilişkin bilgiler de dahil olmak üzere çok sayıda bilgi içerir. Gemma Resmi Gemma web sitesi    : MediaPipe'ın, kendisi hakkında daha fazla bilgi edinebileceğiniz ve nasıl kullanılacağını öğrenebileceğiniz kendi   vardır. Kesinlikle okunması tavsiye edilir. MediaPipe Google Geliştirici bölümü    : Google Geliştirici Grubu   Üretken Yapay Zeka'ya özel kanalları vardır. Benzer düşüncelere sahip insanlarla sohbet etmek için #gemma, #gemini ve #ml kanallarına göz atın. Google Geliştirici Grubu Discord'u Discord'unun    Bu blog gönderisinin   kopyalayıp çalıştırın ve onu çalışırken görün. Ayrıca MediaPipe'tan Görüntü Sınıflandırma Görevinin kullanımını da içerir. Kurulum talimatları README'de bulunmaktadır. Simons Uygulamayı Söyledi: örnek kodunu  Dipnotlar   Bir GÇ iş parçacığından LLM çıkarımının çağrılmasından bahsetmek için 23/03/24 güncellendi  Bu yazıyı yazdıktan sonra gemma'ya seslenmenin bir dosya üzerinde okuma/yazma işlemi olduğu aklıma geldi.   yöntemini bir GÇ iş parçacığına taşımak, gemma belleğe yüklendiğinde meydana gelen büyük sarsıntıyı önleyecektir: .generateResponse()   suspend fun sendMessage(): String { return withContext(Dispatchers.IO) { val prompt = prompts.random() llmInference.generateResponse(prompt) } }  Ayrıca   görünür. burada

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Simon Says'ı Gemma-2b ve MediaPipe ile oynamak

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps