Bir fincan Starbucks ve iki saatlik zamanınız karşılığında, kendi eğitimli açık kaynaklı büyük ölçekli modelinize sahip olabilirsiniz. Model, tıp, programlama , hisse senedi alım satımı ve aşk tavsiyesi gibi çeşitli becerileri geliştirmek için farklı eğitim verileri yönlerine göre ince ayar yapılabilir ve böylece büyük ölçekli modelinizin sizi daha "anlayışlı" hale gelmesi sağlanır. Açık kaynaklı DolphinScheduler tarafından desteklenen, açık kaynaklı, büyük ölçekli bir modeli eğitmeyi deneyelim!

Giriş

ChatGPT'nin demokratikleşmesi

ChatGPT'nin doğuşu şüphesiz bizi yapay zekanın geleceğine dair beklentiyle doldurdu. Gelişmiş ifadesi ve güçlü dil anlama yeteneği dünyayı hayrete düşürdü. Ancak ChatGPT, Hizmet Olarak Yazılım (SaaS) olarak sunulduğundan, kişisel gizlilik sızıntıları ve kurumsal veri güvenliği sorunları her kullanıcı ve şirket için endişe vericidir. Giderek daha fazla açık kaynaklı büyük ölçekli modeller ortaya çıkıyor ve bu da bireylerin ve şirketlerin kendi modellerine sahip olmalarını mümkün kılıyor. Ancak açık kaynaklı büyük ölçekli modellere başlama, bunları optimize etme ve kullanmanın giriş engelleri yüksektir ve bu da herkesin bunları kolayca kullanmasını zorlaştırır. Bu sorunu çözmek için açık kaynaklı büyük ölçekli modellerin eğitimi, ayarlanması ve dağıtımı için tek tıklamayla destek sağlayan Apache DolphinScheduler'ı kullanıyoruz. Bu, herkesin verilerini kullanarak kendi büyük ölçekli modellerini çok düşük maliyetle ve teknik uzmanlıkla eğitmesine olanak tanır.

Kimin için? — Ekranın önündeki herkes

Amacımız yalnızca profesyonel yapay zeka mühendislerinin değil, GPT'ye ilgi duyan herkesin kendilerini daha iyi "anlayan" bir modele sahip olmanın mutluluğunu yaşamasıdır. Herkesin kendi yapay zeka asistanını şekillendirme hakkına ve yeteneğine sahip olduğuna inanıyoruz. Apache DolphinScheduler'ın sezgisel iş akışı bunu mümkün kılar. Bonus olarak Apache DolphinScheduler, GitHub'da 10.000'den fazla yıldıza sahip bir büyük veri ve yapay zeka planlama aracıdır. Apache Yazılım Vakfı kapsamında üst düzey bir projedir; bu, onu ücretsiz olarak kullanabileceğiniz ve herhangi bir ticari sorun hakkında endişelenmeden kodu değiştirebileceğiniz anlamına gelir.

İster kendi verilerinizle bir model eğitmek isteyen bir sektör uzmanı olun, ister derin öğrenme modellerinin eğitimini anlamak ve keşfetmek isteyen bir yapay zeka meraklısı olun, iş akışımız sizin için uygun hizmetler sağlayacaktır. Karmaşık ön işleme, model eğitimi ve optimizasyon adımlarını çözer ve daha "anlaşılır" bir ChatGPT büyük ölçekli modeli oluşturmak için yalnızca 1-2 saatlik basit işlemlere ek olarak 20 saatlik çalışma süresi gerektirir.

Öyleyse bu büyülü yolculuğa başlayalım! Yapay zekanın geleceğini herkese taşıyalım.

Sizi daha iyi "anlayan" bir ChatGPT oluşturmak için yalnızca üç adım

1. 3090 seviyesine eşdeğer düşük maliyetle GPU kartı kiralayın
2. DolphinScheduler'ı başlat
3. DolphinScheduler sayfasındaki eğitim iş akışına ve dağıtım iş akışına tıklayın ve ChatGPT'nizi doğrudan deneyimleyin

3090 Grafik Kartıyla Bir Ana Bilgisayarı Hazırlama

Öncelikle 3090 ekran kartına ihtiyacınız var. Masaüstü bilgisayarınız varsa doğrudan kullanabilirsiniz. Değilse, çevrimiçi olarak GPU'lu kiralık birçok ana bilgisayar vardır. Burada örnek olarak AutoDL'yi kullanıyoruz. https://www.autodl.com/home adresini açın, kaydolun ve oturum açın. Bundan sonra, ekranda gösterilen 1, 2 ve 3. adımlara göre bilgi işlem gücü pazarındaki ilgili sunucuyu seçebilirsiniz.

Burada yüksek maliyet-performans oranı sunan RTX 3090 ekran kartının tercih edilmesi öneriliyor. Test sonrasında RTX 3090'ı bir veya iki kişinin çevrimiçi görevler için kullanabileceği tespit edildi. Daha hızlı eğitim ve yanıt hızları istiyorsanız daha güçlü bir grafik kartını tercih edebilirsiniz. Eğitim bir kez yaklaşık 20 saat sürerken test yaklaşık 2-3 saat gerektirir. 40 yuan'lık bir bütçeyle bunu kolayca halledebilirsiniz.

Ayna

Topluluk aynasına tıklayın ve ardından aşağıdaki kırmızı kutuya WhaleOps/dolphinscheduler-llm/dolphinscheduler-llm-0521 girin. Görüntüyü aşağıda gösterildiği gibi seçebilirsiniz. Şu anda yalnızca V1 sürümü mevcuttur. Gelecekte yeni sürümler yayınlandıkça en son sürümü seçebilirsiniz.

Modeli birden fazla kez eğitmeniz gerekiyorsa sabit disk kapasitesini 100 GB civarına çıkarmanız önerilir.

Oluşturduktan sonra aşağıdaki resimde gösterilen ilerleme çubuğunun tamamlanmasını bekleyin.

DolphinScheduler'ı başlat

Kendi açık kaynaklı büyük ölçekli modelinizi arayüzde dağıtmak ve hata ayıklamak için DolphinScheduler yazılımını başlatmanız gerekir ve aşağıdaki yapılandırma çalışmasını yapmamız gerekir:

Sunucuya erişmek için

İki yöntem mevcuttur. Tercihinize uygun olanı seçebilirsiniz:

1. JupyterLab aracılığıyla giriş yapın (kodlayıcı olmayanlar için):

Aşağıda gösterilen JupyterLab düğmesine tıklayın.

Sayfa JupyterLab'a yönlendirilecektir; oradan giriş yapmak için “Terminal”e tıklayabilirsiniz.

2. Terminal aracılığıyla giriş yapın (kodlayıcılar için):

Aşağıdaki görseldeki butondan SSH bağlantı komutunu alabiliriz.

Daha sonra terminal üzerinden bağlantıyı kurun.

DolphinScheduler'ın meta verilerini içe aktarın

DolphinScheduler'da, iş akışı tanımları, ortam yapılandırmaları, kiracı bilgileri vb. dahil olmak üzere tüm meta veriler veritabanında depolanır. DolphinScheduler başlatıldığında kullanıcıların bu iş akışlarını görmesini kolaylaştırmak için önceden tanımlanmış iş akışı meta verilerini kopyalayarak doğrudan içe aktarabiliriz. ekrandan.

Verileri MySQL'e aktarmak için komut dosyasını değiştirin:

Terminali kullanarak aşağıdaki dizine gidin:

cd apache-dolphinscheduler-3.1.5-bin

import_ds_metadata.sh dosyasını açmak için vim import_ds_metadata.sh komutunu çalıştırın. Dosyanın içeriği aşağıdaki gibidir:

Set variables

Hostname

HOST="xxx.xxx.xxx.x"

UsernameUSERNAME="root"PasswordPASSWORD="xxxx"PortPORT=3306Database to import intoDATABASE="ds315_llm_test"SQL filenameSQL_FILE="ds315_llm.sql"mysql -h $HOST -P $PORT -u $USERNAME -p$PASSWORD -e "CREATE DATABASE $DATABASE;"mysql -h $HOST -P $PORT -u $USERNAME -p$PASSWORD $DATABASE < $SQL_FILE

Xxxx.xxx.xxx.x ve xxxx'i genel ağınızdaki MySQL veritabanının ilgili yapılandırma değerleriyle değiştirin (Alibaba Cloud, Tencent Cloud'da bir tane için başvurabilir veya kendiniz yükleyebilirsiniz). Ardından şunu yürütün:

bash import_ds_metadata.sh

Yürütmeden sonra, eğer ilgileniyorsanız, veritabanındaki ilgili meta verileri kontrol edebilirsiniz (MySQL'e bağlanın ve görüntüleyin, koda aşina değilseniz bu adımı atlayın).

DolphinScheduler'ı başlat

Sunucu komut satırında aşağıdaki dosyayı açın ve DolphinScheduler'ı önceden içe aktarılan veritabanına bağlamak için yapılandırmayı değiştirin:

/root/apache-dolphinscheduler-3.1.5-bin/bin/env/dolphinscheduler_env.sh

Veritabanı bölümünde ilgili konfigürasyonu değiştirin ve diğer bölümleri değiştirmeden bırakın. 'HOST' ve 'PASSWORD' değerlerini içe aktarılan veritabanının yapılandırma değerleriyle değiştirin, yani xxx.xxx.xxx.x ve xxxx:

export DATABASE=mysqlexport SPRING_PROFILES_ACTIVE=${DATABASE}export SPRING_DATASOURCE_URL="jdbc:mysql://HOST:3306/ds315_llm_test?useUnicode=true&characterEncoding=UTF-8&useSSL=false"export SPRING_DATASOURCE_USERNAME="root"export SPRING_DATASOURCE_PASSWORD="xxxxxx"......

Yapılandırdıktan sonra çalıştırın (ayrıca bu dizinde /root/Apache-dolphinscheduler-3.1.5-bin):

bash ./bin/dolphinscheduler-daemon.sh start standalone-server

Çalıştırıldıktan sonra tail -200f standalone-server/logs/dolphinscheduler-standalone.log kullanarak günlükleri kontrol edebiliriz. Bu noktada DolphinScheduler resmi olarak başlatıldı!

Hizmeti başlattıktan sonra, bir URL'ye yönlendirilmek için AutoDL konsolunda (kırmızıyla vurgulanmış) “Özel Hizmetler” e tıklayabiliriz:

URL'yi açtığınızda 404 hatası gösteriyorsa endişelenmeyin. URL'ye /dolphinscheduler/ui sonekini eklemeniz yeterli:

AutoDL modülü 6006 numaralı bağlantı noktasını açar. DolphinScheduler'ın bağlantı noktasını 6006 olarak yapılandırdıktan sonra, sağlanan giriş noktası aracılığıyla ona erişebilirsiniz. Ancak URL yönlendirmesi nedeniyle 404 hatasıyla karşılaşabilirsiniz. Bu gibi durumlarda URL'yi manuel olarak doldurmanız gerekir.

Giriş kimlik:

Kullanıcı adı: admin

Şifre: dolphinscheduler123

Giriş yaptıktan sonra “Proje Yönetimi” butonuna tıklayarak önceden tanımlanmış “vicuna” isimli projeyi görebilirsiniz. Projeye girmek için “vicuna”ya tıklayın.

Açık Kaynak Büyük Model Eğitimi ve Dağıtımı

İş Akışı Tanımı

Vicuna projesine girdiğinizde üç iş akışı göreceksiniz: Eğitim, Dağıtım ve Kill_Service. Gelin bunların kullanımlarını, büyük modellerin nasıl yapılandırılacağını ve verilerinizin nasıl eğitileceğini inceleyelim.

İlgili iş akışlarını yürütmek için aşağıdaki çalıştır düğmesine tıklayabilirsiniz.

Eğitim

Eğitim iş akışına tıkladığınızda iki tanım göreceksiniz. Bunlardan biri, Lora aracılığıyla modele ince ayar yapmak içindir (esas olarak alpaca-lora, https://github.com/tloen/alpaca-lora kullanarak), diğeri ise eğitilen modeli temel modelle birleştirerek nihai modeli elde etmektir. .

İş akışı aşağıdaki parametrelere sahiptir (çalıştır'a tıkladıktan sonra açılır):

• base_model: İhtiyaçlarınıza göre seçilip indirilebilen temel model. Açık kaynaklı büyük modeller yalnızca öğrenme ve deneyim amaçlıdır. Geçerli varsayılan TheBloke/vicuna-7B-1.1-HF'dir.
• data_path: Kişiselleştirilmiş eğitim verilerinizin ve alana özgü verilerinizin yolu, varsayılan olarak /root/demo-data/llama_data.json şeklindedir.
• lora_path: Eğitilmiş Lora ağırlıklarını kaydetme yolu, /root/autodl-tmp/vicuna-7b-lora-weight.
• Output_path: Temel model ve Lora ağırlıkları birleştirildikten sonra son modelin kaydetme yolu, dağıtım için gerekli olacağından bunu not edin.
• num_epochs: Eğitim parametresi, eğitim dönemi sayısı. Test için 1'e, genellikle 3~10'a ayarlanabilir.
• Cutoff_len: Maksimum metin uzunluğu, varsayılan olarak 1024'tür.
• micro_batch_size: Toplu iş boyutu.

Dağıtmak

Büyük modellerin dağıtımına yönelik iş akışı (temel olarak FastChat, https://github.com/lm-sys/FastChat kullanılarak). Dağıtılan modeli sonlandırmak için önce kill_service'i çağıracak, ardından sırayla denetleyiciyi başlatacak, modeli ekleyecek ve ardından Gradio web hizmetini açacak.

Başlangıç parametreleri aşağıdaki gibidir:

• model: Model yolu, bir Huggingface model kimliği veya bizim tarafımızdan eğitilen model yolu, yani yukarıdaki eğitim iş akışının çıktı_yolu olabilir. Varsayılan TheBloke/vicuna-7B-1.1-HF'dir. Varsayılan kullanılırsa doğrudan vicuna-7b modelini dağıtacaktır.

Kill_service

Bu iş akışı, dağıtılan modeli sonlandırmak ve GPU belleğini serbest bırakmak için kullanılır. Bu iş akışının hiçbir parametresi yoktur ve onu doğrudan çalıştırabilirsiniz. Dağıtılan hizmeti durdurmanız gerekirse (örneğin, modeli yeniden eğitmeniz gerektiğinde veya GPU belleği yetersiz olduğunda), dağıtılan hizmeti sonlandırmak için doğrudan kill_service iş akışını yürütebilirsiniz.

Birkaç örnek üzerinden geçtikten sonra dağıtımınız tamamlanacaktır. Şimdi pratik işlemlere bir göz atalım:

Büyük Model Çalışma Örneği

1. Büyük Bir Modelin Eğitimi

Eğitim iş akışını yürüterek ve varsayılan parametreleri seçerek iş akışını doğrudan başlatın.

Günlükleri aşağıda gösterildiği gibi görüntülemek için ilgili göreve sağ tıklayın:

Görev durumunu ve günlüklerini kenar çubuğunun sol alt kısmındaki görev örneği panelinde de görüntüleyebilirsiniz. Eğitim süreci sırasında mevcut eğitim adımları, kayıp ölçümleri, kalan süre vb. dahil olmak üzere günlükleri kontrol ederek ilerlemeyi izleyebilirsiniz. Geçerli adımı gösteren bir ilerleme çubuğu vardır; burada adım = (veri boyutu * dönem) / toplu boyut.

Eğitim tamamlandıktan sonra günlükler aşağıdaki gibi görünecektir:

Kişiselleştirilmiş Eğitim Verilerinizi Güncelleme

Varsayılan verilerimiz /root/demo-data/llama_data.json konumundadır. Mevcut veri kaynağı, Çin tıbbi verileri kullanılarak hassas şekilde ayarlanmış bir tıbbi model olan Huatuo'dur. Evet örneğimiz aile hekimi yetiştirmek:

Belirli bir alanda verileriniz varsa kendi verilerinizi işaret edebilirsiniz, veri formatı aşağıdaki gibidir:

Satır başına bir JSON ve alanın anlamı şudur:

• talimat ****: Modele verilecek talimat.
• giriş: Giriş.
• çıktı: Beklenen model çıktısı.

Örneğin:

{"instruction": "calculation", "input": "1+1 equals?", "output": "2"}

Talimat ve giriş alanlarını tek bir talimat alanında birleştirebileceğinizi lütfen unutmayın. Giriş alanı boş da bırakılabilir.

Eğitim sırasında, kendi verilerinizi yürütmek için data_path parametresini değiştirin.

Not:

İlk eğitim uygulaması sırasında temel model, TheBloke/vicuna-7B-1.1-HF gibi belirtilen konumdan getirilecektir. Bir indirme işlemi olacaktır, bu nedenle lütfen indirme işleminin tamamlanmasını bekleyin. Bu modelin seçimi kullanıcı tarafından belirlenir ve ayrıca diğer açık kaynaklı büyük modelleri de indirmeyi seçebilirsiniz (lütfen bunları kullanırken ilgili lisanslara uyun).

Ağ sorunları nedeniyle temel model indirme işlemi, ilk eğitim uygulamasının yarısında başarısız olabilir. Bu gibi durumlarda başarısız olan göreve tıklayabilir ve eğitime devam etmek için onu yeniden çalıştırmayı seçebilirsiniz. İşlem aşağıda gösterilmiştir:

Eğitimi durdurmak için, eğitim için kullanılan GPU belleğini serbest bırakacak olan durdur düğmesine tıklayabilirsiniz.

Dağıtım İş Akışı

İş akışı tanımı sayfasında, çalıştırmak ve modeli dağıtmak için dağıtma iş akışına tıklayın.

Kendi modelinizi eğitmediyseniz aşağıdaki resimde gösterildiği gibi vicuna-7b modelini dağıtmak için dağıtım iş akışını TheBloke/vicuna-7B-1.1-HF varsayılan parametreleriyle yürütebilirsiniz:

Önceki adımda bir model eğittiyseniz artık modelinizi dağıtabilirsiniz. Dağıtımdan sonra kendi büyük modelinizi deneyimleyebilirsiniz. Önceki adımdaki modelin output_path doldurmanız gereken başlangıç parametreleri aşağıdaki gibidir:

Sonra konuşlandırılan iş akışı örneğine girelim. İş akışı örneğine tıklayın ve ardından "dağıt" önekiyle iş akışı örneğine tıklayın.

Görev günlüklerini görüntülemek ve büyük model bağlantımızın konumunu bulmak için sağ tıklayın ve “refresh_gradio_web_service” seçeneğini seçin.

İşlem aşağıda gösterilmiştir:

Günlüklerde herkese açık olarak erişilebilen bir bağlantı bulacaksınız, örneğin:

İşte iki bağlantı. 0.0.0.0:7860 bağlantısına erişilemiyor çünkü AutoDL yalnızca zaten dolphinscheduler için kullanılan 6006 numaralı bağlantı noktasını açıyor. Aşağıdaki [https://81c9f6ce11eb3c37a4.gradio.live.](https://81c9f6ce11eb3c37a4.gradio.live.) gibi bağlantıya doğrudan erişebilirsiniz.

Lütfen bu bağlantının her dağıtım yaptığınızda değişebileceğini, dolayısıyla onu günlüklerden tekrar bulmanız gerektiğini unutmayın.

Bağlantıya girdiğinizde kendi ChatGPT'nizin konuşma sayfasını göreceksiniz!

Evet! Artık kendi ChatGPT'niz var ve verileri yalnızca size hizmet ediyor!

Ve yalnızca bir fincan kahvenin maliyetinden daha azını harcadınız~~

Devam edin ve kendi özel ChatGPT'nizi deneyimleyin!

Özet

Bu veri odaklı ve teknoloji odaklı dünyada, özel bir ChatGPT modeline sahip olmak ölçülemez bir değere sahiptir. Yapay zeka ve derin öğrenmenin gelişmesiyle birlikte kişiselleştirilmiş yapay zeka asistanlarının şekillendirilebildiği bir çağdayız. Kendi ChatGPT modelinizi eğitmek ve dağıtmak, yapay zekayı ve onun dünyamızı nasıl dönüştürdüğünü daha iyi anlamamıza yardımcı olabilir.

Özetle, bir ChatGPT modelini kendi başınıza eğitmek ve dağıtmak, veri güvenliğini ve gizliliğini korumanıza, belirli iş gereksinimlerini karşılamanıza, teknoloji maliyetlerinden tasarruf etmenize ve DolphinScheduler gibi iş akışı araçlarını kullanarak eğitim sürecini otomatikleştirmenize yardımcı olabilir. Ayrıca yerel yasa ve düzenlemelere uymanıza da olanak tanır. Bu nedenle, bir ChatGPT modelini kendi başınıza eğitmek ve dağıtmak, dikkate alınması gereken değerli bir seçenektir.

Önemli notlar:

• Veri Güvenliği ve Gizlilik: ChatGPT'yi genel API hizmetleri aracılığıyla kullanırken veri güvenliği ve gizliliği konusunda endişeleriniz olabilir. Verileriniz ağ üzerinden iletilebileceği için bu geçerli bir endişedir. Modeli kendi başınıza eğitip konuşlandırarak, verilerinizin yalnızca kendi cihazınızda veya kiraladığınız sunucuda saklanmasını ve işlenmesini sağlayarak veri güvenliğini ve gizliliğini sağlayabilirsiniz.
• Etki Alanına Özel Bilgi: Belirli iş gereksinimleri olan kuruluşlar veya bireyler için, kendi ChatGPT modelinizi eğitmek, modelin işinizle ilgili en yeni ve en alakalı bilgiye sahip olmasını sağlar. İş alanınız ne olursa olsun, iş ihtiyaçlarınıza göre özel olarak eğitilmiş bir model, genel bir modelden daha değerli olacaktır.
• Yatırım Maliyeti: OpenAI'nin ChatGPT modelini kullanmak belirli maliyetlere neden olabilir. Benzer şekilde, modeli kendi başınıza eğitmek ve dağıtmak istiyorsanız kaynaklara yatırım yapmanız ve teknoloji maliyetlerine de katlanmanız gerekir. Örneğin büyük modellerde 40 yuan gibi düşük bir ücret karşılığında hata ayıklama deneyimi yaşayabilirsiniz ancak uzun vadeli çalıştırmayı planlıyorsanız Nvidia RTX 3090 grafik kartı satın almanız veya bulut sunucuları kiralamanız önerilir. Bu nedenle artıları ve eksileri tartmanız ve özel koşullarınıza en uygun çözümü seçmeniz gerekir.
• DolphinScheduler: Apache DolphinScheduler'ın iş akışını kullanarak tüm eğitim sürecini otomatikleştirerek teknik engelleri büyük ölçüde azaltabilirsiniz. Algoritmalar konusunda kapsamlı bilginiz olmasa bile bu tür araçların yardımıyla kendi modelinizi başarılı bir şekilde eğitebilirsiniz. DolphinScheduler, büyük model eğitimini desteklemenin yanı sıra, büyük veri planlamayı ve makine öğrenimi planlamayı da destekleyerek sizin ve teknik olmayan personelinizin büyük veri işleme, veri hazırlama, model eğitimi ve model dağıtımını kolayca yönetmesine yardımcı olur. Üstelik açık kaynaklı ve kullanımı ücretsiz.
• Açık Kaynaklı Büyük Modellere İlişkin Yasal ve Düzenleyici Kısıtlamalar: DolphinScheduler yalnızca görsel bir yapay zeka iş akışı aracıdır ve herhangi bir açık kaynaklı büyük model sağlamaz. Açık kaynaklı büyük modelleri kullanırken ve indirirken, her modelle ilişkili farklı kullanım kısıtlamalarının farkında olmanız ve ilgili açık kaynak lisanslarına uymanız gerekir. Bu makalede verilen örnekler yalnızca kişisel öğrenme ve deneyim amaçlıdır. Büyük modelleri kullanırken açık kaynak model lisanslamasına uygunluğun sağlanması önemlidir. Ek olarak, farklı ülkelerin veri depolama ve işleme konusunda farklı katı düzenlemeleri vardır. Büyük modeller kullanırken, modeli bulunduğunuz yere özgü yasal düzenlemelere ve politikalara uyacak şekilde özelleştirmeniz ve ayarlamanız gerekir. Bu, yerel gizlilik ve hassas bilgi işleme düzenlemelerine uymak için model çıktılarının özel olarak filtrelenmesini içerebilir.

Burada da yayınlandı.