Uniswap V3'te Akıllı Likidite Tedariği için Ayrıntılı Bir Çerçeve

Uniswap V3'teki likidite provizyonu, maksimize etmek için iyi tanımlanmış bir fayda fonksiyonu ile stokastik bir optimal kontrol problemi sunar. Bu makale, aracı tabanlı modelleme ve takviyeli öğrenmenin bir kombinasyonunu kullanarak akıllı likidite provizyonuna yönelik yenilikçi bir çerçeve sunmaktadır. Çerçevemiz, likidite sağlama stratejilerini optimize etmek için sağlam ve uyarlanabilir bir çözüm sağlar. Uniswap V3 modeli gerçek dünya piyasa koşullarını taklit ederken aracı tabanlı model (ABM), Uniswap V3 havuzlarıyla aracı etkileşimlerini simüle etmek için bir ortam oluşturur. Derin deterministik politika değişimleri (DDPG) kullanılarak eğitilen takviyeli öğrenme aracısı, optimum stratejileri öğrenerek makine öğreniminin DeFi katılımını artırmadaki potansiyelini sergiliyor. Bu yaklaşım, likidite sağlayıcılarının kârlılığını ve CFMM piyasalarına ilişkin anlayışlarını geliştirmeyi amaçlamaktadır. İçeriğe Genel Bakış giriiş Akıllı likidite sağlama çerçevesi Akıllı Likidite Tedarik Çerçevesinin Bileşenleri Aracı tabanlı simülatör Takviyeli Öğrenme Modeli Sınırlamalar Gelecek iş Çözüm Kaynaklar Referanslar giriiş Piyasa yapıcılığıyla ilgili önceki makalemde geleneksel finansal piyasalarda piyasa yapıcılığı mekanizmalarını ve stratejilerini araştırdık. Bu bilgilerden yola çıkarak bu makale, Uniswap V3 bağlamında akıllı likidite tedariği için yenilikçi bir çerçeve sunmaktadır. Önceki araştırmamızda da belirtildiği gibi amacımız, merkezi olmayan finansta ( piyasa dinamikleri ve likidite yönetimi anlayışımızı, özellikle Akıllı Likidite Tedarik Çerçevesinin geliştirilmesi yoluyla genişletmekti. [Piyasa Yapıcılık Mekaniği ve Stratejileri], DeFi) Merkezi olmayan finans (DeFi), küresel bir kitlenin erişebileceği yenilikçi finansal ürünler ve hizmetler sunarak kayda değer bir büyüme kaydetti. Bu yeniliğin öncüsü olan Uniswap V3, konsantre likidite özelliğiyle likidite provizyonunda devrim yarattı. Ancak bu ilerleme, likidite sağlayıcıları için karmaşık karar verme zorluklarını da beraberinde getiriyor. Bu makale, likidite sağlama stratejilerini incelemek ve optimize etmek için simüle edilmiş bir ortam sunan, bu zorlukların üstesinden gelmek için tasarlanmış kapsamlı bir çerçeve sunmaktadır. Çerçevemiz üç temel bileşenden oluşur: Uniswap V3 modeli, aracı tabanlı model (ABM) ve takviyeli öğrenme aracısı. Uniswap V3 modeli, havuzun bir temsilini sağlayarak, belirteçler ve havuzlarla konuşlandırmayı ve etkileşimi mümkün kılar. ABM, temsilci etkileşimlerini ve pazar dinamiklerini simüle ederek, strateji değerlendirmesi için zengin bir ortam yaratarak karmaşıklığı ortaya çıkarır. Bu ortamda faaliyet gösteren takviyeli öğrenme aracısı, likidite sağlamada optimum performansı hedefleyen stratejileri öğrenmek ve uyarlamak için derin bir deterministik politika eğimi yaklaşımını benimser. Bu araştırma, Uniswap V3 ortamında likiditeyi özerk bir şekilde yönetmek ve optimize etmek için takviyeli öğrenmeyi (RL) kullanarak akıllı bir likidite provizyon (ILP) mekanizması geliştirmeyi amaçlamaktadır. Mekanizma, CFMM piyasasının karmaşık dinamiklerine uyum sağlarken kazanılan ücretleri, kalıcı zararı ve likidite sağlayıcılarının tercihlerine dayalı diğer ölçümleri dikkate alarak fayda fonksiyonunu en üst düzeye çıkarmayı amaçlamaktadır. Akıllı Likidite Tedarik Çerçevesi RL çerçevesinde likidite sağlama sorunu Markov Karar Süreci (MDP) olarak formüle edilmiştir. MDP; durumlar, eylemler ve ödüllerden oluşur. Eyaletler, varlık fiyatları, işlem hacimleri ve diğer ilgili değişkenler dahil olmak üzere mevcut piyasa koşullarını temsil eder. Eyaletler: Eylemler, likidite tahsislerinin ayarlanması, portföylerin yeniden dengelenmesi vb. gibi likidite sağlayıcısı tarafından alınan kararlara karşılık gelir. Eylemler: Ödüller, likidite sağlayıcısının amaç fonksiyonuna, tercihlerine ve kısıtlamalarına dayalı olarak sonuçların arzu edilirliğini ölçer. Ödüller arzu edilen sonuçlar için pozitif (örneğin yüksek getiri) ve istenmeyen sonuçlar için negatif (örneğin yüksek risk veya düşük performans) olabilir. Ödüller: Amaç fonksiyonu, likidite sağlayıcısının arzu ettiği sonucu temsil eder; bu, getirileri en üst düzeye çıkarmak, riskleri en aza indirmek veya ikisi arasında belirli bir dengeyi sağlamak gibi faktörlerin bir kombinasyonu olabilir. Kısıtlamalar, likidite tahsisleri, sermaye kullanımı, risk tolerans seviyeleri veya likidite sağlayıcısı tarafından tanımlanan diğer kısıtlamalara ilişkin sınırlamaları içerebilir. Amaç Fonksiyonu: RL eğitimi, aracının geri bildirime dayalı olarak politikasını sürekli olarak güncellediği yinelemeli bir süreçtir. Acente, deneyimlerinden ders alır ve zaman içinde karar verme sürecini geliştirir, giderek daha optimal likidite sağlama stratejilerine yaklaşır. RL temsilcisi eğitildikten sonra, likidite sağlayıcısının amaç fonksiyonu ve kısıtlamalarına göre performansını değerlendirmek için geçmiş veriler veya simüle edilmiş ortamlar kullanılarak test edilebilir ve değerlendirilebilir. Temsilcinin performansı, getiriler, risk ölçümleri veya diğer ilgili performans göstergeleri gibi ölçümler kullanılarak ölçülebilir. Likidite sağlama mekanizması, RL algoritmasını uygulayarak değişen piyasa koşullarını öğrenebilir ve bunlara uyum sağlayabilir, optimal likidite sağlama stratejilerini belirleyebilir ve likidite sağlayıcısı tarafından belirlenen kısıtlamaları ve tercihleri dengeleyebilir. RL, mekanizmanın, çeşitli ödünleşimleri ve kısıtlamaları özerk ve dinamik bir şekilde dikkate alarak likidite sağlayıcısının amaç fonksiyonunu en üst düzeye çıkaracak çözümler bulmasını sağlar. Akıllı Likidite Tedarik Çerçevesinin Bileşenleri Çerçeve üç ana bileşenden oluşur: UniswapV3 Modeli Python'da uygulanan Uniswap V3 modeli, Uniswap V3 protokolünün ayrıntılı ve işlevsel bir simülasyonunu sunarak, onun incelikli mekaniğini yakalar ve kullanıcılara protokolle etkileşime geçmek için kapsamlı bir araç seti sağlar. UniswapV3_Model sınıfı, belirteçlerin ve havuzların dağıtımını yönetir, havuzları başlatır ve havuz eylemleri ve havuz durumu alımı için bir arayüz sağlar. Genel Bakış Uniswap Modeli, Uniswap V3'ün temel mekanizmalarını kapsayan Akıllı Likidite Tedarik Çerçevesinin temelini oluşturur. Gerçekçi ve etkileşimli bir simülasyon oluşturmak için Uniswap'in V3-Core'undan brownie kullanılarak yerel bir Ganache ortamında konuşlandırılan derlenmiş akıllı sözleşmelerden yararlanır. Sözleşme Derleme ve Dağıtım Çerçeve, Uniswap V3 akıllı sözleşmelerini derlemek ve dağıtmak için akıllı sözleşmelere yönelik Python tabanlı bir geliştirme ve test çerçevesi olan Brownie ile entegre olur. Bu sözleşmeler daha sonra yerel bir Ganache ortamına dağıtılarak test ve geliştirme için bir sanal alan sağlanır. Bu kurulum, kullanıcıların Uniswap ortamıyla gerçek varlıklara veya ağ işlemlerine ihtiyaç duymadan etkileşimde bulunabilmesini sağlayarak güvenli ve kontrollü bir deneme alanı sağlar. Ajan Tabanlı Simülatör Uniswap V3 ortamını simüle etmek için kullanılır, aracı politikaları, Uniswap piyasa katılımcılarının dinamiklerini içerecek şekilde tanımlanır. Dinamik Uniswap ortamını simüle etmek için farklı türde aracılar kullanılır Tokenspice aracı tabanlı simülatör, giriiş Uniswap V3 ekosistemindeki bireysel aracıların eylemlerini ve etkileşimlerini simüle eder. ABM, farklı katılımcıların karmaşık davranışlarını modelleyerek, Uniswap V3 dinamik ortamının kapsamlı bir arayüzünü sağlayarak likidite sağlama stratejilerinin analizine ve optimizasyonuna olanak tanır. Tokenspice Aracı Tabanlı Model (ABM), Temsilci Türleri ve Davranışları ABM, her biri Uniswap V3 ekosisteminde belirli bir rolü temsil eden çeşitli aracı türlerini içerir. İki ana aracı, sırasıyla likidite sağlamak ve token takasları gerçekleştirmek için Uniswap havuzlarıyla etkileşime giren Likidite Sağlayıcı Temsilci ve Takas Aracısıdır. Bu temsilcilerin davranışları, dosyasında tanımlanan politikalar tarafından belirlenir ve eylemlerinin gerçek dünya stratejileri ve piyasa koşullarıyla uyumlu olması sağlanır. agents_policies.py Bu aracı Uniswap havuzlarına likidite ekler ve likiditeyi kaldırır. Piyasanın mevcut durumuna ve acentenin tercihlerine göre eylemlerini belirleyen bir dizi politika izler. Likidite Sağlayıcı Temsilcisi: Swapper Agent, fiyat farklılıkları ve arbitraj fırsatlarından yararlanarak Uniswap havuzları içinde token takasları gerçekleştirir. Davranışı, işlem ücretleri ve kaymalar dikkate alınarak, işlemlerin potansiyel kârlılığını değerlendiren politikalar tarafından yönlendirilir. Swapper Agent: Simülasyon Yapılandırması ve Yürütülmesi dosyası ABM'nin merkezinde yer alır ve aracıların birbirleriyle ve Uniswap havuzlarıyla nasıl etkileşime gireceğini yapılandırır. Aracılar, politikalar ve simülasyon ortamı arasındaki ilişkileri tanımlar. netlist.py , ve modülleri simülasyonları çalıştırmak için temel unsurları sağlar. SimEngine simülasyonu yönetir, zaman akışını ve aracı eylemlerin yürütülmesini yönetir. SimStateBase, simülasyonun mevcut durumunu korur; aracı tutma durumları, havuz durumları ve diğer ilgili değişkenler hakkındaki verileri depolar. SimStrategyBase, simülasyon boyunca temsilci davranışını yönlendiren kapsayıcı stratejileri tanımlar. SimEngine.py SimStateBase.py SimStrategyBase.py Takviyeli Öğrenme Modeli giriiş Takviye Öğrenim (RL) Aracısı, aracı tabanlı bir model olan Uniswap Modeli aracılığıyla Uniswap V3 ekosistemiyle etkileşimde bulunmak üzere tasarlanmış Akıllı Likidite Tedarik Çerçevesinin önemli bir bileşenidir. Bu bölümde RL Aracısı, ortamı ve eğitim için kullanılan DDPG (Derin Deterministik Politika Gradyanı) algoritması ayrıntılı olarak ele alınmaktadır. RL Aracı Ortamı RL Agent, DeFi pazarını simüle etmek için Uniswap modeli ve aracı tabanlı modelle arayüz oluşturan adlı özel bir ortamda çalışır. Bu ortam, temsilcinin Uniswap havuzlarıyla etkileşimini kolaylaştırarak likidite ekleyip çıkarmasına ve eylemlerinin sonuçlarını gözlemlemesine olanak tanır. RL Aracısı, Uniswap V3'te gerçek dünya likidite provizyonunu simüle etmek için Uniswap modeli ve ABM ile etkileşime girer. Gerçekçi etkileşimler sağlayan, ABM'de tanımlanan politikalar ve simülasyon konfigürasyonu ile likidite eklenmesi veya çıkarılmasıyla sonuçlanan eylemleri seçer. DiscreteSimpleEnv Ortamın durum alanı, mevcut fiyat, likidite ve ücret artışı gibi çeşitli piyasa göstergelerini içerir. Bu parametreler normalleştirilir ve her zaman adımında aracıya sunulur. Durum Alanı: Temsilcinin eylem alanı, bir Uniswap havuzuna likidite eklemek için fiyat sınırlarını temsil eden sürekli değerlerden oluşur. Bu eylemler Uniswap havuzlarıyla etkileşime dönüştürülerek ortamın durumunu etkiler. Eylem Alanı: Ödül fonksiyonu RL Temsilcisinin eğitimi için çok önemlidir. Ücret gelirini, kalıcı kaybı, portföy değerini ve potansiyel cezaları hesaba katarak acentenin öğrenme sürecine rehberlik edecek skaler bir ödül sinyali sağlar. Ödül Fonksiyonu: DDPG Temsilcisi DDPG Aracısı, derin işlev yaklaşımlayıcılarını kullanan, modelden bağımsız, politika dışı, aktör-eleştirmen bir algoritmadır. Yüksek boyutlu durum uzaylarını ve sürekli eylem alanlarını işleyebilir, bu da onu Uniswap V3 ortamımız için çok uygun hale getirir. Bu ağ, bir durum için en iyi inanılan eylemi sağlamaktan sorumludur. Daha sonra, likidite eklemek için fiyat sınırlarını temsil eden, daha sonra ajan env'de istenen aralığa ölçeklendirilen, ve için göreceli değerler çıkaran bir sigmoid çıktı katmanına sahiptir. Aktör Ağı: fiyat_düşük fiyat_üst Bu ağ, belirli bir durumda bir eylem gerçekleştirmenin beklenen getirisini tahmin ederek eylem değeri fonksiyonunu değerlendirir. Eleştirmen Ağı: DDPG, hem aktör hem de eleştirmen için eğitimi istikrara kavuşturmak üzere yavaşça güncellenen hedef ağları kullanır. Hedef Ağlar: Bu teknik, geçmiş deneyimlerin bir tekrar arabelleğini depolamak için kullanılır, böylece aracının çeşitli örneklerden öğrenmesine, gözlemlerdeki korelasyonları bozmasına ve öğrenmeyi kolaylaştırmasına olanak tanır. Deneyim Tekrarı: Uniswap Modeli ve ABM ile Etkileşim RL Agent, Uniswap V3'te gerçek dünya likidite provizyonunu simüle etmek için Uniswap modelinden ve aracı tabanlı modelden yararlanır. aracılığıyla Uniswap havuzlarıyla etkileşime girerek likidite ekleme veya kaldırmayla sonuçlanan eylemler gerçekleştirir. Aracının politikaları ve simülasyon konfigürasyonu ABM bileşeninde tanımlanarak gerçekçi ve tutarlı bir dinamik ortam sağlanır. DiscreteSimpleEnv Temsilci, her biri farklı bir piyasa senaryosunu (farklı havuz) temsil eden bir dizi bölüm üzerinden eğitilir. Acentenin performansı, likidite sağlamayla ilgili riskleri en aza indirirken getirileri en üst düzeye çıkarma becerisine göre değerlendirilir. Akıllı Likidite Tedarik Çerçevesinin etkinliği, takviyeli öğrenme (RL) aracısının performansının değerlendirilmesi yoluyla değerlendirilir. Temsilciyi Eğitin ve Değerlendirin: RL aracısını değerlendirmek için, temel ortamını genişleten özel bir değerlendirme ortamı kurduk . Bu ortam, aracı politikalarının değerlendirilmesi için özel olarak tasarlanmıştır. Ortam Kurulumu: DiscreteSimpleEnvEval DiscreteSimpleEnv Değerlendirme kurulumumuzda, RL aracısının performansını temel aracının performansıyla karşılaştırırız. Temel acentenin eylemleri, likidite havuzunun mevcut durumuna dayanan bir temel politika tarafından belirlenir. Bu aracı, RL aracısının performansını değerlendirmek için bir referans noktası sağlamayı amaçlamaktadır. Temel Aracı: Sonuçlar Eğitim Değerlendirme Sınırlamalar Şu anda çerçeve, havuzların gerçek zamanlı senkronizasyonunu tam olarak yakalayamamaktadır ve bu da gerçek Uniswap V3 dinamiklerinin modellenmesinde tutarsızlıklara yol açabilir. Gelecekteki çalışmalar, daha iyi havuz senkronizasyonu için mekanizmaların dahil edilmesine, gerçekçiliği artırmak için potansiyel olarak işaret/konum verilerinin veya olayların kullanılmasına odaklanmalıdır. Havuz Senkronizasyonu: Mevcut çerçevede uygulanan acente politikaları nispeten basit ve naiftir. Daha doğru simülasyonlar elde etmek için gelecekteki yinelemelerde daha kapsamlı aracı politikaları tanımlamayı amaçlamalıdır. Bu politikalar gürültü tüccarları, bilgili tüccarlar, perakende likidite sağlayıcıları ve kurumsal likidite sağlayıcıları gibi çeşitli Uniswap aracılarını modelleyebilir. Alternatif olarak, geçmiş havuz verileriyle eğitilen istatistiksel modeller, daha gerçekçi davranışlar için aracı politikalarına bilgi sağlayabilir. Naif Acente Politikaları: Temsilcilere sağlanan gözlem alanı, havuzun durumu hakkında kapsamlı bilgiden yoksundur. Karar verme yeteneklerini geliştirmek için gelecekteki iyileştirmeler, aracılara havuzun durumuna ilişkin daha kapsamlı bir anlayış sunan mühendislik özelliklerinin yanı sıra onay ve konum verilerini de içermelidir. Seyrek Gözlem Alanı: Acentelerin eylem alanı şu anda sabit likidite miktarları ve sınırlı fiyat aralığı sınırlarıyla sınırlıdır. Likidite tedariğinde daha fazla esnekliğe izin verecek şekilde eylem alanının genişletilmesi ve adım başına birden fazla pozisyonun dikkate alınması simülasyonların doğruluğunu artırabilir. Sınırlı Eylem Alanı: Gelecek iş Aracı Ortamı: Uniswap V3 ortamında daha gerçekçi dinamikler oluşturmak için muhtemelen işaretleme/konum verileri veya olayları kullanarak havuzları senkronize etmek için mekanizmalar uygulayın. Senkronize Havuzlar: Aktör/Eleştirmen Ağ Mimarisi, alfa, beta, tau, parti boyutu, adımlar, bölümler, ölçeklendirme parametreleri (ödüller, eylemler, gözlem alanı) Hiperparametre Ayarlaması: Çeşitli Uniswap aracılarını doğru bir şekilde modelleyen veya aracı davranışını bilgilendirmek için geçmiş havuz verileri üzerinde eğitilmiş istatistiksel modelleri kullanan daha karmaşık analitik politikaları tanımlayın. Kapsamlı Aracı Politikaları: Onay ve konum verilerini dahil ederek gözlem alanını geliştirin ve aracılara havuzun durumuna ilişkin kapsamlı bir görünüm sağlayan özellikler tasarlayın. Bilgilendirici Gözlem Alanı: Daha geniş bir faktör yelpazesini hesaba katan ve daha etkili temsilci eğitimine yol açan gelişmiş bir ödül işlevi geliştirin. Geliştirilmiş Ödül İşlevi: Her zaman adımında sabit bütçeli bir pozisyon yerine, temsilciye simülasyonun başlangıcında bir bütçe tahsis edildiği ve daha sonra bu bütçeyi sonraki adımlarda en iyi şekilde kullanmayı öğrendiği daha kapsamlı bir mekanizma uygulayın. Çoklu Pozisyonlar: RL aracısının performansını değerlendirmek için daha kapsamlı temel politikalar tanımlayın Temel Politikalar: Aracı Algoritması Daha iyi eğitim performansı için takviyeli öğrenme aracısının hiperparametrelerini daha da iyileştirin ve optimize edin. Hiperparametre Ayarlama: Belirli senaryolarda avantaj sağlayıp sağlamadıklarını belirlemek için Yakın İlke Optimizasyonu (PPO) veya Soft Actor-Critic (SAC) gibi alternatif RL aracı modellerini keşfedin. Diğer RL Aracılarıyla Denemeler: Çoklu likidite sağlayıcıları ve takasçıları arasındaki etkileşimlerin modellenmesinde faydalı olabilecek çoklu aracılı takviyeli öğrenme tekniklerinin uygulanmasını araştırın. Çoklu Temsilci RL (MARL): Temsilcilerin değişen piyasa koşullarına gerçek zamanlı olarak uyum sağlamasına olanak tanıyan çevrimiçi öğrenme stratejilerini uygulayarak daha dinamik ve uyarlanabilir bir likidite provizyon çözümü sağlayın. Çevrimiçi Öğrenme: Çözüm Merkezi olmayan finansın (DeFi) hızla gelişen ortamında, likidite tedariği, verimli ve güvenli ticaretin sağlanmasında önemli bir rol oynuyor. Uniswap V3, yenilikçi konsantre likidite özelliğiyle DeFi likidite yönetiminde mümkün olanın sınırlarını zorladı. Ancak bu dinamik ekosistemde likidite sağlama stratejilerinin optimize edilmesinin karmaşıklığı, yenilikçi çözümler gerektiriyor. Akıllı Likidite Tedarik Çerçevemiz, bu zorlukların üstesinden gelmede ileriye doğru atılmış önemli bir adımı temsil ediyor. Aracı tabanlı modelleme ile takviyeli öğrenmeyi birleştirerek likidite sağlayıcıları ve piyasa katılımcıları için güçlü bir araç seti oluşturduk. Bu çerçeve, kazanılan ücretleri, kalıcı zarar azaltmayı ve bireysel tercihlere göre uyarlanmış diğer ölçümleri kapsayan fayda işlevlerini en üst düzeye çıkarmaya odaklanarak likidite sağlama stratejilerini optimize etmek için sağlam ve uyarlanabilir bir çözüm sunar. Kaynaklar Github: https://github.com/idrees535/Intelligent-Liquidity-Provisioning-Framework-V1 Referanslar https://kth.diva-portal.org/smash/get/diva2:1695877/FULLTEXT01.pdf https://arxiv.org/pdf/2305.15821.pdf https://github.com/KodAgge/Reinforcement-Learning-for-Market-Making/tree/main https://arxiv.org/ftp/arxiv/papers/2211/2211.01346.pdf https://arxiv.org/pdf/2004.06985.pdf https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9682687 https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0277042 https://deliverypdf.ssrn.com/delivery.php?ID=1041190981020260141200720840141070070420680690030490201260880250871211151030070840280420130550350090 00054122074096068089064070102052026003014069082076098016080066026088066039027093020006122067093104092065070020126069068106118 079127088008098077106031120&EXT=pdf&INDEX=DOĞRU https://medium.com/blockapex/market-making-mechanics-and-strategies-4daf2122121c https://www.gauntlet.xyz/resources/uniswap-user-cohort-analiz https://gov.uniswap.org/t/uniswap-incentive-design-analiz/21662 https://arxiv.org/pdf/2108.07806.pdf https://www.researchgate.net/publication/341848292_Market_makers_activity_behavioural_and_agent_ Based_approach https://fruct.org/publications/volume-29/fruct29/files/Struc.pdf https://www.arxiv-vanity.com/papers/1911.03380/ https://insights.glassnode.com/the-week-onchain-week-31-2023/ da yayınlandı. Burada