Deep Lake, Derin Öğrenme için Bir Göl Evi: Sonuçlar, Teşekkür ve Referanslar

Bağlantı Tablosu

• Özet ve Giriş
• Güncel Zorluklar
• Tensör Depolama Formatı
• Derin Göl Sistemine Genel Bakış
• Makine Öğrenimi Kullanım Durumları
• Performans Karşılaştırmaları
• Tartışma ve Sınırlamalar
• Alakalı iş
• Sonuç, Teşekkür ve Referanslar

9. SONUÇ

Derin öğrenmenin göl evi Deep Lake'i tanıttık. Deep Lake, derin öğrenme iş akışlarının Modern Veri Yığını üzerinde yürütülen analitik iş akışları kadar sorunsuz bir şekilde çalışmasına yardımcı olmak için tasarlanmıştır. Özellikle Deep Lake, zaman yolculuğu, sorgulama ve uygun ölçekte hızlı veri alımı gibi veri göllerinin öne çıkan özelliklerini koruyacak şekilde inşa edilmiştir. Geleneksel veri göllerinden önemli bir fark, Deep Lake'in yapısal olmayan verileri tüm meta verileriyle birlikte derin öğrenme-yerel sütunlu formatta depolama yeteneğidir; bu, hızlı veri akışına olanak tanır. Bu, veri alt kümelerinin anında gerçekleştirilmesine, tarayıcıda görselleştirilmesine veya GPU kullanımından ödün vermeden derin öğrenme çerçevelerine aktarılmasına olanak tanır. Son olarak, Deep Lake'in birden fazla kıyaslama yoluyla büyük veri kümeleri üzerinde derin öğrenme için en son teknolojiye sahip performansa ulaştığını gösteriyoruz.

10. TEŞEKKÜR

Yazarlar Richard Socher, Travis Oliphant, Charu Rudrakshi, Artem Harutyunyan, Iason Ofeidis, Diego Kiedanski, Vishnu Nair, Fayaz Rahman, Dyllan McCreary, Benjamin Hindman, Eduard Grigoryan, Kristina Grigoryan, Ben Chislett, Joubin Houshyar, Andrii Liubimov'a teşekkür eder. , Assaf Pinhasi, Vishnu Nair, Eshan Arora, Shashank Agarwal, Pawel Janowski, Kristina Arezina, Gevorg Karapetyan, Vigen Sahakyan ve katkıda bulunanların da dahil olduğu açık kaynak topluluğu. Proje Activeloop tarafından finanse edildi. Geri bildirimleri için CIDR incelemecilerine de teşekkür ederiz.

REFERANSLAR

[1] 2006. Amazon S3. GitHub 2022, 1 (2006). https://aws.amazon. com/s3

[2] 2009. Clickhouse. GitHub 2022, 1 (2009). https://github.com/ ClickHouse/ClickHouse

[3] 2010. Google Bulut Depolama. GitHub 2022, 1 (2010). https://cloud.google.com/storage

[4] 2012. Google BigQuery. GitHub 2022, 1 (2012). https://bulut. google.com/bigquery

[5] 2014. Protokol Arabellekleri – Google'ın veri değişim biçimi. GitHub 2022, 1 (2014). https://github.com/protocolbuffers/ protobuf

[6] 2015. Apache Yazılım Vakfı: Apache ORC. GitHub 2022, 1 (2015). https://github.com/apache/orc

[7] 2016. Tüy. GitHub 2022, 1 (2016). https://github.com/ wesm/feather

[8] 2016. Weaviate: Makine öğreniminin ilk vektör arama motoru. GitHub 2022, 1 (2016). https://github.com/semi-technologies/weaviate

[9] 2017. Apache Hava Akışı. GitHub 2022, 1 (2017). http://hava akışı. incubator.apache.org

[10] 2017. Apache Yazılım Vakfı: Apache Hudi. GitHub 2022, 1 (2017). https://hudi.apache.org

[11] 2017. CloudVolume: Neuroglancer Veri Kümeleri için IO. GitHub 2022, 1 (2017). https://github.com/seung-lab/cloud-volume

[12] 2018. Amazon Athena. GitHub 2022, 1 (2018). https://aws. amazon.com/athena

[13] 2018. Apache Yazılım Vakfı: Apache Arrow. GitHub 2022, 1 (2018). https://arrow.Apache.org

[14] 2018. Apache Yazılım Vakfı: Apache Hadoop. GitHub 2022, 1 (2018). https://hadoop.apache.org

[15] 2018. Apache Yazılım Vakfı: Apache Buzdağı. GitHub 2022, 1 (2018). https://iceberg.apache.org

[16] 2018. Bayram: makine öğrenimi için açık kaynak özellik deposu. GitHub 2022, 1 (2018). https://github.com/feast-dev/feast

[17] 2018. Amazon S3 API ile uyumlu MinIO yüksek performanslı nesne depolama sunucusu. GitHub 2022, 1 (2018). https: //github.com/minio/minio

[18] 2018. Petastorm. GitHub 2022, 1 (2018). https://github.com/ uber/petastorm [19] 2018. Web Veri Kümesi Formatı. GitHub 2022, 1 (2018). https: //github.com/webdataset/webdataset

[20] 2019. Apache Yazılım Vakfı: Apache Avro. GitHub 2019, 1 (2019). https://avro.apache.org

[21] 2019. LakeFS: Git benzeri depoya sahip veri gölü. GitHub 2022, 1 (2019). https://github.com/treeverse/lakeFS

[22] 2020. Airbyte. GitHub 2022, 1 (2020). https://github.com/ airbytehq/airbyte

[23] 2020. TensorStore: Büyük, çok boyutlu dizileri okumak ve yazmak için kütüphane. GitHub 2022, 1 (2020). https://github. com/google/tensorstore

[24] 2021. N5: büyük parçalı n boyutlu tensörleri ve rastgele meta verileri HDF5'e benzer bir grup hiyerarşisinde depolamak için gereken ilkel işlemleri belirtir. GitHub 2021, 1 (2021). https://github.com/saalfeldlab/n5

[25] Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Geoffrey Irving, Michael Isard ve diğerleri. 2016. Tensorflow: Büyük ölçekli makine öğrenimine yönelik bir sistem. 12. {USENIX} İşletim Sistemleri Tasarımı ve Uygulaması Sempozyumunda ({OSDI} 16). 265–283.

[26] Alex Aizman, Gavin Maltby ve Thomas Breuel. 2019. Büyük ölçekli derin öğrenme için yüksek performanslı G/Ç. 2019'da IEEE Uluslararası Büyük Veri Konferansı (Büyük Veri). IEEE, 5965–5967.

[27] Michael Armbrust, Tathagata Das, Liwen Sun, Burak Yavuz, Shixiong Zhu, Mukul Murthy, Joseph Torres, Herman van Hovell, Adrian Ionescu, Alicja Łuszczak, ve diğerleri. 2020. Delta lake: bulut nesne depoları üzerinden yüksek performanslı ACID tablo depolaması. VLDB Bağış Tutanakları 13, 12 (2020), 3411–3424. [28] Michael Armbrust, Ali Ghodsi, Reynold Xin ve Matei Zaharia. 2021. Lakehouse: Veri ambarı ile gelişmiş analitiği birleştiren yeni nesil açık platformlar. CIDR Bildirilerinde.

[29] Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu ve Michael Auli. 2022. Data2vec: Konuşma, görme ve dilde kendi kendini denetleyen öğrenmeye yönelik genel bir çerçeve. arXiv ön baskısı arXiv:2202.03555 (2022).

[30] Dzmitry Bahdanau, Kyunghyun Cho ve Yoshua Bengio. 2014. Hizalamayı ve çevirmeyi ortaklaşa öğrenerek sinirsel makine çevirisi. arXiv ön baskısı arXiv:1409.0473 (2014).

[31] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne ve Qiao Zhang. 2018. JAX: Python+NumPy programlarının şekillendirilebilir dönüşümleri. http://github.com/google/jax

[32] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell ve diğerleri. 2020. Dil modelleri az sayıda öğrenicidir. Nöral bilgi işleme sistemlerindeki gelişmeler 33 (2020), 1877–1901.

[33] Benoit Dageville, Thierry Cruanes, Marcin Zukowski, Vadim Antonov, Artin Avanes, Jon Bock, Jonathan Claybaugh, Daniel Engovatov, Martin Hentschel, Jiansheng Huang, ve diğerleri. 2016. Kar tanesi elastik veri ambarı. 2016 Uluslararası Veri Yönetimi Konferansı Bildirilerinde. 215–226.

[34] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li ve Li Fei-Fei. 2009. Imagenet: Büyük ölçekli hiyerarşik bir görüntü veritabanı. 2009'da bilgisayarlı görme ve örüntü tanıma üzerine IEEE konferansı. Yani, 248–255.

[35] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li ve L. Fei-Fei. 2009. ImageNet: Büyük Ölçekli Hiyerarşik Görüntü Veritabanı. CVPR09'da.

[36] Jacob Devlin, Ming-Wei Chang, Kenton Lee ve Kristina Toutanova. 2018. Bert: Dilin anlaşılması için derin çift yönlü transformatörlerin ön eğitimi. arXiv ön baskısı arXiv:1810.04805 (2018).

[37] Markus Dreseler, Jan Kossmann, Martin Boissier, Stefan Klauck, Matthias Uflacker ve Hasso Plattner. 2019. Hyrise Yeniden Tasarlandı: İlişkisel Bellek İçi Veri Yönetimi Araştırmalarına Yönelik Genişletilebilir Bir Veritabanı Sistemi. Veritabanı Teknolojisindeki Gelişmeler - 22. Uluslararası Veritabanı Teknolojisini Genişletme Konferansı, EDBT 2019, Lizbon, Portekiz, 26-29 Mart 2019, Melanie Herschel, Helena Galhardas, Berthold Reinwald, Irini Fundulaki, Carsten Binnig ve Zoi Kaoudi (Eds.) . OpenProceedings.org, 313–324. https://doi.org/10.5441/002/edbt. 2019.28

[38] Ian Goodfellow, Yoshua Bengio ve Aaron Courville. 2016. Derin öğrenme. MİT basını.

[39] Andrew İlyas Sam Park Hadi Salman Guillaume Leclerc, Logan Engstrom. 2021. Web Veri Kümesi Formatı. GitHub 2022, 1 (2021). https://github.com/libffcv/ffcv

[40] Anurag Gupta, Deepak Agarwal, Derek Tan, Jakub Kulesza, Rahul Pathak, Stefano Stefani ve Vidhya Srinivasan. 2015. Amazon'un kırmızıya kayması ve daha basit veri ambarlarının durumu. Veri yönetimine ilişkin 2015 ACM SIGMOD uluslararası konferansının Bildirilerinde. 1917–1923.

[41] Dong He, Supun Nakandala, Dalitso Banda, Rathijit Sen, Karla Saur, Kwanghyun Park, Carlo Curino, Jesús CamachoRodríguez, Konstantinos Karanasos ve Matteo Interlandi. 2022. Tensör Hesaplama Çalışma Zamanlarında Sorgu İşleme. arXiv ön baskısı arXiv:2203.01877 (2022).

[42] Yu Huang ve Yue Chen. 2020. Derin öğrenmeyle en son otonom sürüş teknolojilerinin araştırılması. 2020'de IEEE 20. Uluslararası Yazılım Kalitesi, Güvenilirlik ve Güvenlik Rehberi (QRS-C) Konferansı. IEEE, 221–228.

[43] Tero Karras, Samuli Laine ve Timo Aila. 2019. Üretken çekişmeli ağlar için stil tabanlı bir oluşturucu mimarisi. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE/CVF konferansının Bildirileri'nde. 4401–4410.

[44] Alex Krizhevsky, Ilya Sutskever ve Geoffrey E Hinton. 2012. Derin evrişimli sinir ağlarıyla Imagenet sınıflandırması. Sinirsel bilgi işleme sistemlerindeki gelişmeler. 1097–1105. Deep Lake: Derin Öğrenme için Bir Göl Evi

[45] Abhishek Vijaya Kumar ve Muthian Sivathanu. 2020. Quiver: Derin öğrenme için bilinçli bir depolama önbelleği. 18. USENIX Dosya ve Depolama Teknolojileri Konferansı'nda (FAST 20). 283–296.

[46] Ruslan Kuprieiev, skshetry, Dmitry Petrov, Paweł Redzyński, Peter Rowlands, Casper da Costa-Luis, Alexander Schepanovski, Ivan Shcheklein, Batuhan Taskaya, Gao, Jorge Orpinel, David de la Iglesia Castro, Fábio Santos, Aman Sharma, Dave Berenbaum, Zhanibek, Dani Hodovic, Nikita Kodenko, Andrew Grigorev, Earl, daniele, Nabanita Dash, George Vyshnya, maykulkarni, Max Hora, Vera, Sanidhya Mangal ve Wojciech Baranowski. 2022. DVC: Veri Sürümü Kontrolü - Veri ve Modeller için Git. https://doi.org/10.5281/zenodo.7039863

[47] Yann LeCun, Yoshua Bengio ve Geoffrey Hinton. 2015. Derin öğrenme. doğa 521, 7553 (2015), 436.

[48] Kisuk Lee, Jonathan Zung, Peter Li, Viren Jain ve H Sebastian Seung. 2017. SNEMI3D konnektom mücadelesinde insanüstü doğruluk. arXiv ön baskısı arXiv:1706.00120 (2017).

[49] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár ve C Lawrence Zitnick. 2014. Microsoft coco: Bağlamdaki ortak nesneler. Avrupa bilgisayarlı görme konferansında. Springer, 740–755.

[50] Frank Sifei Luan, Stephanie Wang, Samyukta Yagati, Sean Kim, Kenneth Lien, SangBin Cho, Eric Liang ve Ion Stoica. 2022. Exoshuffle: Uygulama Düzeyinde Büyük Ölçekli Karıştırma. arXiv ön baskısı arXiv:2203.05072 (2022).

[51] Tomas Mikolov, Kai Chen, Greg Corrado ve Jeffrey Dean. 2013. Vektör uzayında kelime temsillerinin verimli tahmini. arXiv ön baskısı arXiv:1301.3781 (2013).

[52] Alistair Miles, John Kirkham, Martin Durant, James Bourbeau, Tarık Onalan, Joe Hamman, Zain Patel, shikharsg, Matthew Rocklin, raphael dussin, Vincent Schut, Elliott Sales de Andrade, Ryan Abernathey, Charles Noyes, sbalmer, pyup. io bot, Tommy Tran, Stephan Saalfeld, Justin Swaney, Josh Moore, Joe Jevnik, Jerome Kelleher, Jan Funke, George Sakkis, Chris Barnes ve Anderson Banihirwe. 2020.zarr-developers/zarrpython: v2.4.0. https://doi.org/10.5281/zenodo.3773450

[53] Philipp Moritz, Robert Nishihara, Stephanie Wang, Alexey Tumanov, Richard Liaw, Eric Liang, Melih Elibol, Zongheng Yang, William Paul, Michael I Jordan ve diğerleri. 2018. Ray: Yeni ortaya çıkan {AI} uygulamaları için dağıtılmış bir çerçeve. 13. {USENIX} İşletim Sistemleri Tasarımı ve Uygulaması Sempozyumunda ({OSDI} 18). 561–577.

[54] Iason Ofeidis, Diego Kiedanski ve Leandros Tassiulas. 2022. Veri Yükleyici Ortamına Genel Bakış: Karşılaştırmalı Performans Analizi. arXiv ön baskısı arXiv:2209.13705 (2022). [

55] Travis E. Oliphant. 2006. NumPy için bir rehber. Cilt 1. Trelgol Yayıncılık ABD.

[56] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior ve Koray Kavukçuoğlu. 2016. Wavenet: Ham ses için üretken bir model. arXiv ön baskısı arXiv:1609.03499 (2016).

[57] Stavros Papadopoulos, Kushal Datta, Samuel Madden ve Timothy Mattson. 2016. Tiledb dizisi veri depolama yöneticisi. VLDB Bağışı Bildirileri 10, 4 (2016), 349–360.

[58] Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga ve Adam Lerer. 2017. Pytorch'ta otomatik farklılaşma. (2017).

[59] Masha Basmanova Kevin Wilfong Laith Sakka Krishna Pai Wei He Biswapesh Chattopadhyay Pedro Pedreira, Orri Erling. 2022. Velox: Meta'nın Birleşik Yürütme Motoru. VLDB Vakfı Tutanakları (2022).

[60] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark ve diğerleri. 2021. Doğal dil denetiminden aktarılabilir görsel modellerin öğrenilmesi. Uluslararası Makine Öğrenimi Konferansında. PMLR, 8748–8763.

[61] Pranav Rajpurkar, Jeremy Irvin, Kaylie Zhu, Brandon Yang, Hershel Mehta, Tony Duan, Daisy Ding, Aarti Bagul, Curtis Langlotz, Katie Shpanskaya ve diğerleri. 2017. Chexnet: Derin öğrenme ile göğüs röntgeninde radyolog düzeyinde pnömoni tespiti. arXiv ön baskısı arXiv:1711.05225 (2017).

[62] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen ve Ilya Sutskever. 2021. Sıfır atışlı metinden görüntüye dönüştürme. Uluslararası Makine Öğrenimi Konferansında. PMLR, 8821–8831.

[63] Joseph Redmon, Santosh Divvala, Ross Girshick ve Ali Farhadi. 2016. Yalnızca bir kez bakarsınız: Birleşik, gerçek zamanlı nesne algılama. Bilgisayarla görme ve örüntü tanıma üzerine IEEE konferansının bildirilerinde. 779–788.

[64] Amit Sabne. 2020. Xla: En yüksek performans için makine öğreniminin derlenmesi. (2020).

[65] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. 2022. Derin Dil Anlayışına Sahip Fotogerçekçi Metinden Görüntüye Yayılma Modelleri. arXiv ön baskısı arXiv:2205.11487 (2022).

[66] Tom van Bussel Samwel, Herman van Hovell, Maryann Xue, Reynold Xin ve Matei Zaharia. 2022. Photon: Lakehouse Sistemleri için Hızlı Sorgu Motoru. (2022).

[67] Christoph Schuhmann, Romain Beaumont, Cade W Gordon, Ross Wightman, Theo Coombes, Aarush Katta, Clayton Mullis, Patrick Schramowski, Srivatsa R Kundurthy, Katherine Crowson ve diğerleri. 2022. LAION-5B: Yeni nesil resim-metin modellerinin eğitimi için açık, büyük ölçekli bir veri kümesi. (2022).

[68] Christoph Schuhmann, Richard Vencu, Romain Beaumont, Robert Kaczmarczyk, Clayton Mullis, Aarush Katta, Theo Coombes, Jenia Jitsev ve Aran Komatsuzaki. 2021. Laion400m: Klip filtreli 400 milyon görüntü-metin çiftinden oluşan açık veri kümesi. arXiv ön baskısı arXiv:2111.02114 (2021).

[69] Philip Schwan ve ark. 2003. Lustre: 1000 düğümlü kümeler için bir dosya sistemi oluşturma. 2003 Linux sempozyumunun Bildirileri, Cilt. 2003. 380–386.

[70] Raghav Sethi, Martin Traverso, Dain Sundstrom, David Phillips, Wenlei Xie, Yutian Sun, Nezih Yegitbasi, Haozhun Jin, Eric Hwang, Nileema Shingte, ve diğerleri. 2019. Presto: Her şeyde SQL. 2019'da IEEE 35. Uluslararası Veri Mühendisliği Konferansı (ICDE). IEEE, 1802–1813.

[71] Konstantin Shvachko, Hairong Kuang, Sanjay Radia, Robert Chansler ve diğerleri. 2010. Hadoop dağıtılmış dosya sistemi.. MSST, Cilt. 10. 1–10.

[72] David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel ve diğerleri. 2018. Satranç, shogi ve Go'da kendi kendine oynama konusunda uzmanlaşan genel bir takviyeli öğrenme algoritması. Bilim 362, 6419 (2018), 1140–1144.

[73] K Stumpf, S Bedratiuk ve O Cirit. 2018. Michelangelo PyML: Uber'in hızlı python makine öğrenimi modeli geliştirmeye yönelik platformu tanıtılıyor. Uber. Bakınız: https://eng. çok iyi. com/michelangelo-pyml (2018).

[74] Pedro Javier Ortiz Suárez, Benoît Sagot ve Laurent Romary. 2019. Orta ve düşük kaynaklı altyapılarda büyük şirketlerin işlenmesi için eşzamansız boru hattı. Büyük Şirketlerin Yönetimindeki Zorluklar konulu 7. Çalıştayda (CMLC-7). Leibniz-Institut für Deutsche Sprache.

[75] Sincap Geliştirici Ekibi. 2022. Squirrel: ML ekiplerinin verileri işbirliğine dayalı, esnek ve verimli bir şekilde paylaşmasına, yüklemesine ve dönüştürmesine olanak tanıyan bir Python kitaplığı. GitHub. Not: https://github.com/merantix-momentum/squirrel-core (2022). https://doi.org/10.5281/zenodo.6418280

[76] Ashish Suchoo, Joydeep Sen Sarma, Namit Jain, Zheng Shao, Prasad Chakka, Ning Zhang, Suresh Antony, Hao Liu ve Raghotham Murthy. 2010. Hadoop kullanan petabayt ölçekli veri ambarı Hive. 2010 yılında IEEE 26. uluslararası veri mühendisliği konferansı (ICDE 2010). IEEE, 996–1005.

[77] Kathryn Tunyasuvunakool, Jonas Adler, Zachary Wu, Tim Green, Michal Zielinski, Augustin Žídek, Alex Bridgland, Andrew Cowie, Clemens Meyer, Agata Laydon ve diğerleri. 2021. İnsan proteomu için son derece doğru protein yapısı tahmini. Doğa 596, 7873 (2021), 590–596.

[78] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser ve Illia Polosukhin. 2017. İhtiyacınız olan tek şey dikkat. Sinirsel bilgi işleme sistemlerindeki gelişmeler 30 (2017).

[79] Deepak Vohra. 2016. Apache parke. Pratik Hadoop Ekosisteminde. Springer, 325–335.

[80] Jianguo Wang, Xiaomeng Yi, Rentong Guo, Hai Jin, Peng Xu, Shengjun Li, Xiangyu Wang, Xiangzhou Guo, Chengming Li, Xiaohai Xu ve diğerleri. 2021. Milvus: Amaca Yönelik Bir Vektör Veri Yönetim Sistemi. 2021 Uluslararası Veri Yönetimi Konferansı Bildirilerinde. 2614–2627.

[81] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov ve Quoc V Le. 2019. Xlnet: Dil anlayışı için genelleştirilmiş otoregresif ön eğitim. Sinirsel bilgi işleme sistemlerindeki gelişmeler 32 (2019).

[82] Matei Zaharia, Mosharaf Chowdhury, Michael J Franklin, Scott Shenker ve Ion Stoica. 2010. Spark: Çalışma kümeleriyle küme hesaplama. HotCloud 10, 10-10 (2010), 95.

[83] Xiang Zhang, Junbo Zhao ve Yann LeCun. 2015. Metin sınıflandırması için karakter düzeyinde evrişimli ağlar. Sinirsel bilgi işleme sistemlerindeki gelişmeler. 649–657.