Ia adalah awal tahun 2025, dan kami mungkin sudah menyaksikan detik penentuan semula untuk AI kerana kami telah mengetahuinya dalam beberapa tahun kebelakangan ini. Adakah kanun "lebih banyak GPU adalah semua yang anda perlukan" akan berubah? Satu kejadian yang luar biasa. Pertama, . Usahasama yang diwujudkan oleh OpenAI, SoftBank, Oracle dan firma pelaburan MGX menyasarkan untuk melabur sehingga AS$500 bilion dalam infrastruktur AI di Amerika Syarikat menjelang 2029. Projek Stargate Arm, Microsoft, Nvidia, Oracle, dan OpenAI ialah rakan kongsi teknologi awal yang utama dalam apa yang digelar "projek Manhattan abad ke-21", dengan sokongan langsung daripada pentadbiran AS. Presiden Donald Trump menyebutnya "projek infrastruktur AI terbesar dalam sejarah". Senarai rakan kongsi teknologi terkemuka yang berpangkalan di AS dalam projek itu dan pelaburan besar dalam apa yang telah menjadi inisiatif strategik untuk AS – infrastruktur AI untuk mendapatkan kepimpinan dalam AI – adalah perkara yang mendorong kesejajaran dengan projek Manhattan. Kedua-dua pembuat cip AI dalam senarai - Arm dan Nvidia - diketuai oleh CEO asal Taiwan. Perkara itu ketara, memandangkan hubungan tegang Taiwan yang berterusan dengan China, dan hakikat bahawa Projek Stargate adalah yang terbaharu dalam garis keturunan yang bertujuan untuk menggiatkan infrastruktur AI domestik dan pengetahuan sambil , terutamanya China. dasar AS baru-baru ini mengenakan had kepada seluruh dunia Walau bagaimanapun, semua itu tidak penting untuk pasaran, yang . Tetapi itu sahaja sebelum keluaran DeepSeek R1. menyebabkan saham Nvidia melonjak untuk satu lagi masa dalam beberapa tahun kebelakangan ini pada pengumuman Projek Stargate ialah model penaakulan sumber terbuka baharu, dikeluarkan hanya beberapa hari selepas pengumuman Projek Stargate. Model ini dibangunkan oleh DeepSeek permulaan AI China, yang mendakwa bahawa R1 sepadan atau bahkan mengatasi OpenAI's ChatGPT o1 pada pelbagai penanda aras utama tetapi beroperasi pada sebahagian kecil daripada kos. DeepSeek R1 Apa yang mengagumkan tentang DeepSeek R1 ialah ia telah dibangunkan di China, walaupun semua sekatan pada cip AI bertujuan untuk menghalang keupayaan untuk membuat kemajuan pada AI. Adakah itu bermakna bahawa ? kebijaksanaan konvensional OpenAI dan berpusatkan AS tentang "lebih banyak GPU adalah semua yang anda perlukan" dalam AI akan dinaikkan Cip AI, wang, bakat dan kejuruteraan Sebenarnya, apabila kami mengatur perbualan mengenai cip AI dengan Chris Kachris beberapa hari yang lalu, Projek Stargate mahupun DeepSeek R1 tidak mencecah adegan AI. Walaupun kami tidak menjangkakan perkembangan ini secara sedar, kami tahu ialah topik yang patut diberi perhatian, dan Kachris ialah orang dalam. cip AI Sudah menjadi satu tradisi untuk Orkestrasi semua Perkara untuk menganalisis cip AI dan menjadi tuan rumah cerapan daripada pakar dalam bidang tersebut, dan perbualan dengan Kachris adalah bahagian terkini dalam tradisi ini. Chris Kachris ialah pengasas dan Ketua Pegawai Eksekutif . InAccel yang membantu syarikat mempercepatkan aplikasi mereka menggunakan pemecut perkakasan dalam awan dengan lebih mudah berbanding sebelum ini. Beliau juga merupakan penyelidik yang disebut secara meluas dengan pengalaman lebih daripada 20 tahun dalam dan pemecut perkakasan untuk pembelajaran mesin, pemprosesan rangkaian dan pemprosesan data. InAccel FPGA https://www.youtube.com/watch?v=BkYhBOFqkwY&embedable=true Selepas , Kachris kembali menjalankan penyelidikan, kini bekerja sebagai Penolong Profesor di Jabatan Kejuruteraan Elektrik dan Elektronik di Universiti Attica Barat. InAccel baru-baru ini diperoleh oleh Intel Apabila menetapkan adegan untuk perbualan dengan berita tepat pada masa ini, ucapan pembukaan Kachris adalah bahawa inovasi dalam cip AI adalah "sukan yang mahal", itulah sebabnya ia kebanyakannya berlaku dalam industri berbanding dengan akademik. Pada masa yang sama, bagaimanapun, beliau menyatakan bahawa sumber yang diperlukan bukan sahaja berpunca daripada wang, tetapi ia juga melibatkan bakat dan kejuruteraan. Bagi Kachris, dasar AS telah berada di landasan yang betul dari segi matlamat mereka untuk menghantar pulang kepakaran dan menjadikan negara ini berdikari. Sebagai warganegara Eropah, beliau turut menyeru agar EU menggunakan inisiatif yang sama, bersama-sama banyak suara . Adakah melihat bagaimana kejayaan DeepSeek dicapai, bagaimanapun, adakah sesuatu untuk mengajar kita? yang menyeru EU untuk meningkatkan permainan GPUnya Belajar daripada kejayaan DeepSeek Menurut laporan “ ”, tidak seperti negara BRICS yang lain, China menggunakan kedua-dua kad grafik asing (melalui awan dan di pusat datanya sendiri) dan kad tempatan yang dibuat oleh syarikat China. Generative AI in the BRICS+ Countries Pada masa ini, terdapat lebih daripada 10 syarikat di China yang sedang membangunkan kad grafik mereka sendiri, dan proses menukar kepada GPU tempatan selepas menggunakan NVIDIA dilaporkan tidak sukar untuk syarikat China. Nampaknya untuk kekal berdaya saing dalam perlumbaan AI, negara perlu mempertimbangkan semula pilihan mereka, yang berpotensi . Kachris bersetuju bahawa China telah berkembang pesat, mula-mula meniru dan kemudian membangunkan teknik inovatifnya sendiri. meminjam halaman daripada buku permainan China “Mereka boleh campur dan padan. Mereka boleh menggabungkan versi GPU yang berbeza dan unit pemprosesan lain untuk mencipta pusat data atau awan yang berkuasa. Ini sangat berguna, terutamanya jika anda berfikir bahawa pada masa lalu, anda perlu membeli peralatan baru setiap tiga atau empat tahun mungkin. Kini inovasi begitu pantas sehingga hampir setiap tahun, anda mempunyai lebih banyak cip berkuasa dan pemproses yang lebih berkuasa. Adakah masuk akal untuk membuang pemproses yang berumur satu atau dua tahun? Jadi sudah tentu, anda perlu mencari cara untuk menggunakan sumber, walaupun ia adalah sumber heterogen. Ini akan menjadi lebih menjimatkan kos”, kata Kachris. Kos latihan DeepSeek R1 yang dilaporkan adalah hujah yang kukuh untuk menyokong pendekatan ini. Selain latihan mengenai infrastruktur heterogen, termasuk mengurangkan ketepatan berangka, keupayaan membaca berbilang token dan menggunakan teknik Campuran Pakar yang bijak. pendekatan DeepSeek Hasilnya ialah mengurangkan kos latihan daripada $100 juta kepada sekitar $5 juta dan mengurangkan keperluan perkakasan daripada 100,000 GPU kepada 2,000 sahaja, menjadikan pembangunan AI boleh diakses pada GPU permainan standard. Lebih-lebih lagi, walaupun DeepSeek bukan sumber terbuka 100% – – prosesnya boleh direplikasi. apa pun maknanya untuk LLM Latihan AI Pragmatik Cip AI dan model AI sumber terbuka adalah sebahagian daripada Latihan AI Pragmatik yang komprehensif. Teori dan makmal praktikal. Berundur semua termasuk. Kohort tempat duduk terhad. Klik di sini untuk mendaftar untuk Latihan AI Pragmatik Menilai pasaran cip AI Reaksi segera terhadap berita itu ialah , dengan . Pasaran telah pun memulakan pembetulan kursus pada masa penulisan, dengan kedua-dua arah aliran menurun dan menaik agak boleh diramalkan. rali jualan besar saham Nvidia turun 17% berikutan berita itu Di satu pihak, apa yang DeepSeek tunjukkan ialah terdapat banyak ruang untuk peningkatan kecekapan dalam melatih model AI berprestasi tinggi, secara aktif menjejaskan kebijaksanaan konvensional. Sebaliknya, , dan . itu tidak bermakna Nvidia masih belum menjadi peneraju kita boleh mengharapkan untuk melihat paradoks Jevon beraksi sekali lagi Nvidia mengekalkan rentak , mengumumkan dan seterusnya menghantar seni bina Blackwell terbaharunya, mengembangkan ekosistemnya dan mencapai pelbagai kejayaan kewangan dan perniagaan. Kachris menekankan bahawa Nvidia bukan hanya menjual cip lagi, tetapi mereka telah bergerak ke arah penyepaduan menegak mereka dengan cip mereka pada . inovasi pada 2024 teknologi NVLink platform DGX Tetapi GPU Nvidia bukan satu-satunya permainan di bandar. AMD di pihaknya mengumumkan pemecut AI baharu, . Seperti yang dinyatakan oleh Kachris, sangat berkuasa, menampilkan unit khusus untuk mempercepatkan transformer – seni bina utama untuk Model Bahasa Besar. . Instinct MI325X siri MI300 Pertumbuhan AMD dikatakan didorong oleh pusat data dan produk AI Sebilangan besar orang dan organisasi akan menjadi pengguna AI, bukan pembina AI. Bagi mereka, menggunakan atau bahkan membina aplikasi AI sebenarnya bukan soal melatih model mereka sendiri, sebaliknya menggunakan atau memperhalusi model pra-latihan. https://pod.co/orchestrate-all-the-things-podcast-connecting-the-dots-with-george-anadiotis/ai-chips-in-2025-the-end-of-more-gpus-is- all-you-need-featuring-inaccel-ceo-founder-chris-cachris?embedable=true Kachris juga menyeru kemajuan Intel dengan Gaudi. Walaupun keupayaan prestasi tinggi Gaudi 3, bagaimanapun, Intel nampaknya . Pada masa yang sama, . ketinggalan dari segi bahagian pasaran, sebahagian besarnya disebabkan oleh perisian Intel sedang membuat langkah untuk menjual unit FPGAnya, Altera FPGA, Kachris mengekalkan, mungkin bukan penyelesaian yang paling berprestasi untuk latihan AI, tetapi ia sangat masuk akal untuk membuat inferens, dan di sinilah terdapat ruang yang cukup untuk persaingan dan inovasi. Ia adalah tepat - membina lapisan perisian untuk berfungsi dengan FPGA - yang InAccel sedang bekerja, dan apa yang membawa kepada pemerolehan oleh Intel. Sememangnya, Kachris menekankan kepentingan lapisan perisian. Pada penghujung hari, walaupun cip mempunyai prestasi unggul, jika ia tidak mudah digunakan untuk pembangun melalui lapisan perisian, itu akan menghalang penggunaan. Nvidia mengekalkan kelebihan ketara pada lapisan perisian kerana , yang ia terus melabur. timbunan CUDA yang ada di mana-mana Selebihnya industri, yang diketuai oleh Intel melalui inisiatif , sedang berusaha untuk mengejar ketinggalan. AMD mempunyai lapisan perisian sendiri - ROCm. Tetapi mengejar tidak akan berlaku dalam sekelip mata. Seperti yang dikatakan oleh Kachris, lapisan perisian perlu mendayakan penggunaan lapisan perkakasan tanpa mengubah satu baris kod. UXL Foundation / OneAPI Nvidia juga meningkatkan inferens dan strategi perisiannya dengan rangka kerja , yang nampaknya telah . Pertandingan ini juga . Terdapat pelbagai pencabar seperti , , , dan , bersaing untuk sekeping pai pasaran inferens. NIM yang baru dikeluarkan diterima pakai memfokuskan kepada inferens Groq Tenstorrent GraphCore Cerebras SambaNova Kelebihan: pecutan dan kecekapan tenaga Walaupun DeepSeek ialah paparan yang menonjol tentang faedah pengoptimuman, ia juga bukan satu-satunya. Kachris terlibat dalam , dengan kebanyakannya menjurus kepada inferens. tinjauan komprehensif baru-baru ini dan perbandingan pecutan perkakasan LLM Satu cara untuk melakukannya ialah melakukan ini melalui API pembekal AI - biasanya OpenAI atau Anthropic. Untuk kes penggunaan yang lebih canggih, walau bagaimanapun, atas sebab yang berkaitan dengan privasi, pematuhan, kelebihan daya saing, keperluan aplikasi atau kos, pengguna akhir akan mahu menggunakan model AI pada infrastruktur mereka sendiri. Itu mungkin termasuk rangkaian keseluruhan persekitaran, dari pada premis dan awan peribadi ke tepi dan logam kosong. Terutamanya dengan LLM, . Kami bertanya kepada Kachris sama ada dia percaya bahawa penggunaan tempatan / tepi LLM masuk akal. malah terdapat pilihan untuk menjalankannya secara tempatan di luar mesin rak Kachris menyatakan bahawa inferens mungkin berfungsi dengan "mengecut", aka versi model AI terkuantisasi. Penyelidikan mencadangkan bahawa . Kachris menegaskan bahawa walaupun terdapat seni bina perkakasan khusus, daripada GPU dan FPGA yang tersedia secara meluas memberikan prestasi terbaik, dengan FPGA lebih cekap tenaga. walaupun versi 1-bit model adalah berdaya maju Melangkah ke hadapan: inovasi dan pengkhususan Setakat perkembangan masa depan, Kachris menyerlahkan sebagai kawasan yang perlu diperhatikan. Idea utama ialah dapat menggabungkan storan dan mengira pada unit yang sama, sekali gus menghapuskan keperluan untuk pemindahan data dan membawa kepada prestasi yang lebih baik. Itu diilhamkan oleh cara rangkaian saraf biologi berfungsi, dan dirujuk sebagai pengkomputeran neuromorfik. pengkomputeran dalam memori Terdapat lebih banyak bidang perkembangan yang patut diberi perhatian, seperti , , dan . ciplet cip khusus yang disesuaikan untuk seni bina pengubah yang menggerakkan LLM teknologi fotonik bahasa pengaturcaraan baharu untuk AI Dari segi prospek jangka pendek hingga pertengahan, dan persoalan sama ada terdapat ruang untuk inovasi dalam dunia yang dikuasai Nvidia, Kachris percaya bahawa sistem terbenam dan AI Edge mewakili peluang untuk pencabar: “Terdapat keperluan berbeza dan spesifikasi berbeza dalam domain Edge AI. Saya fikir terdapat ruang untuk inovasi dalam Edge AI, contohnya dalam aplikasi video untuk hospital, atau pemanduan dan penerbangan autonomi. Saya fikir ia akan berlaku. Mari bercakap tentang GPU. Jadi NVIDIA adalah peneraju dalam GPU, tetapi terdapat kekurangan GPU untuk peranti boleh pakai. Dan kami melihat sebuah syarikat yang hebat, , meningkatkan dan membangunkan GPU yang khusus untuk band fit atau jam tangan pintar, dan kemudian . Think Silicon diperoleh oleh Applied Materials Inovasi akan berlaku di kawasan yang terlalu kecil untuk syarikat seperti Nvidia atau Intel, tetapi cukup baik untuk syarikat yang lebih kecil yang boleh membuat produk khusus”. Sertai Orkestra semua Surat Berita Perkara Cerita tentang bagaimana Teknologi, Data, AI dan Media mengalir ke dalam satu sama lain membentuk kehidupan kita. Analisis, Esei, Temu bual dan Berita. Bentuk pertengahan hingga panjang, 1-3 kali sebulan. Klik di sini untuk melanggan
