Perkembangan terbaru dalam industri kecerdasan buatan dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, dilaporkan bahwa GPT meningkatkan efisiensi kerja di AS sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak yang baru, dibandingkan dengan desain kode yang tepat di masa lalu, desain perangkat lunak sekarang lebih banyak mengintegrasikan kerangka model besar yang digeneralisasi ke dalam perangkat lunak, memungkinkan perangkat lunak memiliki kinerja yang lebih baik dan mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga menyebar ke industri cryptocurrency.
Laporan ini akan membahas secara rinci sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Selanjutnya, akan dilakukan analisis mendalam mengenai hulu dan hilir rantai industri dalam pembelajaran mendalam, seperti GPU, komputasi awan, sumber data, dan perangkat tepi, serta kondisi dan tren perkembangannya. Setelah itu, akan dibahas secara mendalam hubungan antara cryptocurrency dan industri AI, serta pemetaan lanskap rantai industri AI yang terkait dengan cryptocurrency.
Sejarah Perkembangan Industri AI
Industri AI dimulai sejak tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, akademisi dan industri telah mengembangkan berbagai aliran untuk merealisasikan kecerdasan buatan di bawah latar belakang disiplin ilmu yang berbeda di berbagai era.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang merupakan konsep teknologi yang memungkinkan mesin untuk mengandalkan data dalam iterasi berulang untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke dalam algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( yang juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah bahwa arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, dan setelah mengalami banyak data, neuron tersebut akan mencapai keadaan optimal ( parameter ), inilah yang disebut "usaha keras membawa keajaiban", dan juga asal usul dari dua kata "dalam" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana bahwa kita membangun sebuah fungsi, di mana ketika kita memasukkan X=2, Y=3; dan X=3, Y=5. Jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini dan parameternya. Misalnya, saya bisa membangun fungsi yang memenuhi kondisi ini sebagai Y = 2X -1. Namun, jika ada data X=2, Y=11, maka kita perlu membangun kembali fungsi yang sesuai untuk ketiga titik data ini. Dengan menggunakan GPU untuk brute force, kita menemukan Y = X2 -3X +5 yang cukup cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan dan memberikan output yang serupa secara kasar. Di sini, X2, X, dan X0 masing-masing mewakili neuron yang berbeda, sedangkan 1, -3, dan 5 adalah parameternya.
Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambahkan neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknologi, seperti jaringan saraf awal, jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter ( Transformer ), untuk mengkodekan semua modal ( seperti audio, video, gambar, dan lainnya ) menjadi nilai yang sesuai untuk merepresentasikannya. Kemudian, nilai-nilai ini dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan dengan berbagai jenis data, yang berarti mewujudkan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, yaitu sepuluh tahun setelah teknologi AI diperkenalkan. Gelombang ini dipicu oleh perkembangan teknologi simbolis, yang menyelesaikan masalah pengolahan bahasa alami yang umum serta dialog antara manusia dan mesin. Pada periode yang sama, sistem pakar lahir, yang merupakan sistem DENRAL yang diselesaikan di bawah pengawasan Universitas Stanford dan NASA. Sistem ini memiliki pengetahuan kimia yang sangat kuat dan menggunakan pertanyaan untuk melakukan inferensi untuk menghasilkan jawaban yang sama dengan ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai gabungan antara basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf Amerika keturunan Israel, Judea Pearl( mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan kepercayaan. Pada waktu yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai lahirnya behaviorisme.
Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Garry Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak dalam kecerdasan buatan, teknologi AI memasuki puncak perkembangan kedua.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raksasa deep learning Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio mengemukakan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi data. Setelah itu, algoritma deep learning secara bertahap berevolusi, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, Watson ) dari IBM memenangkan kejuaraan dalam acara kuis "Jeopardy (" dengan mengalahkan manusia.
Pada tahun 2014, Goodfellow mengusulkan GAN) Jaringan Generatif Adversarial, Generative Adversarial Network(, yang dapat menghasilkan foto-foto yang tampak nyata dengan cara belajar melalui permainan antara dua jaringan saraf. Selain itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang dikenal sebagai buku bunga, merupakan salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan kawan-kawan mengajukan algoritma pembelajaran mendalam di majalah "Nature", yang segera memicu reaksi besar di kalangan akademis dan industri.
Pada tahun 2015, OpenAI didirikan, Musk, Presiden YC Altman, dan investor malaikat Peter Thiel ) mengumumkan untuk bersama-sama menginvestasikan 1 miliar dolar.
Pada tahun 2016, AlphaGo yang didasarkan pada teknologi pembelajaran mendalam bertanding melawan juara dunia Go dan pemain profesional sembilan dan, Lee Sedol, dengan skor total 4-1.
Pada tahun 2017, perusahaan teknologi robotika Hanson Robotics( di Hong Kong, China mengembangkan robot humanoid bernama Sophia, yang dikenal sebagai robot pertama dalam sejarah yang mendapatkan status sebagai warga negara, dengan kemampuan ekspresi wajah yang kaya serta pemahaman bahasa manusia.
Pada tahun 2017, Google yang memiliki sumber daya bakat dan teknologi yang kaya di bidang kecerdasan buatan menerbitkan makalah "Attention is all you need" yang memperkenalkan algoritma Transformer, model bahasa skala besar mulai muncul.
Pada tahun 2018, OpenAI meluncurkan GPT)Generative Pre-trained Transformer( yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, tim Google Deepmind merilis AlphaGo yang berbasis pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.
Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih banyak daripada versi sebelumnya GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja yang canggih dalam berbagai tugas NLP) seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel(.
Pada tahun 2021, OpenAI merilis GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT yang berbasis model GPT-4 diluncurkan pada Januari 2023, pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang paling cepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.
Catatan: Karena banyaknya makalah tentang kecerdasan buatan, banyak aliran, dan evolusi teknologi yang berbeda, di sini kami terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, sementara aliran dan teknologi lainnya masih dalam proses perkembangan yang pesat.
![Pengantar untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai Industri Pembelajaran Mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dengan GPT sebagai yang terdepan, model besar telah menciptakan gelombang baru dalam kecerdasan buatan, banyak pemain terjun ke dalam jalur ini, dan kami juga menemukan permintaan pasar untuk data dan daya komputasi meledak secara besar-besaran. Oleh karena itu, di bagian laporan ini, kami terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir terbentuk di industri AI yang didominasi oleh algoritma pembelajaran mendalam, serta bagaimana kondisi hulu dan hilir, hubungan penawaran dan permintaan, serta perkembangan masa depan.
Pertama-tama, yang perlu kita jelas adalah, saat melakukan pelatihan model besar LLMs yang dipimpin oleh GPT berbasis teknologi Transformer ), dibagi menjadi tiga langkah.
Sebelum pelatihan, karena berbasis Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Berdasarkan aturan praktis umum, satu kata atau karakter dalam bahasa Inggris dapat dianggap sebagai satu Token, sementara setiap karakter Han dapat dianggap sebagai dua Token. Ini juga merupakan satuan dasar yang digunakan dalam penetapan harga GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input, seperti yang dicontohkan di bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena harus mengulangi iterasi neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang sangat berkualitas untuk dilatih, perubahan semacam ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pre-training memerlukan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama-tama, akan dibangun sebuah model baru yang kita sebut sebagai "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini cukup mudah karena konteks bisnisnya sangat spesifik. Setelah itu, model ini digunakan untuk menilai apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun terkadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model ).
Singkatnya, dalam proses pelatihan model besar, pralatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan daya komputasi GPU yang diperlukan juga paling banyak, sedangkan penyetelan membutuhkan data berkualitas lebih tinggi untuk meningkatkan parameter. Pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Selama proses pelatihan, semakin banyak parameter yang ada, semakin tinggi batas kemampuan generalisasi, misalnya dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, oleh karena itu bagaimana parameter berubah, data yang dapat diusulkan sangat terbatas, karena pada dasarnya tetap merupakan sebuah garis lurus. Jika jumlah neuron semakin banyak, maka lebih banyak parameter dapat diiterasi, sehingga dapat mengusulkan lebih banyak data, inilah sebabnya mengapa model besar dapat menghasilkan keajaiban, dan ini juga alasan mengapa secara umum disebut model besar, pada dasarnya adalah sejumlah besar neuron dan parameter, serta sejumlah besar data, yang pada saat yang sama memerlukan banyak daya komputasi.
Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek, jumlah parameter, jumlah dan kualitas data, serta daya komputasi; ketiga hal ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita asumsikan jumlah parameter adalah p, jumlah data adalah n( yang dihitung berdasarkan jumlah Token), maka kita dapat menghitung jumlah komputasi yang diperlukan melalui aturan umum.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
AI dan Aset Kripto: Dari Evolusi Teknologi hingga Analisis Ekosistem Industri yang Komprehensif
AI x Crypto: Dari Nol ke Puncak
Pendahuluan
Perkembangan terbaru dalam industri kecerdasan buatan dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, dilaporkan bahwa GPT meningkatkan efisiensi kerja di AS sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak yang baru, dibandingkan dengan desain kode yang tepat di masa lalu, desain perangkat lunak sekarang lebih banyak mengintegrasikan kerangka model besar yang digeneralisasi ke dalam perangkat lunak, memungkinkan perangkat lunak memiliki kinerja yang lebih baik dan mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga menyebar ke industri cryptocurrency.
Laporan ini akan membahas secara rinci sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Selanjutnya, akan dilakukan analisis mendalam mengenai hulu dan hilir rantai industri dalam pembelajaran mendalam, seperti GPU, komputasi awan, sumber data, dan perangkat tepi, serta kondisi dan tren perkembangannya. Setelah itu, akan dibahas secara mendalam hubungan antara cryptocurrency dan industri AI, serta pemetaan lanskap rantai industri AI yang terkait dengan cryptocurrency.
Sejarah Perkembangan Industri AI
Industri AI dimulai sejak tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, akademisi dan industri telah mengembangkan berbagai aliran untuk merealisasikan kecerdasan buatan di bawah latar belakang disiplin ilmu yang berbeda di berbagai era.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang merupakan konsep teknologi yang memungkinkan mesin untuk mengandalkan data dalam iterasi berulang untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke dalam algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( yang juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah bahwa arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, dan setelah mengalami banyak data, neuron tersebut akan mencapai keadaan optimal ( parameter ), inilah yang disebut "usaha keras membawa keajaiban", dan juga asal usul dari dua kata "dalam" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana bahwa kita membangun sebuah fungsi, di mana ketika kita memasukkan X=2, Y=3; dan X=3, Y=5. Jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini dan parameternya. Misalnya, saya bisa membangun fungsi yang memenuhi kondisi ini sebagai Y = 2X -1. Namun, jika ada data X=2, Y=11, maka kita perlu membangun kembali fungsi yang sesuai untuk ketiga titik data ini. Dengan menggunakan GPU untuk brute force, kita menemukan Y = X2 -3X +5 yang cukup cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan dan memberikan output yang serupa secara kasar. Di sini, X2, X, dan X0 masing-masing mewakili neuron yang berbeda, sedangkan 1, -3, dan 5 adalah parameternya.
Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambahkan neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknologi, seperti jaringan saraf awal, jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter ( Transformer ), untuk mengkodekan semua modal ( seperti audio, video, gambar, dan lainnya ) menjadi nilai yang sesuai untuk merepresentasikannya. Kemudian, nilai-nilai ini dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan dengan berbagai jenis data, yang berarti mewujudkan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, yaitu sepuluh tahun setelah teknologi AI diperkenalkan. Gelombang ini dipicu oleh perkembangan teknologi simbolis, yang menyelesaikan masalah pengolahan bahasa alami yang umum serta dialog antara manusia dan mesin. Pada periode yang sama, sistem pakar lahir, yang merupakan sistem DENRAL yang diselesaikan di bawah pengawasan Universitas Stanford dan NASA. Sistem ini memiliki pengetahuan kimia yang sangat kuat dan menggunakan pertanyaan untuk melakukan inferensi untuk menghasilkan jawaban yang sama dengan ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai gabungan antara basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf Amerika keturunan Israel, Judea Pearl( mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan kepercayaan. Pada waktu yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai lahirnya behaviorisme.
Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Garry Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak dalam kecerdasan buatan, teknologi AI memasuki puncak perkembangan kedua.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raksasa deep learning Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio mengemukakan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi data. Setelah itu, algoritma deep learning secara bertahap berevolusi, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, Watson ) dari IBM memenangkan kejuaraan dalam acara kuis "Jeopardy (" dengan mengalahkan manusia.
Pada tahun 2014, Goodfellow mengusulkan GAN) Jaringan Generatif Adversarial, Generative Adversarial Network(, yang dapat menghasilkan foto-foto yang tampak nyata dengan cara belajar melalui permainan antara dua jaringan saraf. Selain itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang dikenal sebagai buku bunga, merupakan salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan kawan-kawan mengajukan algoritma pembelajaran mendalam di majalah "Nature", yang segera memicu reaksi besar di kalangan akademis dan industri.
Pada tahun 2015, OpenAI didirikan, Musk, Presiden YC Altman, dan investor malaikat Peter Thiel ) mengumumkan untuk bersama-sama menginvestasikan 1 miliar dolar.
Pada tahun 2016, AlphaGo yang didasarkan pada teknologi pembelajaran mendalam bertanding melawan juara dunia Go dan pemain profesional sembilan dan, Lee Sedol, dengan skor total 4-1.
Pada tahun 2017, perusahaan teknologi robotika Hanson Robotics( di Hong Kong, China mengembangkan robot humanoid bernama Sophia, yang dikenal sebagai robot pertama dalam sejarah yang mendapatkan status sebagai warga negara, dengan kemampuan ekspresi wajah yang kaya serta pemahaman bahasa manusia.
Pada tahun 2017, Google yang memiliki sumber daya bakat dan teknologi yang kaya di bidang kecerdasan buatan menerbitkan makalah "Attention is all you need" yang memperkenalkan algoritma Transformer, model bahasa skala besar mulai muncul.
Pada tahun 2018, OpenAI meluncurkan GPT)Generative Pre-trained Transformer( yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, tim Google Deepmind merilis AlphaGo yang berbasis pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.
Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih banyak daripada versi sebelumnya GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja yang canggih dalam berbagai tugas NLP) seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel(.
Pada tahun 2021, OpenAI merilis GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT yang berbasis model GPT-4 diluncurkan pada Januari 2023, pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang paling cepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.
Catatan: Karena banyaknya makalah tentang kecerdasan buatan, banyak aliran, dan evolusi teknologi yang berbeda, di sini kami terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, sementara aliran dan teknologi lainnya masih dalam proses perkembangan yang pesat.
![Pengantar untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai Industri Pembelajaran Mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dengan GPT sebagai yang terdepan, model besar telah menciptakan gelombang baru dalam kecerdasan buatan, banyak pemain terjun ke dalam jalur ini, dan kami juga menemukan permintaan pasar untuk data dan daya komputasi meledak secara besar-besaran. Oleh karena itu, di bagian laporan ini, kami terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir terbentuk di industri AI yang didominasi oleh algoritma pembelajaran mendalam, serta bagaimana kondisi hulu dan hilir, hubungan penawaran dan permintaan, serta perkembangan masa depan.
Pertama-tama, yang perlu kita jelas adalah, saat melakukan pelatihan model besar LLMs yang dipimpin oleh GPT berbasis teknologi Transformer ), dibagi menjadi tiga langkah.
Sebelum pelatihan, karena berbasis Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Berdasarkan aturan praktis umum, satu kata atau karakter dalam bahasa Inggris dapat dianggap sebagai satu Token, sementara setiap karakter Han dapat dianggap sebagai dua Token. Ini juga merupakan satuan dasar yang digunakan dalam penetapan harga GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input, seperti yang dicontohkan di bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena harus mengulangi iterasi neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang sangat berkualitas untuk dilatih, perubahan semacam ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pre-training memerlukan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama-tama, akan dibangun sebuah model baru yang kita sebut sebagai "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini cukup mudah karena konteks bisnisnya sangat spesifik. Setelah itu, model ini digunakan untuk menilai apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun terkadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model ).
Singkatnya, dalam proses pelatihan model besar, pralatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan daya komputasi GPU yang diperlukan juga paling banyak, sedangkan penyetelan membutuhkan data berkualitas lebih tinggi untuk meningkatkan parameter. Pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Selama proses pelatihan, semakin banyak parameter yang ada, semakin tinggi batas kemampuan generalisasi, misalnya dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, oleh karena itu bagaimana parameter berubah, data yang dapat diusulkan sangat terbatas, karena pada dasarnya tetap merupakan sebuah garis lurus. Jika jumlah neuron semakin banyak, maka lebih banyak parameter dapat diiterasi, sehingga dapat mengusulkan lebih banyak data, inilah sebabnya mengapa model besar dapat menghasilkan keajaiban, dan ini juga alasan mengapa secara umum disebut model besar, pada dasarnya adalah sejumlah besar neuron dan parameter, serta sejumlah besar data, yang pada saat yang sama memerlukan banyak daya komputasi.
Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek, jumlah parameter, jumlah dan kualitas data, serta daya komputasi; ketiga hal ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita asumsikan jumlah parameter adalah p, jumlah data adalah n( yang dihitung berdasarkan jumlah Token), maka kita dapat menghitung jumlah komputasi yang diperlukan melalui aturan umum.