CPU, GPU, dan NPU sering disebut sebagai komponen penting dalam perangkat yang mendukung kecerdasan buatan (AI). Ketiganya memang dapat membantu menjalankan komputasi AI, tetapi tidak bekerja dengan cara yang sama. CPU dirancang untuk menangani beragam instruksi, GPU unggul dalam banyak operasi paralel, sedangkan NPU dibuat untuk mempercepat pola komputasi tertentu yang umum digunakan oleh model AI.
Perbedaan ini penting ketika memilih laptop, komputer desktop, atau perangkat mobile untuk menjalankan AI secara lokal. Spesifikasi yang terlihat paling tinggi belum tentu menghasilkan pengalaman terbaik. Kinerja akhir juga dipengaruhi oleh jenis model, kapasitas memori, dukungan aplikasi, driver, konsumsi daya, dan cara sistem membagi pekerjaan di antara prosesor.
Memahami fungsi masing-masing komponen membantu menentukan perangkat yang sesuai dengan kebutuhan. Artikel ini membahas karakteristik CPU, GPU, dan NPU, bagaimana ketiganya dapat bekerja bersama, serta cara menilai performanya berdasarkan penggunaan nyata.
Mengenal Peran CPU, GPU, dan NPU
Ketiga komponen ini dapat memproses data, tetapi dirancang dengan prioritas yang berbeda. CPU mengutamakan fleksibilitas, GPU mengutamakan throughput untuk pekerjaan paralel, dan NPU mengutamakan efisiensi pada operasi AI yang didukung. Perbedaan tersebut membuat masing-masing lebih cocok untuk jenis tugas tertentu.
CPU: pengendali utama yang serbaguna
Central Processing Unit (CPU) merupakan prosesor serbaguna yang menjalankan sistem operasi, aplikasi, logika program, dan berbagai instruksi umum. CPU menangani pekerjaan yang membutuhkan banyak percabangan, koordinasi antartugas, serta respons cepat terhadap beragam jenis instruksi. Karena fleksibel, CPU hampir selalu terlibat dalam proses menjalankan aplikasi AI, meskipun perhitungan utamanya mungkin dialihkan ke akselerator lain.
CPU juga dapat menjalankan inferensi AI, terutama untuk model kecil, pengujian, atau aplikasi yang belum mendukung GPU dan NPU. Keunggulannya adalah kompatibilitas yang luas. Namun, ketika model membutuhkan banyak operasi matriks secara berulang, CPU bisa membutuhkan waktu lebih lama atau menggunakan daya lebih besar dibandingkan akselerator yang memang dirancang untuk beban tersebut.
GPU: memproses banyak pekerjaan secara paralel
Graphics Processing Unit (GPU) awalnya dikembangkan untuk mengolah grafis, tetapi arsitekturnya juga sesuai untuk pekerjaan komputasi yang dapat dibagi menjadi banyak operasi serupa. Model AI sering melakukan perkalian matriks dan operasi tensor dalam jumlah besar. Karena itu, GPU dapat memberikan throughput tinggi untuk pelatihan maupun inferensi model yang kompatibel.
GPU tersedia dalam bentuk terintegrasi di dalam prosesor atau sebagai kartu grafis terpisah. GPU diskret biasanya memiliki sumber daya komputasi dan memori grafis sendiri, sedangkan GPU terintegrasi dapat berbagi memori utama dengan CPU. Perbedaan tersebut memengaruhi kapasitas model yang dapat dijalankan, kecepatan pemindahan data, konsumsi daya, dan biaya perangkat.
Meski demikian, kemampuan gaming tidak otomatis menjadi ukuran yang sempurna untuk AI. Dukungan framework, pustaka komputasi, presisi numerik, kapasitas VRAM, serta optimasi aplikasi ikut menentukan hasil. GPU yang kuat secara teori belum tentu dimanfaatkan secara maksimal jika perangkat lunak yang digunakan tidak mendukung arsitektur atau runtime-nya.
NPU: akselerator khusus untuk komputasi AI
Neural Processing Unit (NPU) adalah akselerator yang dirancang untuk mempercepat operasi tertentu yang umum ditemukan pada jaringan saraf. Pada perangkat yang mendukungnya, NPU dapat menjalankan inferensi model yang kompatibel dengan konsumsi daya relatif efisien. Hal ini berguna untuk fitur yang aktif secara berulang, seperti pemrosesan suara, efek kamera, pengenalan pola, atau sebagian fungsi AI lokal.
NPU bukan pengganti CPU dan GPU. Kemampuannya bergantung pada jenis operasi yang didukung, format model, presisi yang tersedia, kapasitas memori, driver, dan runtime. Jika suatu model menggunakan operator yang belum didukung, aplikasi mungkin menjalankan sebagian pekerjaan di CPU atau GPU. Akibatnya, keberadaan NPU saja tidak menjamin semua aplikasi AI menjadi lebih cepat atau lebih hemat daya.
Untuk memahami lebih jauh spesifikasi NPU pada laptop, termasuk cara membaca angka TOPS dan memeriksa dukungan aplikasi, baca juga artikel Nazuaf tentang NPU pada AI PC.
Perbandingan CPU, GPU, dan NPU
Tabel berikut merangkum perbedaan ketiganya secara praktis. Ini merupakan gambaran umum, bukan aturan mutlak, karena desain setiap prosesor dan dukungan perangkat lunak dapat berbeda antarperangkat.
| Komponen | Fokus utama | Kelebihan | Hal yang perlu diperhatikan |
|---|---|---|---|
| CPU | Instruksi umum dan koordinasi aplikasi | Fleksibel, kompatibel luas, baik untuk alur kerja beragam | Throughput untuk komputasi AI paralel dapat lebih terbatas |
| GPU | Grafis dan komputasi paralel | Cocok untuk operasi matriks dan beban AI besar yang didukung | Konsumsi daya, panas, kapasitas memori, dan dukungan runtime |
| NPU | Operasi AI tertentu yang dioptimalkan | Efisien untuk inferensi kompatibel dan tugas AI berulang | Dukungan operator, model, driver, serta batas komputasi khusus |
Kesimpulannya, tidak ada satu komponen yang selalu unggul untuk semua pekerjaan. CPU dapat menjadi pilihan yang tepat untuk tugas ringan dan kontrol aplikasi, GPU cocok untuk komputasi paralel yang berat, sedangkan NPU berguna ketika aplikasi menyediakan jalur pemrosesan AI yang sesuai dan efisien.
Bagaimana Ketiganya Bekerja Bersama?
Pada perangkat modern, CPU, GPU, dan NPU dapat bekerja sebagai satu sistem komputasi. CPU biasanya mengatur aplikasi, menyiapkan data, dan menjalankan logika utama. Setelah itu, aplikasi atau runtime dapat mengirim bagian pekerjaan tertentu ke GPU atau NPU sesuai kemampuan yang tersedia. Hasil pemrosesan dikembalikan untuk digunakan oleh aplikasi.
Sebagai contoh, aplikasi konferensi video dapat menggunakan CPU untuk mengelola panggilan dan antarmuka, GPU untuk menampilkan video, serta NPU untuk efek latar belakang atau pengurangan kebisingan apabila fitur tersebut didukung. Pembagian ini dapat mengurangi beban pada satu komponen, tetapi cara kerjanya bergantung pada implementasi aplikasi dan sistem operasi.
Dalam aplikasi AI, sebuah model juga dapat dibagi menjadi beberapa bagian komputasi. Runtime mungkin menjalankan operasi yang didukung pada NPU dan mengalihkan operasi lain ke CPU atau GPU. Proses semacam ini disebut pembagian atau delegasi beban kerja. Perpindahan data antarkomponen tetap memiliki biaya waktu dan energi, sehingga pembagian yang terlalu sering belum tentu menghasilkan kinerja lebih baik.
Pelatihan Model dan Inferensi Memiliki Kebutuhan Berbeda
Dua istilah yang sering muncul dalam pembahasan AI adalah pelatihan dan inferensi. Pelatihan merupakan proses ketika model mempelajari pola dari data dan memperbarui parameter. Proses ini dapat membutuhkan komputasi dan memori yang sangat besar, terutama untuk model berukuran besar. GPU banyak digunakan untuk pekerjaan tersebut, baik pada workstation maupun infrastruktur cloud.
Inferensi adalah tahap ketika model yang sudah dilatih digunakan untuk menghasilkan keluaran berdasarkan masukan baru. Contohnya adalah mengubah suara menjadi teks, mengenali objek dalam foto, merangkum dokumen, atau menjalankan fitur asisten. Inferensi dapat berlangsung di CPU, GPU, NPU, atau server cloud, tergantung ukuran model dan dukungan aplikasi.
Pada perangkat konsumen, NPU umumnya lebih sering dimanfaatkan untuk inferensi yang kompatibel daripada pelatihan model besar. Namun, hal ini bukan batas universal untuk semua rancangan chip. Untuk penggunaan sehari-hari, pertanyaan yang lebih berguna adalah apakah perangkat mampu menjalankan model dan aplikasi yang dibutuhkan dengan lancar, bukan sekadar apakah spesifikasinya menyebut dukungan AI.
Contoh Penggunaan dalam Aktivitas Sehari-hari
Peran CPU, GPU, dan NPU lebih mudah dipahami melalui contoh. Satu aplikasi dapat menggunakan beberapa komponen sekaligus, sementara aplikasi lain mungkin hanya memanfaatkan satu prosesor karena kebutuhan atau keterbatasan kompatibilitas.
- Rapat dan panggilan video: CPU mengelola aplikasi dan komunikasi, GPU menangani tampilan, sedangkan NPU dapat membantu efek kamera atau pemrosesan suara yang didukung.
- Pengeditan foto dan video: CPU mengatur proyek dan antarmuka, GPU mempercepat efek atau proses visual tertentu, sementara NPU dapat digunakan oleh fitur AI yang kompatibel.
- Asisten dan model AI lokal: CPU mengoordinasikan aplikasi, sedangkan GPU atau NPU menjalankan bagian inferensi sesuai kemampuan model dan runtime.
- Game dan simulasi: CPU menangani logika permainan, GPU merender adegan, dan NPU hanya terlibat jika perangkat lunak memiliki fungsi AI yang benar-benar memanfaatkannya.
- Pemrosesan di browser: GPU dapat digunakan untuk grafis dan komputasi web tertentu. Teknologi seperti WebGPU memungkinkan aplikasi web yang kompatibel memanfaatkan kemampuan tersebut; baca penjelasan WebGPU dan dukungannya di browser untuk konteks lebih lanjut.
Faktor Lain yang Menentukan Kinerja AI
Spesifikasi CPU, GPU, atau NPU tidak berdiri sendiri. AI membutuhkan data untuk dipindahkan, disimpan sementara, dan diproses. Karena itu, perangkat dengan akselerator cepat tetap dapat mengalami hambatan ketika komponen lain tidak mampu menyediakan data dengan cukup cepat.
RAM, VRAM, dan bandwidth memori
Model AI dan data masukan membutuhkan ruang memori. RAM yang terlalu kecil dapat membuat sistem sering memindahkan data ke penyimpanan, sedangkan VRAM yang terbatas dapat membatasi ukuran model atau resolusi pekerjaan pada GPU diskret. Pada perangkat dengan memori terpadu, CPU dan GPU dapat berbagi kapasitas memori, tetapi kapasitas total serta bandwidth tetap menjadi faktor penting.
Bandwidth memori menentukan seberapa cepat data dapat disediakan kepada unit komputasi. Dalam sejumlah beban kerja, kecepatan membaca dan menulis data dapat menjadi hambatan sebelum kemampuan komputasi prosesor mencapai batasnya. Karena itu, dua perangkat dengan GPU serupa dapat menunjukkan hasil berbeda akibat konfigurasi memori dan batas daya yang tidak sama.
Konsumsi daya dan sistem pendinginan
Proses AI yang berat dapat menghasilkan panas. Jika sistem pendinginan tidak mampu menjaga suhu, perangkat akan menurunkan kecepatan kerja untuk mengendalikan temperatur. Kondisi ini membuat performa berkelanjutan berbeda dari hasil pengujian singkat. Laptop tipis, misalnya, dapat memiliki batas daya dan ruang pendinginan yang berbeda dari desktop dengan ukuran komponen yang sebanding.
Model, runtime, dan optimasi perangkat lunak
Model yang lebih besar tidak selalu menghasilkan jawaban yang lebih baik untuk setiap tugas, tetapi umumnya membutuhkan sumber daya lebih besar. Teknik seperti kuantisasi dapat mengurangi kebutuhan memori dan mempercepat inferensi pada perangkat yang mendukungnya, dengan kemungkinan perubahan kualitas hasil. Runtime dan driver juga harus menyediakan jalur yang sesuai agar model dapat menggunakan akselerator secara efektif.
Artinya, kompatibilitas perlu diperiksa sampai tingkat aplikasi dan model. Dukungan NPU pada sistem belum tentu berarti semua aplikasi dapat menggunakannya. Hal serupa berlaku pada GPU: aplikasi perlu mendukung API, framework, dan pustaka komputasi yang sesuai dengan perangkat.
AI Lokal atau Cloud: Kapan Memilihnya?
CPU, GPU, dan NPU dapat membantu menjalankan AI di perangkat, tetapi tidak semua pekerjaan harus diproses secara lokal. Model lokal dapat mengurangi ketergantungan pada koneksi internet, memberi respons cepat untuk tugas tertentu, dan membatasi pengiriman data ke server. Keuntungan tersebut bergantung pada ukuran model, kemampuan perangkat, serta cara aplikasi menangani data.
Layanan cloud biasanya menyediakan akses ke model dan sumber daya komputasi yang lebih besar tanpa mengharuskan pengguna membeli perangkat keras khusus. Sebagai gantinya, penggunaan cloud membutuhkan koneksi jaringan dan dapat melibatkan biaya layanan atau pemrosesan data pada server penyedia. Untuk dokumen sensitif, pengguna perlu memeriksa kebijakan privasi, masa penyimpanan, dan pengaturan penggunaan data.
Pendekatan lokal dan cloud juga dapat digabungkan. Aplikasi bisa menjalankan fitur ringan pada perangkat lalu mengirim tugas yang lebih berat ke server. Karena itu, jangan menganggap label “AI lokal” sebagai jaminan bahwa seluruh proses selalu berlangsung tanpa internet. Periksa dokumentasi dan pengaturan aplikasi yang digunakan.
Cara Menguji Performa CPU, GPU, dan NPU
Benchmark sintetis berguna untuk membandingkan kemampuan komputasi, tetapi pengujian tersebut belum tentu mencerminkan aktivitas sehari-hari. Untuk mendapatkan gambaran yang lebih akurat, gunakan aplikasi, model, dan jenis masukan yang memang akan dipakai. Pastikan pengaturan perangkat sama agar hasilnya dapat dibandingkan secara wajar.
- Tentukan tugas yang akan diuji. Pilih contoh yang relevan, seperti transkripsi, pengenalan gambar, pemrosesan video, atau ringkasan teks.
- Gunakan model dan masukan yang sama. Perbedaan ukuran model, kualitas data, dan pengaturan dapat mengubah hasil secara signifikan.
- Periksa akselerator yang benar-benar aktif. Gunakan indikator sistem atau alat pemantauan yang tersedia untuk mengetahui apakah beban berjalan pada CPU, GPU, atau NPU.
- Catat waktu dan konsistensi hasil. Ukur waktu pemrosesan, jeda respons, dan kestabilan ketika tugas diulang, bukan hanya satu percobaan.
- Amati daya dan suhu. Perhatikan konsumsi energi, panas, kebisingan kipas, dan perubahan performa setelah perangkat bekerja beberapa menit.
- Nilai kualitas keluaran. Kecepatan yang tinggi tidak berguna jika hasil transkripsi, pengenalan, atau ringkasan menjadi jauh kurang akurat untuk kebutuhan pengguna.
Pengujian juga sebaiknya membedakan kondisi pertama kali dijalankan dan kondisi setelah model atau data sudah dimuat. Waktu inisialisasi, pemuatan model, serta proses komputasi utama dapat memiliki karakteristik berbeda. Catatan sederhana tentang waktu respons, penggunaan memori, daya, dan kualitas hasil sering lebih bermanfaat daripada hanya melihat satu angka puncak dari materi pemasaran.
Panduan Memilih Perangkat untuk Kebutuhan AI
Sebelum membeli perangkat baru, tentukan terlebih dahulu jenis pekerjaan yang paling sering dilakukan. Pengguna yang hanya memakai fitur AI ringan mungkin tidak membutuhkan GPU diskret. Kreator konten, pengembang, atau peneliti yang menjalankan model besar secara lokal dapat lebih terbantu oleh GPU dengan kapasitas memori memadai. NPU menjadi nilai tambah ketika aplikasi sehari-hari benar-benar mendukung akselerator tersebut.
- Untuk pekerjaan umum: prioritaskan CPU yang memadai, RAM cukup, penyimpanan yang cepat, dan daya tahan baterai. NPU dapat menjadi tambahan yang bermanfaat, tetapi periksa fitur yang benar-benar tersedia.
- Untuk AI lokal berukuran kecil hingga menengah: perhatikan dukungan runtime, kapasitas RAM atau memori terpadu, serta kompatibilitas model. GPU atau NPU dapat dipilih berdasarkan aplikasi yang akan digunakan.
- Untuk model besar dan pekerjaan kreatif: periksa kemampuan GPU, kapasitas VRAM, bandwidth memori, pendinginan, dan batas daya. Kapasitas memori sering sama pentingnya dengan kecepatan komputasi.
- Untuk mobilitas dan penggunaan sepanjang hari: pertimbangkan efisiensi energi, suhu, bobot perangkat, dan kemampuan menjalankan fitur AI tanpa menguras baterai secara berlebihan.
Jangan menjadikan jumlah TOPS atau nama generasi prosesor sebagai satu-satunya dasar keputusan. Bandingkan hasil pengujian pada aplikasi yang digunakan, pastikan dukungan perangkat lunak tersedia, dan pertimbangkan biaya keseluruhan. Perangkat yang lebih mahal belum tentu memberi manfaat sebanding jika akseleratornya jarang dipakai.
Kesimpulan
CPU, GPU, dan NPU memiliki fungsi yang saling melengkapi dalam pemrosesan AI. CPU menawarkan fleksibilitas dan mengoordinasikan aplikasi, GPU menyediakan kemampuan paralel untuk beban komputasi yang besar, sedangkan NPU mengoptimalkan operasi AI tertentu dengan mempertimbangkan efisiensi daya. Sistem dapat menggunakan satu atau beberapa komponen sekaligus sesuai dukungan aplikasi dan perangkat lunak.
Untuk memilih perangkat, lihat keseluruhan sistem: kompatibilitas model, kapasitas dan bandwidth memori, pendinginan, konsumsi daya, serta kualitas hasil. Uji dengan pekerjaan yang benar-benar dibutuhkan, bukan hanya mengandalkan klaim spesifikasi. Dengan memahami pembagian peran tersebut, pengguna dapat menentukan apakah lebih membutuhkan CPU yang kuat, GPU dengan memori besar, NPU yang efisien, atau kombinasi ketiganya.