Alternatif Memuat Dataset Besar

Mungkin kita pernah merasakan (termasuk saya), sebelum melakukan proses komputasi dan membuat model dari machine learning biasanya kita memuat dataset yang ada terlebih dahulu. Proses ini ternyata membutuhkan sumber daya yang besar bahkan sebelum melakukan proses komputasi model pada Machine Learning. Hal ini dikarenakan keterbatasan sumber daya. Sumber daya disini maksudnya adalah perangkat keras yang digunakan. Sangat terbatas mulai dari sisi RAM atau mungkin juga hard disk. Sempat merasakan juga ketika memuat berkas CSV dengan besar ratusan mega membuat komputer kita nge-hang ?. Ini baru ratusan mega belum sampai gigaan.

Continue reading