Jom belajar NLP dalam Machine learning

 Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

Sumber:

https://www.educba.com/nlp-and-machine-learning/

Natural Language Processing (NLP) memang satu cabang AI yang sangat menarik sebab ia buat mesin faham dan proses bahasa manusia — macam kita bercakap, menulis, atau baca.

Apa itu NLP?

Natural Language Processing (NLP) ialah bidang dalam AI yang fokus pada interaksi antara komputer dan bahasa manusia. Tujuannya supaya komputer boleh:

Memahami  teks atau ucapan manusia

Menjawab soalan

Menterjemah bahasa

Membuat ringkasan teks

Mengenal pasti emosi dalam teks

Contoh aplikasi NLP yang kita selalu guna:

Google Translate

Siri, Alexa, Google Assistant

Chatbot customer service

Sistem pengecaman suara (speech-to-text)

Komponen Utama NLP

1. Tokenization

Pisahkan ayat jadi perkataan atau frasa kecil.

2. Part-of-Speech Tagging (POS Tagging)

Kenal pasti fungsi perkataan — kata nama, kerja, adjektif, dan lain-lain.

3. Named Entity Recognition (NER)

Kenal pasti nama orang, tempat, organisasi dalam teks.

4. Parsing

Strukturkan ayat untuk faham hubungan antara perkataan.

5. Sentiment Analysis

Tentukan sama ada teks itu positif, negatif, atau neutral.

6. Machine Translation

Tukar teks dari satu bahasa ke bahasa lain.

Bagaimana NLP Berfungsi?

Mula-mula, teks dibersihkan (buang tanda baca, huruf besar, dsb)

Kemudian, data diproses menggunakan algoritma statistik, pembelajaran mesin, atau model deep learning

Model deep learning terkini seperti transformers (contoh: GPT, BERT) sangat berkuasa dalam faham konteks bahasa manusia

Cara Mudah Mula Belajar NLP

1. Fahami Python dan Pakej Popular NLP:

NLTK (Natural Language Toolkit)

spaCy

Transformers (dari Hugging Face)

2. Cuba projek mudah:

Buat chatbot asas

Analisis sentimen Twitter

Terjemahan ayat

3. Kursus dan Tutorial:

Coursera: Natural Language Processing Specialization (deeplearning.ai)

YouTube: Sentdex, Data School (tutorial praktikal)

Hugging Face Course (percuma dan sangat bagus)

Apakah perbezaan antara machine learning dan deep learning

 Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

Sumber: https://www.alltius.ai/glossary/what-is-deep-learning

Perbezaan antara Machine Learning (ML) dan Deep Learning (DL) boleh dijelaskan dari beberapa aspek utama:

1. Definisi Asas

Machine Learning: Subbidang dalam kecerdasan buatan (AI) yang memberi keupayaan kepada komputer untuk belajar daripada data tanpa perlu diprogram secara eksplisit. Contoh: algoritma seperti Decision Tree, Random Forest, SVM, dan K-Nearest Neighbors.

Deep Learning: Subset dalam Machine Learning yang menggunakan neural networks berlapis-lapis (deep neural networks) untuk memproses data dalam jumlah besar dan kompleks.

2. Struktur Model

ML: Biasanya menggunakan model yang lebih mudah dan "shallow" (kurang lapisan), seperti Linear Regression atau Decision Tree.

DL: Menggunakan rangkaian neural yang mendalam (banyak lapisan), seperti CNN (Convolutional Neural Network) untuk imej atau RNN (Recurrent Neural Network) untuk data berurutan.

3. Keperluan Data

ML: Berfungsi dengan baik walaupun dengan jumlah data yang sederhana.

DL: Memerlukan jumlah data yang besar untuk mencapai prestasi yang tinggi kerana struktur model yang kompleks.

4. Perlu Feature Engineering

ML: Memerlukan feature engineering yang signifikan (manusia perlu tentukan ciri-ciri penting daripada data).

DL: Boleh secara automatik mengekstrak ciri-ciri penting daripada data mentah, seperti dari gambar atau teks.

5. Kuasa Pemprosesan

ML: Kurang memerlukan kuasa pemprosesan yang tinggi.

DL: Memerlukan GPU atau pemprosesan berprestasi tinggi kerana modelnya besar dan kompleks.

6. Contoh Penggunaan

ML: Ramalan harga rumah, pengesanan penipuan, klasifikasi emel spam.

DL: Pengecaman wajah, pemprosesan bahasa semula jadi (NLP), pemanduan sendiri (self-driving cars).

Ringkasan:

Ciri Machine Learning Deep Learning

Subset AI ML

Struktur Model mudah Neural network mendalam

Keperluan Data Rendah ke sederhana Sangat tinggi

Feature Engineering Perlu Tidak perlu (automatik)

Kuasa Komputer Sederhana Tinggi (GPU)

Contoh Spam detection Voice assistants, Face recognition.

Apakah deep learning dalam Artificial intelligence?

 Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

Sumber:

https://www.v7labs.com/blog/machine-learning-guide

Deep learning adalah salah satu cabang dari Artificial Intelligence (AI), lebih tepatnya merupakan bagian dari machine learning (pembelajaran mesin).

Berikut penjelasan secara bertingkat:

1. Artificial Intelligence (AI): Merupakan bidang ilmu komputer yang bertujuan membuat sistem atau mesin dapat meniru kecerdasan manusia, seperti pengambilan keputusan, pengenalan suara, penglihatan, dan sebagainya.

2. Machine Learning (ML): Adalah subbidang dari AI yang memungkinkan mesin belajar dari data tanpa perlu diprogram secara eksplisit.

3. Deep Learning (DL): Merupakan subbidang dari machine learning yang menggunakan artificial neural networks (jaringan saraf tiruan) dengan banyak lapisan (deep = dalam). Deep learning sangat efektif dalam memproses data dalam jumlah besar dan kompleks, seperti:

Pengolahan gambar (image recognition)

Pengolahan suara (speech recognition)

Penerjemahan otomatis (machine translation)

Sistem rekomendasi

Mobil otonom (self-driving cars)

Jadi, deep learning adalah bagian dari AI yang meniru cara kerja otak manusia melalui jaringan saraf tiruan untuk menyelesaikan tugas-tugas kompleks.

Apa contoh penggunaan sebenar atau aplikasi sebenar machine learning dalam industri?

Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

sumber:

https://www.qlik.com/us/augmented-analytics/machine-learning-vs-ai

Berikut ialah beberapa contoh penggunaan sebenar pembelajaran mesin (Machine Learning) dalam pelbagai industri

1. Industri Kesihatan

Diagnosis penyakit: Model ML menganalisis imbasan MRI atau X-ray untuk mengesan kanser, tumor, dsb.

Ramalan penularan penyakit: Memprediksi wabak seperti COVID-19.

Perubatan diperibadikan: Mencadangkan rawatan berdasarkan data genetik dan sejarah pesakit.

2. Industri Kewangan

Pengesanan penipuan (fraud detection): Mengenalpasti transaksi luar biasa.

Penilaian risiko kredit: Menentukan kelayakan pinjaman menggunakan data pelanggan.

Dagangan algoritma: Gunakan ML untuk meramalkan turun naik pasaran saham.

3. Industri Peruncitan & E-Dagang

Cadangan produk: Sistem seperti Amazon dan Lazada mencadangkan produk berdasarkan sejarah pembelian.

Ramalan inventori: Menentukan jumlah stok berdasarkan corak permintaan.

Analisis sentimen pelanggan: Menilai ulasan produk untuk memahami kepuasan pelanggan.

4. Industri Automotif

Kereta pandu sendiri (self-driving cars): Gunakan pembelajaran mendalam dan pembelajaran penguatan untuk navigasi, pengesanan objek, dan pengambilan keputusan.

Penyelenggaraan ramalan (predictive maintenance): Meramal kerosakan komponen kenderaan sebelum berlaku.

5. Industri Pembuatan

Kawalan kualiti automatik: Kamera dan ML mengesan kecacatan produk secara masa nyata.

Optimasi rantaian bekalan: Ramalan permintaan dan penjadualan penghantaran yang lebih cekap.

6. Industri Pertanian

Pemantauan tanaman pintar: Guna drone dan ML untuk menilai kesihatan tanaman.

Ramalan hasil tanaman: Berdasarkan cuaca, tanah, dan data pertanian.

7. Industri Teknologi dan Media

Pengecaman wajah dan suara: Digunakan dalam telefon pintar, keselamatan, dan sistem rumah pintar.

Terjemahan automatik dan chatbot: Seperti Google Translate atau chatbot perkhidmatan pelanggan.

Apakah kaedah Pembelajaran Mesin (Machine Learning) dalam Artificial intelligent

Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

sumber:https://www.v7labs.com/blog/machine-learning-guide

Dalam bidang Kecerdasan Buatan (Artificial Intelligence, AI), Pembelajaran Mesin (Machine Learning, ML) ialah satu pendekatan utama yang membolehkan sistem komputer belajar daripada data tanpa diprogramkan secara eksplisit. Terdapat beberapa kaedah utama dalam pembelajaran mesin, iaitu:

1. Pembelajaran Diselia (Supervised Learning)

Model dilatih menggunakan data berlabel (data input dan output diketahui).

Digunakan untuk ramalan dan pengelasan.

Contoh algoritma:

Linear Regression

Logistic Regression

Decision Trees

Support Vector Machines (SVM)

Neural Networks

2. Pembelajaran Tidak Diselia (Unsupervised Learning)

Model dilatih menggunakan data tidak berlabel.

Digunakan untuk pengelompokan (clustering), pengurangan dimensi, atau pengesanan corak tersembunyi.

Contoh algoritma:

K-Means

Hierarchical Clustering

Principal Component Analysis (PCA)

Autoencoders

3. Pembelajaran Penguatan (Reinforcement Learning)

Ejen belajar dengan berinteraksi dengan persekitaran dan menerima ganjaran atau penalti.

Sesuai untuk pengoptimuman keputusan dalam jangka masa panjang.

Contoh:

Q-Learning

Deep Q-Networks (DQN)

Proximal Policy Optimization (PPO)

4. Pembelajaran Semi-Diselia (Semi-Supervised Learning)

Menggabungkan data berlabel dan tidak berlabel untuk latihan.

Digunakan apabila pelabelan data mahal atau sukar.

5. Pembelajaran mendalam (Deep Learning)

Subset pembelajaran mesin yang menggunakan rangkaian neural tiruan berlapis-lapis (deep neural networks).

Sangat berkuasa untuk imej, suara, dan pemprosesan bahasa semula jadi.

Dilemma "fresh graduate" dan gaji

 Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

Pendapatan graduan di Malaysia yang masih dianggap kecil, terutamanya pada peringkat awal kerjaya, boleh dilihat dari pelbagai perspektif. Secara keseluruhan, terdapat beberapa faktor yang menyumbang kepada fenomena ini:

Sumber gambar:

https://www.hmetro.com.my/amp/mutakhir/2022/02/811666/ksm-terima-4661-aduan-majikan-tak-bayar-lewat-bayar-gaji

Permintaan dan penawaran pekerjaan: Walaupun jumlah graduan terus meningkat setiap tahun, permintaan untuk pekerjaan dalam sektor-sektor tertentu tidak seimbang dengan penawaran graduan yang ada. Hal ini menyebabkan persaingan yang tinggi untuk mendapatkan pekerjaan yang baik dan gaji yang lebih tinggi.

Kualiti pendidikan dan kemahiran: Banyak graduan masih menghadapi cabaran dalam memperoleh kemahiran yang relevan dengan keperluan industri. Ini bermakna, walaupun mereka memiliki ijazah, mereka mungkin tidak dilatih dengan kemahiran teknikal dan praktikal yang dicari oleh majikan. Oleh itu, mereka lebih cenderung memperoleh gaji permulaan yang lebih rendah.

Ekonomi negara: Gaji permulaan yang rendah juga dipengaruhi oleh keadaan ekonomi negara. Walaupun Malaysia mempunyai ekonomi yang berkembang, ia tidak dapat sepenuhnya menawarkan gaji yang lebih tinggi bagi semua sektor, terutamanya bagi sektor-sektor yang banyak melibatkan pekerjaan yang tidak memerlukan kemahiran tinggi.

Kekurangan pekerjaan berpendapatan tinggi: Sektor-sektor yang menawarkan gaji tinggi seperti teknologi, kewangan, dan farmaseutikal, walaupun semakin berkembang, masih belum cukup besar untuk menampung jumlah graduan. Kebanyakan pekerjaan yang ada pada masa ini cenderung memberi gaji yang lebih rendah.

Kos sara hidup yang tinggi: Di bandar-bandar besar seperti Kuala Lumpur, kos sara hidup yang tinggi juga memberi tekanan kepada graduan yang baru memasuki dunia pekerjaan. Walaupun ada peningkatan dalam gaji mereka, ia sering kali tidak mencukupi untuk menampung kos kehidupan yang meningkat.

Namun, walaupun cabaran ini wujud, ada juga inisiatif seperti peningkatan program latihan dan pembangunan kemahiran, serta sokongan kerajaan untuk menggalakkan sektor-sektor berpendapatan tinggi yang dapat membantu memperbaiki keadaan ini pada masa depan.

Pendek kata, walaupun pendapatan graduan mungkin kecil sekarang, ini bukan sesuatu yang statik. Banyak faktor boleh berubah dan membantu meningkatkan gaji graduan jika kemahiran dan pengalaman mereka selaras dengan keperluan pasaran kerja.

Jom kita berkongsi sedikit ilmu tentang "artificial intelligence"

Dengan Nama Allah Yang Maha Pemurah Lagi Maha Pengasihani

Peringatan buat diriku yang lupa

 Artificial Intelligence (AI) adalah bidang yang semakin berkembang dan memberi impak besar dalam kehidupan seharian kita. AI merujuk kepada keupayaan mesin untuk melaksanakan tugas yang memerlukan kecerdasan manusia, seperti belajar, membuat keputusan, memahami bahasa, dan banyak lagi.

Ada beberapa konsep utama dalam AI yang mungkin menarik untuk anda fahami:

Pembelajaran Mesin (Machine Learning): Ini adalah cabang AI yang memberi tumpuan kepada penggunaan algoritma untuk "melatih" mesin dalam memahami data dan membuat keputusan berdasarkan pola-pola yang ditemui. Sebagai contoh, dalam e-dagang, AI boleh digunakan untuk mencadangkan produk berdasarkan pembelian lalu.

Pembelajaran Mendalam (Deep Learning): Salah satu bentuk pembelajaran mesin yang lebih kompleks, di mana mesin menggunakan rangkaian saraf tiruan (neural networks) untuk belajar dari data yang sangat besar. Ini digunakan dalam aplikasi seperti pengecaman gambar, suara, dan pemanduan autonomi.

Pemprosesan Bahasa Semula Jadi (Natural Language Processing - NLP): Teknologi ini membolehkan mesin memahami dan berkomunikasi dengan bahasa manusia. Contohnya, teknologi yang digunakan dalam pembantu maya seperti Siri atau Google Assistant.

Robotik: Menggunakan AI untuk mengawal robot dan memberi mereka keupayaan untuk berinteraksi dengan dunia fizikal, melakukan tugas seperti pembersihan, penghantaran, dan kerja industri.

Kecerdasan Buatan Am (Artificial General Intelligence - AGI): Ini adalah bentuk AI yang lebih maju, yang berkemampuan untuk melakukan pelbagai tugas yang memerlukan kecerdasan seperti manusia. AGI masih dalam peringkat kajian dan pembangunan.

Jika anda berminat untuk belajar lebih mendalam, ada banyak sumber percuma seperti kursus dalam talian (Coursera, edX), artikel, dan video YouTube yang boleh membantu memberi pemahaman yang lebih jelas.