AI Security: Serangan Baru pada LLM, RAG, dan Agentic AI
AI Security kini menjadi isu penting dalam dunia keamanan siber. Perusahaan tidak lagi hanya menghadapi risiko pada server, jaringan, API, database, dan aplikasi web. Setelah penggunaan large language model atau LLM semakin luas, risiko keamanan juga muncul pada lapisan baru seperti prompt, data pelatihan, embedding, vector database, retrieval-augmented generation atau RAG, serta integrasi AI dengan sistem internal perusahaan.
Banyak organisasi mulai memakai AI untuk chatbot, analisis dokumen, layanan pelanggan, coding assistant, pencarian data internal, dan otomasi kerja. Penggunaan ini memberi manfaat besar, tetapi juga membuka permukaan serangan baru. Model AI dapat dimanipulasi melalui instruksi berbahaya, diberi akses berlebihan, atau dipakai untuk mengambil informasi sensitif dari sistem perusahaan.
Dalam konteks inilah AI Security perlu dipahami bukan hanya sebagai tren teknologi, tetapi sebagai bagian dari strategi keamanan informasi. AI harus diperlakukan sebagai sistem digital yang memiliki risiko akses, data, identitas, audit, dan tata kelola.
Apa Itu AI Security?
AI Security adalah pendekatan untuk melindungi sistem berbasis kecerdasan buatan dari penyalahgunaan, manipulasi, kebocoran data, dan akses tidak sah. Fokusnya tidak hanya pada model AI, tetapi juga pada seluruh ekosistem yang mendukungnya, termasuk data, aplikasi, API, plugin, agent, retrieval system, dan infrastruktur tempat AI berjalan.
Dalam sistem tradisional, pengamanan biasanya berpusat pada aplikasi, database, jaringan, dan pengguna. Pada sistem AI, ruang risikonya lebih luas. Serangan dapat terjadi melalui prompt, dokumen yang diindeks ke RAG, output model yang tidak divalidasi, atau akses AI ke sistem lain seperti email, kalender, CRM, tiket dukungan, dan layanan cloud.
AI Security juga berbeda karena model AI dapat menghasilkan jawaban yang tampak meyakinkan, tetapi belum tentu aman. Output AI bisa berisi data sensitif, kode berbahaya, instruksi yang salah, atau respons yang dapat dimanfaatkan oleh penyerang. Karena itu, setiap implementasi AI di perusahaan perlu memiliki kontrol keamanan yang jelas.
Mengapa LLM Menjadi Target Serangan Baru?
LLM menjadi target karena model ini bekerja berdasarkan instruksi bahasa alami. Penyerang tidak selalu perlu mengeksploitasi celah teknis seperti SQL injection atau remote code execution. Dalam banyak kasus, penyerang cukup menulis instruksi tertentu agar model mengabaikan aturan sistem, membuka informasi tersembunyi, atau menjalankan tindakan yang tidak semestinya.
Salah satu risiko utama adalah prompt injection. Serangan ini terjadi ketika penyerang menyisipkan instruksi yang dirancang untuk memanipulasi perilaku model. Contohnya, pengguna dapat mencoba meminta model mengabaikan instruksi sebelumnya, membocorkan system prompt, atau mengambil data yang seharusnya tidak ditampilkan.
Risiko lain adalah insecure output handling. Masalah ini terjadi ketika output dari LLM langsung dipakai oleh sistem lain tanpa proses validasi. Jika output tersebut berisi perintah, kode, query, atau format data berbahaya, sistem downstream dapat terdampak. Dalam skenario buruk, kondisi ini dapat memicu kebocoran data, manipulasi perintah, atau perubahan sistem yang tidak sah.
Risiko AI Security pada Sistem RAG
RAG atau retrieval-augmented generation sering digunakan agar AI dapat menjawab pertanyaan berdasarkan dokumen internal perusahaan. Sistem ini biasanya menggabungkan LLM dengan vector database dan mekanisme pencarian dokumen. Secara fungsional, RAG sangat berguna. Namun dari sisi AI Security, RAG juga membawa risiko baru.
Risiko pertama adalah dokumen sensitif dapat ikut terindeks. Jika kontrol akses tidak diterapkan dengan benar, pengguna biasa bisa menerima jawaban yang berasal dari dokumen rahasia. Masalah ini sering terjadi ketika sistem RAG hanya fokus pada akurasi pencarian, tetapi belum menerapkan permission filtering.
Risiko kedua adalah data poisoning. Penyerang dapat memasukkan dokumen palsu, instruksi tersembunyi, atau konten manipulatif ke dalam basis pengetahuan. Ketika dokumen tersebut diambil oleh sistem RAG, model dapat menghasilkan jawaban yang salah atau mengikuti instruksi berbahaya dari dokumen tersebut.
Risiko ketiga adalah data exfiltration. Sistem RAG yang tidak memiliki pembatasan dapat menjadi jalur untuk mengambil informasi internal secara bertahap. Penyerang bisa mengajukan pertanyaan kecil secara berulang untuk merekonstruksi data penting, seperti kebijakan internal, data pelanggan, konfigurasi sistem, atau informasi bisnis sensitif.
Risiko pada Agentic AI
Agentic AI memiliki risiko yang lebih tinggi dibandingkan LLM biasa. Pada sistem ini, AI tidak hanya menjawab pertanyaan, tetapi juga dapat mengambil tindakan. AI dapat membuat tiket, mengirim email, mengakses database, memanggil API, menjalankan skrip, membuka dokumen, atau mengubah konfigurasi tertentu.
Kemampuan ini membuat AI lebih produktif, tetapi juga lebih berbahaya jika tidak dikendalikan. Risiko utama pada agentic AI adalah excessive agency, yaitu kondisi ketika AI diberi hak akses atau kewenangan yang terlalu luas. Jika model berhasil dimanipulasi, dampaknya tidak berhenti pada jawaban yang salah. AI dapat menjalankan tindakan nyata di sistem perusahaan.
Contohnya, AI agent yang terhubung ke sistem tiket dapat membuat tiket palsu. AI yang terhubung ke email dapat mengirim informasi sensitif. AI yang terhubung ke cloud dapat membaca konfigurasi. AI yang memiliki akses ke database dapat mengambil atau mengubah data. Karena itu, agentic AI harus diperlakukan seperti identitas digital berisiko tinggi.
Lapisan Risiko dalam Arsitektur AI Modern
Secara teknis, ada beberapa lapisan utama yang perlu diperhatikan dalam AI Security.
Pertama, prompt layer. Lapisan ini menjadi titik masuk instruksi pengguna. Risiko muncul ketika pengguna memasukkan instruksi berbahaya, manipulatif, atau bertujuan mengabaikan aturan sistem.
Kedua, retrieval layer. Lapisan ini digunakan pada sistem RAG untuk mencari dokumen relevan. Risiko muncul jika dokumen yang diambil tidak difilter berdasarkan hak akses, sumber, sensitivitas, dan konteks penggunaan.
Ketiga, tool-use layer. Lapisan ini muncul ketika AI diberi akses ke API, email, kalender, sistem tiket, database, atau layanan internal. Risiko terbesar pada lapisan ini adalah tindakan tidak sah akibat instruksi yang dimanipulasi.
Keempat, memory layer. Lapisan ini menyimpan riwayat interaksi, preferensi pengguna, atau konteks percakapan. Jika tidak dikendalikan, memori AI dapat menyimpan informasi sensitif dan menampilkannya kembali kepada pihak yang tidak berhak.
Kelima, output layer. Lapisan ini berkaitan dengan respons yang dihasilkan model. Output AI perlu divalidasi sebelum digunakan oleh manusia, aplikasi, atau sistem otomatis lain.
Cara Mitigasi Risiko AI Security
Mitigasi AI Security harus dilakukan sejak tahap desain, bukan setelah sistem AI berjalan. Pengamanan yang terlambat biasanya sulit diperbaiki karena arsitektur AI sudah telanjur terhubung dengan banyak data dan sistem internal.
Langkah pertama adalah menerapkan input validation. Setiap instruksi pengguna perlu diperiksa untuk mendeteksi pola manipulatif, permintaan data sensitif, atau indikasi prompt injection. Validasi ini tidak harus menghapus fleksibilitas AI, tetapi harus mencegah instruksi berbahaya masuk tanpa kontrol.
Langkah kedua adalah output validation. Jawaban AI tidak boleh langsung dipakai oleh sistem lain tanpa pemeriksaan. Output perlu disaring untuk mencegah kode berbahaya, perintah tidak sah, data sensitif, atau respons yang melanggar kebijakan perusahaan.
Langkah ketiga adalah menerapkan prinsip least privilege. AI hanya boleh diberi akses sesuai kebutuhan. Jika AI hanya perlu membaca dokumen tertentu, jangan berikan akses ke seluruh repositori. Jika AI hanya perlu membuat ringkasan, jangan berikan akses untuk mengubah data.
Langkah keempat adalah menggunakan tool allowlist. Agentic AI hanya boleh memanggil alat atau API yang sudah disetujui. Setiap tindakan penting, seperti mengirim email, mengubah data, menjalankan skrip, atau mengakses dokumen sensitif, sebaiknya membutuhkan persetujuan manusia.
Langkah kelima adalah retrieval filtering. Pada sistem RAG, hasil pencarian harus disaring berdasarkan hak akses pengguna, klasifikasi dokumen, sumber data, dan tingkat sensitivitas. Sistem tidak boleh mengambil dokumen hanya karena dokumen itu relevan secara semantik.
Langkah keenam adalah audit logging. Semua interaksi penting perlu dicatat, termasuk prompt pengguna, dokumen yang diambil, output model, alat yang dipanggil, dan tindakan yang dilakukan. Log ini penting untuk investigasi, kepatuhan, dan evaluasi keamanan.
Praktik Baik untuk Perusahaan
Perusahaan yang ingin memakai AI secara aman perlu membangun tata kelola AI sejak awal. Tim IT, keamanan informasi, legal, kepatuhan, dan unit bisnis perlu memiliki pemahaman yang sama tentang batas penggunaan AI.
Setiap implementasi AI sebaiknya dimulai dengan klasifikasi data. Dokumen internal perlu dibedakan antara publik, internal, rahasia, dan sangat sensitif. Klasifikasi ini akan menentukan dokumen mana yang boleh diindeks, siapa yang boleh mengaksesnya, dan bagaimana sistem AI boleh menggunakannya.
Perusahaan juga perlu membuat kebijakan penggunaan AI. Kebijakan ini harus menjelaskan jenis data yang boleh dimasukkan ke AI, batasan penggunaan AI publik, prosedur penggunaan AI internal, serta tanggung jawab pengguna ketika memakai output AI untuk pekerjaan bisnis.
Selain itu, sistem AI perlu diuji secara berkala. Pengujian dapat mencakup simulasi prompt injection, percobaan ekstraksi data, evaluasi akses RAG, pemeriksaan output berbahaya, dan audit terhadap tindakan AI agent. Pengujian ini membantu perusahaan menemukan celah sebelum dimanfaatkan oleh penyerang.
AI Security Bukan Sekadar Masalah Teknologi
AI Security bukan hanya persoalan teknis. Risiko AI juga berkaitan dengan tata kelola, proses bisnis, budaya keamanan, dan kesiapan organisasi. Sistem AI yang canggih tetap berisiko jika perusahaan tidak memiliki kontrol akses, dokumentasi, pelatihan pengguna, dan mekanisme audit yang memadai.
Perusahaan perlu memahami bahwa AI dapat mempercepat pekerjaan, tetapi juga dapat mempercepat penyebaran kesalahan. AI dapat membantu analisis, tetapi juga dapat memperluas dampak kebocoran data. AI dapat meningkatkan produktivitas, tetapi juga dapat menjadi jalur baru bagi serangan siber.
Karena itu, penggunaan AI di lingkungan bisnis perlu dilakukan secara terukur. Organisasi perlu memastikan bahwa manfaat AI tidak mengorbankan keamanan data, kepatuhan, dan kepercayaan pelanggan.
Butuh evaluasi keamanan AI, RAG, atau sistem otomasi berbasis LLM di perusahaan Anda? richky at mukin.biz membantu organisasi merancang kontrol keamanan, tata kelola, dan mitigasi risiko AI secara praktis dan terukur.
Kesimpulan
AI Security menjadi kebutuhan penting ketika perusahaan mulai menggunakan LLM, RAG, dan agentic AI dalam proses bisnis. Risiko keamanan tidak lagi hanya berada pada aplikasi dan infrastruktur, tetapi juga pada prompt, dokumen, memori, output, dan tindakan otomatis yang dilakukan oleh AI.
Risiko seperti prompt injection, insecure output handling, data poisoning, data exfiltration, dan excessive agency perlu dipahami sejak awal. Semakin luas akses yang diberikan kepada AI, semakin besar pula kebutuhan untuk menerapkan kontrol keamanan.
Mitigasi yang dapat dilakukan meliputi input validation, output validation, least privilege, tool allowlist, retrieval filtering, sensitive data redaction, context isolation, dan audit logging. Dengan pendekatan yang tepat, perusahaan dapat memanfaatkan AI secara produktif tanpa mengabaikan keamanan informasi.
Jika organisasi Anda mulai menggunakan AI untuk chatbot, RAG, otomasi internal, atau agentic AI, evaluasi keamanan perlu dilakukan sejak tahap desain. AI yang aman bukan hanya AI yang pintar menjawab, tetapi AI yang dikendalikan, diaudit, dan dibatasi sesuai kebutuhan bisnis.
FAQ untuk SEO
Apa itu AI Security?
AI Security adalah pendekatan untuk melindungi sistem berbasis AI dari manipulasi, penyalahgunaan, kebocoran data, dan akses tidak sah.
Apa risiko terbesar pada LLM?
Risiko terbesar pada LLM meliputi prompt injection, insecure output handling, kebocoran data sensitif, dan manipulasi output model.
Mengapa RAG memiliki risiko keamanan?
RAG memiliki risiko karena sistem ini mengambil informasi dari dokumen internal. Jika kontrol akses lemah, AI dapat menampilkan data yang seharusnya tidak boleh diakses pengguna.
Apa itu agentic AI?
Agentic AI adalah sistem AI yang dapat mengambil tindakan, seperti memanggil API, membuat tiket, mengirim email, membaca dokumen, atau menjalankan proses otomatis.
Bagaimana cara mengamankan sistem AI perusahaan?
Sistem AI dapat diamankan dengan input validation, output validation, least privilege, tool allowlist, retrieval filtering, audit logging, dan pembatasan akses data.
