مستيقظ: ماسح أمان LLM مفتوح المصدر

Vigil عبارة عن ماسح أمني مفتوح المصدر يكتشف الحقن الفوري وعمليات كسر الحماية والتهديدات المحتملة الأخرى لنماذج اللغات الكبيرة (LLMs).

يحدث الحقن الفوري عندما يؤثر المهاجم بنجاح على LLM باستخدام مدخلات معدة خصيصًا. يؤدي هذا إلى تحقيق LLM عن طريق الخطأ للأهداف التي حددها المهاجم.

“أنا متحمس للغاية بشأن إمكانيات حاملي شهادات LLM، ولكنني لاحظت أيضًا الحاجة إلى ممارسات أمنية أفضل حول التطبيقات المبنية حولهم والبيانات التي نصل إليها في التطبيقات. لقد منحني هذا المشروع فرصة عظيمة لإنشاء شيء يجمع بين الذكاء الاصطناعي والأمن السيبراني. نأمل أن يمنح هذا الباحثين والمطورين الأمنيين الآخرين السبق في فحص الإجراءات الأمنية الحالية للمدخلات والمخرجات في LLM. آدم إم، مبتكر Vigil، هو “ما هو ممكن” أكثر من أي شيء أتوقع استخدامه مباشرة في الإنتاج. قال سوانتا لـ Help Net Security.

أبرز مميزات برنامج Vigil LLM Security Scanner

• تصميم وحدات وقابلة للتمديد
• YARA (الاستدلال)، يدعم تشابه قواعد بيانات المتجهات، ونموذج المحولات، وتشابه الاستجابة الفورية
• يمكن إضافة الماسحات الضوئية المخصصة باستخدام القليل من التعليمات البرمجية
• استخدم المضيف الذاتي أو OpenAI
• يتم توفير مجموعات البيانات المضمنة وتوقيعات YARA
• يمكن تحديث مجموعة من ماسحات Vector DB تلقائيًا بالتعليمات المكتشفة عند الاقتضاء
• قابلية عالية للتكوين (تمكين/تعطيل الماسحات الضوئية، وتغيير الحدود، واستخدام نماذج تضمين مختلفة، وما إلى ذلك)
• يمكن توسيع الماسحات الضوئية المخصصة بسهولة عن طريق إضافة توقيعات YARA جديدة أو تحديث قاعدة بيانات المتجهات

الوقفة الاحتجاجية متاحة للتحميل جيثب. يوفر هذا المستودع أيضًا توقيعات الكشف ومجموعات البيانات اللازمة لبدء الاستضافة الذاتية.

تخطط Swanta لمواصلة تطوير Vigil في المستقبل. وعلى وجه التحديد، فهو يعمل على تطبيق مصمم لتقييم Vigil وماسحاتها الضوئية المختلفة مقابل مجموعات البيانات المخصصة. يقوم هذا التطبيق بتقييم ميزات مثل الإيجابيات الكاذبة والمقاييس الأخرى ذات الصلة. بالإضافة إلى ذلك، تستكشف سفاندا طرقًا للكشف الفوري عن الحقن استنادًا إلى الصور.

أدوات إضافية مفتوحة المصدر يجب مراعاتها: