An Intelligent Real-Time System for Exam Cheating Detection using Computer Vision and Deep Neural Networks

An Intelligent Real-Time System for Exam Cheating Detection using Computer Vision and Deep Neural Networks

Abdulghani Abied، AllaEddin Gribi، Malak Khalaf

DOI: https://doi.org/10.64489/2knw3n89

الملخص

لقد أحدث التحول الرقمي السريع في التعليم تحديات جديدة أمام النزاهة الأكاديمية أثناء الامتحانات. لم تعد المراقبة التقليدية التي تعتمد فقط على الإشراف البشري كافية بسبب الأعداد الكبيرة للطلاب وأساليب الغش المتطورة. يهدف هذا البحث إلى تطوير نظام متكامل للكشف عن الغش في الزمن الحقيقي يعتمد على الرؤية الحاسوبية والتعلم العميق. يدمج النظام تقنيات كشف الأجسام (YOLOv11)، تقدير الوضعيات (Media Pipe)، تحليل اتجاه الرأس باستخدام خوارزمية Perspective-n-Point، وتقنية (Ghostface Net) للتعرف على الوجه. يقوم النظام بمعالجة بث الفيديو المباشر لتحديد السلوكيات المشبوهة مثل النظر بعيدًا، قرب اليد من الوجه، والتفاعل مع الأشياء غير المصرح بها مثل الهواتف المحمولة والكتب. تعتمد آلية حساب درجة الشك متعددة المكونات على أوزان نسبية: اتجاه الرأس (75%)، قرب اليد من الوجه (15%)، وتفاعل اليد مع الأشياء (10%) لإنتاج درجة شك موحدة. ويحقق النظام معدل إطارات يدعم التشغيل في الزمن الحقيقي (16.98 إطار/ثانية) يضمن سلاسة العرض واستجابة فورية عبر واجهة برمجية مطورة باستخدام Flask، مع تقليل الإنذارات الكاذبة عبر التنعيم الزمني باستخدام متوسط الحركة الأسي المعدل (EMA) وآلية إزالة التكرار. كما يلتزم النظام بمعايير الخصوصية عبر سياسة يتم فيها تخزين الإطارات المشبوهة فقط مع حذف تلقائي للبيانات لضمان أمن معلومات الطلاب. يمثل هذا العمل مساهمة عملية وأكاديمية في تعزيز النزاهة الأكاديمية وتقليل الأخطاء البشرية في مراقبة الاختبارات.

Abstract

The rapid digital transformation in education has introduced new challenges to academic integrity during examinations. Traditional monitoring that relies solely on human supervision is no longer sufficient due to the large number of students and increasingly sophisticated cheating methods. This study aims to develop an integrated real-time cheating detection system based on computer vision and deep learning. The system combines object detection (YOLOv11), pose estimation (Media Pipe), head orientation analysis using the Perspective-n-Point algorithm, and (Ghostface Net) for facial recognition. The system processes live video streams to identify suspicious behaviors such as looking away, hand proximity to the face, and interaction with unauthorized objects like mobile phones and books. A multi-component suspicion scoring mechanism assigns relative weights: head orientation (75%), hand proximity to the face (15%), and hand-object interaction (10%), producing a unified suspicion score. The system sustains real-time operation (16.98 FPS), ensuring smooth display and immediate responsiveness through a Flask-based interface, while reducing false alarms via temporal smoothing with Exponential Moving Average (EMA) and a deduplication mechanism. Furthermore, the system adheres to privacy standards by storing only suspicious frames and automatically deleting data to safeguard student information. This work represents a practical and academic contribution to strengthening academic integrity and reducing human errors in exam monitoring.

الكلمات المفتاحية: كشف الغش، الرؤية الحاسوبية، YOLOv11، Media Pipe، نظام في الزمن الحقيقي، النزاهة الأكاديمية.