Complete near-real-time machine learning - based network intrusion detection system.
Φόρτωση...
Ημερομηνία
2024-10-15
Συγγραφείς
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
ΕΛΜΕΠΑ, Σχολή Μηχανικών (ΣΜΗΧ), Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Επιβλέπων
Περίληψη
The rapid growth of the Internet in recent years has allowed technological advancements, including communication fields by enabling global connectivity in real time, which has broken down geographical barriers and allows communication with anyone, anywhere, at any time. The size of the network data and the corresponding information that gets transmitted though communication channels have significantly increased as a result of these improvements, while technological advancement creates concerns regarding the security of data during transactions, since even the simplest transactions contain sensitive information. The security of the data is constantly under threat, while cyber-crimes are evolving to be more effective and complicated to detect. However, cyber security techniques are under constant enhancement as well. Researchers are investigating and employing a variety of approaches to secure computers and networks in order to protect systems and data. Among the suggested approaches resides the development of systems that analyze the network, monitor for signs of malicious activity, and trigger an alert when they detect potential threats, namely Network Intrusion Detection Systems (NIDSs). Initially, these systems were signature-based detection systems. The signature-based technique refers to maintaining indicative malicious traffic, which may constitute cyber-attacks, in a database and comparing incoming traffic with the stored traffic. Nonetheless, this technique has a drawback: it cannot recognize intrusions if they don't exist in the database, i.e., unknown attacks. To compensate for this problem, Machine Learning (ML) and Deep Learning (DL) techniques were introduced into NIDSs to enhance detection efficacy and potentially identify unknown attacks, namely zero-day attacks, which is among the main reasons why researchers are concentrating increasingly on this appealing method. ML and DL models are trained with network traffic data in order to learn to identify patterns of malicious and benign activity. A challenge of this approach is that ML and DL models should always be trained and tested with modern network traffic in order to achieve improved detection results, while models should also be evaluated in realistic network environments. Although there are numerous studies across the literature that propose and develop NIDS solutions, the majority of them don’t deploy the model after training into a realistic network for validation or they use outdated datasets for the training of the model. This thesis proposes a NIDS that incorporates a model that was developed to detect intrusions with the utilization of the DL method and an in-house dataset developed in our laboratory, which portrays modern network traffic. The dataset was typically divided into training and testing sets and ML metrics such as Accuracy, Recall, Precision and F1-score were used to evaluate the models’ performance during the training and testing phase while the NIDS was also deployed in a realistic network and was evaluated in near-real time conditions. The proposed model showcased promising results, by achieving over 97% rate on the accuracy evaluation metric during the training phase and over 90% when deployed in a realistic network environment and evaluated during a near-real time scenario. By using the proposed NIDS to detect network intrusions, a system administrator may monitor and possibly prevent intrusions in near real-time.
Η ραγδαία ανάπτυξη του Διαδικτύου τα τελευταία χρόνια επέτρεψε την τεχνολογική πρόοδο, συμπεριλαμβανομένων του τομέα της επικοινωνίας, επιτρέποντας την παγκόσμια συνδεσιμότητα σε πραγματικό χρόνο, η οποία κατέρριψε τους γεωγραφικούς φραγμούς και επιτρέπει την επικοινωνία με οποιονδήποτε, οπουδήποτε, ανά πάσα στιγμή. Το μέγεθος των δεδομένων του δικτύου και οι αντίστοιχες πληροφορίες που μεταδίδονται μέσω των καναλιών επικοινωνίας έχουν αυξηθεί σημαντικά ως αποτέλεσμα αυτών των βελτιώσεων, ενώ η τεχνολογική πρόοδος δημιουργεί ανησυχίες σχετικά με την ασφάλεια των δεδομένων κατά τη διάρκεια αυτών των συναλλαγών, καθώς ακόμη και οι πιο απλές συναλλαγές περιέχουν ευαίσθητες πληροφορίες. Η ασφάλεια των δεδομένων απειλείται συνεχώς, ενώ τα κυβερνοεπιθέσεις εξελίσσονται και γίνονται πιο αποτελεσματικές και πιο περίπλοκες στην ανίχνευσή τους. Ωστόσο, οι τεχνικές ασφάλειας στον κυβερνοχώρο βρίσκονται επίσης υπό συνεχή βελτίωση. Οι ερευνητές διερευνούν και χρησιμοποιούν διάφορες προσεγγίσεις για την ασφάλεια των υπολογιστών και των δικτύων, προκειμένου να προστατεύσουν τα συστήματα και τα δεδομένα. Μεταξύ των προτεινόμενων προσεγγίσεων συγκαταλέγεται η ανάπτυξη Συστήματων Ανίχνευσης Εισβολών Δικτύου (Network Intrusion Detection Systems - NIDS), τα οποία αναλύουν το δίκτυο, παρακολουθούν για ενδείξεις κακόβουλης δραστηριότητας και ενεργοποιούν μια ειδοποίηση όταν εντοπίζουν πιθανές απειλές. Αρχικά, τα συστήματα αυτά ήταν συστήματα ανίχνευσης που βασίζονται σε υπογραφές. Η τεχνική που βασίζεται στην υπογραφή αναφέρεται στη διατήρηση ενδεικτικής κακόβουλης κίνησης, η οποία μπορεί να αποτελεί κυβερνοεπίθεση, σε μια βάση δεδομένων και στη σύγκριση της εισερχόμενης δικτυακής κίνησης με την αποθηκευμένη κίνηση. Παρ' όλα αυτά, η τεχνική αυτή έχει ένα μειονέκτημα: δεν μπορεί να αναγνωρίσει εισβολές εάν δεν η δικτυακή κίνηση που τις χαρακτηρίζει δεν συμπεριλμβάνεται στη βάση δεδομένων, δηλαδή άγνωστες επιθέσεις. Για να αντισταθμιστεί αυτό το πρόβλημα, οι τεχνικές μηχανικής μάθησης (ML) και βαθιάς μάθησης (DL) εισήχθησαν στα NIDS για να βελτιώσουν την αποτελεσματικότητα της ανίχνευσης και να αναγνωρίσουν ενδεχομένως άγνωστες επιθέσεις, δηλαδή επιθέσεις μηδενικής ημέρας όπως ονομάζονται (zero-day attacks), γεγονός που είναι από τους κύριους λόγους για τους οποίους οι ερευνητές επικεντρώνονται όλο και περισσότερο σε αυτή την ελκυστική μέθοδο. Τα μοντέλα ML και DL εκπαιδεύονται με δεδομένα κίνησης δικτύου προκειμένου να μάθουν να αναγνωρίζουν μοτίβα κακόβουλης και καλοήθους δραστηριότητας. Μια πρόκληση αυτής της προσέγγισης είναι ότι τα μοντέλα ML και DL πρέπει πάντα να εκπαιδεύονται και να δοκιμάζονται με σύγχρονη δικτυακή κίνηση, προκειμένου να επιτυγχάνονται βελτιωμένα αποτελέσματα ανίχνευσης, ενώ τα μοντέλα θα πρέπει επίσης να αξιολογούνται σε ρεαλιστικά περιβάλλοντα δικτύου. Παρόλο που υπάρχουν πολυάριθμες μελέτες σε όλη τη βιβλιογραφία που προτείνουν και αναπτύσσουν λύσεις NIDS, η πλειονότητα αυτών δεν εγκαθιστά το μοντέλο μετά την εκπαίδευση σε ένα ρεαλιστικό δίκτυο για να αξιολογήσει την απόδοσή του σε πραγματικό δικτυακό περιβάλλον και χρόνο ή χρησιμοποιούν ξεπερασμένα σύνολα δεδομένων για την εκπαίδευση του μοντέλου. Η παρούσα πτυχιακή προτείνει ένα NIDS που ενσωματώνει ένα μοντέλο που αναπτύχθηκε για την ανίχνευση εισβολών με τη χρήση της μεθόδου DL και ένα σύνολο δεδομένων που αναπτύχθηκε εσωτερικά στο εργαστήριό μας, το οποίο απεικονίζει σύγχρονη δικτυακή κίνηση. Το σύνολο δεδομένων συνήθως χωρίζεται σε ένα σύνολο εκπαίδευσης και σε ένα σύνολο δοκιμής ενώ χρησιμοποιούνται μετρικές ML όπως η ακρίβεια (accuracy, precision), η ανάκληση (recall), και το F1-score για την αξιολόγηση της απόδοσης των μοντέλων κατά τη φάση της εκπαίδευσης και της δοκιμής. Τοπροτεινόμενο NIDS αναπτύχθηκε επίσης σε ένα ρεαλιστικό δίκτυο και αξιολογήθηκε σε συνθήκες σχεδόν πραγματικού χρόνου. Το προτεινόμενο μοντέλο παρουσίασε υποσχόμενα αποτελέσματα, επιτυγχάνοντας ποσοστό άνω του 97% στη μετρήσης αξιολόγησης της ακρίβειας κατά τη φάση της εκπαίδευσης και άνω του 90% όταν εγκαταστάθηκε σε ένα ρεαλιστικό περιβάλλον δικτύου και αξιολογήθηκε κατά τη διάρκεια ενός σεναρίου σχεδόν πραγματικού χρόνου. Με τη χρήση του προτεινόμενου NIDS για την ανίχνευση εισβολών στο δίκτυο, ένας διαχειριστής συστήματος μπορεί να παρακολουθεί και ενδεχομένως να αποτρέπει τις εισβολές σε σχεδόν πραγματικό χρόνο.
Η ραγδαία ανάπτυξη του Διαδικτύου τα τελευταία χρόνια επέτρεψε την τεχνολογική πρόοδο, συμπεριλαμβανομένων του τομέα της επικοινωνίας, επιτρέποντας την παγκόσμια συνδεσιμότητα σε πραγματικό χρόνο, η οποία κατέρριψε τους γεωγραφικούς φραγμούς και επιτρέπει την επικοινωνία με οποιονδήποτε, οπουδήποτε, ανά πάσα στιγμή. Το μέγεθος των δεδομένων του δικτύου και οι αντίστοιχες πληροφορίες που μεταδίδονται μέσω των καναλιών επικοινωνίας έχουν αυξηθεί σημαντικά ως αποτέλεσμα αυτών των βελτιώσεων, ενώ η τεχνολογική πρόοδος δημιουργεί ανησυχίες σχετικά με την ασφάλεια των δεδομένων κατά τη διάρκεια αυτών των συναλλαγών, καθώς ακόμη και οι πιο απλές συναλλαγές περιέχουν ευαίσθητες πληροφορίες. Η ασφάλεια των δεδομένων απειλείται συνεχώς, ενώ τα κυβερνοεπιθέσεις εξελίσσονται και γίνονται πιο αποτελεσματικές και πιο περίπλοκες στην ανίχνευσή τους. Ωστόσο, οι τεχνικές ασφάλειας στον κυβερνοχώρο βρίσκονται επίσης υπό συνεχή βελτίωση. Οι ερευνητές διερευνούν και χρησιμοποιούν διάφορες προσεγγίσεις για την ασφάλεια των υπολογιστών και των δικτύων, προκειμένου να προστατεύσουν τα συστήματα και τα δεδομένα. Μεταξύ των προτεινόμενων προσεγγίσεων συγκαταλέγεται η ανάπτυξη Συστήματων Ανίχνευσης Εισβολών Δικτύου (Network Intrusion Detection Systems - NIDS), τα οποία αναλύουν το δίκτυο, παρακολουθούν για ενδείξεις κακόβουλης δραστηριότητας και ενεργοποιούν μια ειδοποίηση όταν εντοπίζουν πιθανές απειλές. Αρχικά, τα συστήματα αυτά ήταν συστήματα ανίχνευσης που βασίζονται σε υπογραφές. Η τεχνική που βασίζεται στην υπογραφή αναφέρεται στη διατήρηση ενδεικτικής κακόβουλης κίνησης, η οποία μπορεί να αποτελεί κυβερνοεπίθεση, σε μια βάση δεδομένων και στη σύγκριση της εισερχόμενης δικτυακής κίνησης με την αποθηκευμένη κίνηση. Παρ' όλα αυτά, η τεχνική αυτή έχει ένα μειονέκτημα: δεν μπορεί να αναγνωρίσει εισβολές εάν δεν η δικτυακή κίνηση που τις χαρακτηρίζει δεν συμπεριλμβάνεται στη βάση δεδομένων, δηλαδή άγνωστες επιθέσεις. Για να αντισταθμιστεί αυτό το πρόβλημα, οι τεχνικές μηχανικής μάθησης (ML) και βαθιάς μάθησης (DL) εισήχθησαν στα NIDS για να βελτιώσουν την αποτελεσματικότητα της ανίχνευσης και να αναγνωρίσουν ενδεχομένως άγνωστες επιθέσεις, δηλαδή επιθέσεις μηδενικής ημέρας όπως ονομάζονται (zero-day attacks), γεγονός που είναι από τους κύριους λόγους για τους οποίους οι ερευνητές επικεντρώνονται όλο και περισσότερο σε αυτή την ελκυστική μέθοδο. Τα μοντέλα ML και DL εκπαιδεύονται με δεδομένα κίνησης δικτύου προκειμένου να μάθουν να αναγνωρίζουν μοτίβα κακόβουλης και καλοήθους δραστηριότητας. Μια πρόκληση αυτής της προσέγγισης είναι ότι τα μοντέλα ML και DL πρέπει πάντα να εκπαιδεύονται και να δοκιμάζονται με σύγχρονη δικτυακή κίνηση, προκειμένου να επιτυγχάνονται βελτιωμένα αποτελέσματα ανίχνευσης, ενώ τα μοντέλα θα πρέπει επίσης να αξιολογούνται σε ρεαλιστικά περιβάλλοντα δικτύου. Παρόλο που υπάρχουν πολυάριθμες μελέτες σε όλη τη βιβλιογραφία που προτείνουν και αναπτύσσουν λύσεις NIDS, η πλειονότητα αυτών δεν εγκαθιστά το μοντέλο μετά την εκπαίδευση σε ένα ρεαλιστικό δίκτυο για να αξιολογήσει την απόδοσή του σε πραγματικό δικτυακό περιβάλλον και χρόνο ή χρησιμοποιούν ξεπερασμένα σύνολα δεδομένων για την εκπαίδευση του μοντέλου. Η παρούσα πτυχιακή προτείνει ένα NIDS που ενσωματώνει ένα μοντέλο που αναπτύχθηκε για την ανίχνευση εισβολών με τη χρήση της μεθόδου DL και ένα σύνολο δεδομένων που αναπτύχθηκε εσωτερικά στο εργαστήριό μας, το οποίο απεικονίζει σύγχρονη δικτυακή κίνηση. Το σύνολο δεδομένων συνήθως χωρίζεται σε ένα σύνολο εκπαίδευσης και σε ένα σύνολο δοκιμής ενώ χρησιμοποιούνται μετρικές ML όπως η ακρίβεια (accuracy, precision), η ανάκληση (recall), και το F1-score για την αξιολόγηση της απόδοσης των μοντέλων κατά τη φάση της εκπαίδευσης και της δοκιμής. Τοπροτεινόμενο NIDS αναπτύχθηκε επίσης σε ένα ρεαλιστικό δίκτυο και αξιολογήθηκε σε συνθήκες σχεδόν πραγματικού χρόνου. Το προτεινόμενο μοντέλο παρουσίασε υποσχόμενα αποτελέσματα, επιτυγχάνοντας ποσοστό άνω του 97% στη μετρήσης αξιολόγησης της ακρίβειας κατά τη φάση της εκπαίδευσης και άνω του 90% όταν εγκαταστάθηκε σε ένα ρεαλιστικό περιβάλλον δικτύου και αξιολογήθηκε κατά τη διάρκεια ενός σεναρίου σχεδόν πραγματικού χρόνου. Με τη χρήση του προτεινόμενου NIDS για την ανίχνευση εισβολών στο δίκτυο, ένας διαχειριστής συστήματος μπορεί να παρακολουθεί και ενδεχομένως να αποτρέπει τις εισβολές σε σχεδόν πραγματικό χρόνο.
Περιγραφή
Λέξεις-κλειδιά
Deep learnig, Machine learning, Cybersecurity, Network security, Intrusion detection system, Βαθιά μάθηση, Μηχανική μάθηση, Κυβερνοασφάλεια, Ασφάλεια δικτύου, Σύστημα ανίχνευσης εισβολών