Πλοήγηση ανά Συγγραφέας "Krommydakis, Spyridon"

Τώρα δείχνει 1 - 1 of 1
  • Μικρογραφία εικόνας
    Τεκμήριο
    Παραμετροποίηση και εκπαίδευση των Large Language Models ανοικτού κώδικα
    (ΕΛΜΕΠΑ, Σχολή Μηχανικών (ΣΜΗΧ), Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, 2025-07-21) Κρομμυδάκης, Σπυρίδων; Krommydakis, Spyridon; Παναγιωτάκης, Σπυρίδων; Panagiotakis Spyridon
    Σκοπός της πτυχιακής αυτής ήταν η μελέτη των τεχνολογιών που εσωκλείονται στα Μεγάλα Γλωσσικά Μοντέλα, και η χρησιμοποίηση των απαραίτητων τεχνικών για τον σχεδιασμό και την υλοποίηση μίας μετεκπαίδευσης, την εξειδίκευση δηλαδή ενός μοντέλου σε έναν συγκεκριμένο τομέα τον οποίο δε γνώριζε μετά το τέλος της βασικής του εκπαίδευσης. Για το λόγο αυτό, μελετήθηκαν όλα τα απαραίτητα βήματα αυτής της διαδικασίας, από την τμηματοποίηση του κειμένου (tokenization) μέσω των κατάλληλων αλγόριθμων όπως ο Byte-Pair Encoding (BPE) και frameworks όπως το SentencePiece, μέχρι την επεξεργασία την οποία εφαρμόζει η αρχιτεκτονική Transformer για να μετασχηματίσει την είσοδο σε κάτι ουσιώδες το οποίο μπορεί το μοντέλο να κατανοήσει. Μέσα από τη συγκεκριμένη μελέτη έγινε σαφής η ικανότητα των μοντέλων αυτών να χρησιμοποιούν τη γενική, προϋπάρχουσα γνώση τους έτσι ώστε να προσαρμόζονται γρήγορα και αποδοτικά σε νέα σύνολα δεδομένων, πολύ μικρότερα από αυτά στα οποία αρχικά εκπαιδεύτηκαν. Πιο συγκεκριμένα, χρησιμοποιήθηκε η ανοικτού κώδικα βιβλιοθήκη Transformers του Hugging Face, η οποία μας επιτρέπει να φορτώνουμε και να διαχειριζόμαστε εύκολα οποιοδήποτε Μεγάλο Γλωσσικό Μοντέλο θέλουμε. Αυτό που επιλέχθηκε ήταν το Llama2- chat μοντέλο των 7 δισεκατομμυρίων παραμέτρων της Meta AI. Λόγω των απαιτήσεων μνήμης και πόρων που το συνοδεύουν, χρησιμοποιήθηκαν τεχνικές κβαντοποίησης όπως η QLoRA της BitsAndBytes βιβλιοθήκης για να φορτωθεί το μοντέλο σε μικρότερη ακρίβεια από την αρχική, και τεχνικές μετεκπαίδευσης όπως η LoRA για να μειωθούν οι απαιτήσεις VRAM έως και 4 φορές. Για την υλοποίησή της, χρησιμοποιήθηκε η cloud πλατφόρμα Google Colab, μέσω της οποίας έγινε εφικτό να τρέξει ο κώδικας της μετεκπαίδευσης σε τελευταίας τεχνολογίας hardware όπως η A100 GPU, η οποία την επιτάχυνε δραματικά και επέτρεψε τον πειραματισμό με πολλές διαφορετικές ρυθμίσεις παραμέτρων για να βρεθεί μία ουσιώδης και αποτελεσματική υλοποίηση, στην οποία καταλήξαμε αξιολογώντας τις μετρήσεις όλων των μετεκπαιδεύσεων μέσω της Weights & Biases πλατφόρμας. Η εξειδίκευση που επιχειρήθηκε ήταν πάνω σε μία εσωτερική προγραμματιστική γλώσσα, την LOLCODE, της οποίας το συντακτικό και η απλή, αλλά αντισυμβατική λογική, παρουσιάζει συγκεκριμένες προκλήσεις τις οποίες πρέπει να αντιμετωπίσει το μοντέλο για να μπορεί να παράξει σωστό κώδικα. Για παράδειγμα, λέξεις-κλειδιά της γλώσσας αυτής όπως το “KTHXBYE” δεν υπάρχουν στο λεξιλόγιο του μοντέλου, και η τμηματοποίησή τους οφείλει να γίνει με τρόπο που θα επιφέρει ουσιαστικά και αξιόλογα αποτελέσματα, βοηθώντας το μοντέλο να συλλάβει το νόημα και τον σκοπό για τον οποίο χρησιμοποιούνται. Έτσι, το μοντέλο που αναπτύχθηκε έδειξε μία αξιόλογη προσαρμογή στο σύνολο δεδομένων, καθώς παρατηρήθηκε σωστό συντακτικό και χρήση των εντολών της γλώσσας αυτής. Συγκριτικά με το βασικό μοντέλο, το οποίο δεν είχε καμία ουσιαστική γνώση και ο κώδικας που παρήγαγε ήταν γραμμένος στην Python, και λαμβάνοντας υπόψιν ότι το σύνολο δεδομένων μας ήταν σχετικά μικρό, μπορούμε να πούμε ότι η μετεκπαίδευση ήταν επιτυχής και τα αποτελέσματά της ενθαρρυντικά.