Το AI αξιολογεί ιστοσελίδες μιμούμενοι πραγματικούς ανθρώπους και μάλιστα ξεπερνά τους. Πώς γίνεται;

Σήμερα, ένα από τα συστατικά στοιχεία του uKit AI, ενός έξυπνου συστήματος επανασχεδιασμού ιστοσελίδων, θα είναι δημόσια. Πρόκειται για μια πρωτότυπη ενότητα για την αξιολόγηση της ομορφιάς των ιστοσελίδων. Συνδυάζει ένα νευρικό δίκτυο και δέντρα αποφάσεων για να μιμηθεί την αντίδραση ενός απλού επισκέπτη στο σχεδιασμό της ιστοσελίδας.

Στο μέλλον, μια τέτοια ενότητα θα αξιολογήσει το έργο του αλγορίθμου γενετικού σχεδιασμού, το βασικό στοιχείο του uKit AI, το οποίο θα σχεδιάσει σελίδες χωρίς ανθρώπινη συμμετοχή βασιζόμενο στο διαθέσιμο περιεχόμενο και τη "γνώση" της διαφοράς μεταξύ μιας μη αποτελεσματικής ιστοσελίδας και αυτή που αποσκοπούσε στην αύξηση του συντελεστή μετατροπής.

Η τρέχουσα έκδοση WebScore AI αντικατοπτρίζει την άποψη ενός μέσου χρήστη του Διαδικτύου σχετικά με την εμφάνιση του ιστότοπου. Παρόλο που μπορούμε να δημιουργήσουμε άλλες επιλογές, για παράδειγμα, είναι δυνατή η αξιολόγηση της χρηστικότητας του ιστότοπου.

Ιστοσελίδες που χρησιμοποιούνται για την εκπαίδευση του συστήματος. Καταρχήν, συλλέξαμε 12.000 ιστότοπους και ηλεκτρονικά καταστήματα που δημιουργήθηκαν σε διαφορετικά χρόνια σε διάφορες πλατφόρμες και σε διάφορες γλώσσες. Ο κύριος στόχος ήταν να αποκτήσετε αρκετά παραδείγματα οπτικής διαβάθμισης, από πολύ κακές ιστοσελίδες έως πολύ καλές. Με αυτό τον τρόπο, δείξαμε στο σύστημα αυτό που μπορεί να έρθει στον σύγχρονο ιστό.

Μερικές ιστοσελίδες από το δείγμα εκπαίδευσης.

Κάθε διαβάθμιση μετράται με μια κλίμακα και αυτή η κλίμακα υποτίθεται ότι είναι κατανοητή από ένα συνηθισμένο άτομο του οποίου η γνώμη προσπαθούμε να μοντελοποιήσουμε. Έχουμε λοιπόν μια ιδέα της κλίμακας 'από 1 έως 10', η οποία χρησιμοποιείται στην υπηρεσία μας.

Άτομα που μιμούνται από το WebScore AI. Χρειαζόμασταν δύο πράγματα για να σχηματίσουμε ένα σύνολο δεδομένων (ένα σύνολο δεδομένων για ένα εκπαιδευτικό μοντέλο) από μια ποικιλία ιστοτόπων:

  • τα σημάδια με τα οποία το σύστημα θα καθορίσει εάν ο ιστότοπος είναι ελκυστικός.
  • τις αξιολογήσεις που γίνονται με τη βοήθεια της κλίμακας μας για ένα ορισμένο αριθμό ιστότοπων. Θα αποτελέσουν πρότυπο για το σύστημα.

Κάποιος πρέπει να βάλει αυτές τις αρχικές εκτιμήσεις. Αυτός ο «δάσκαλος» ή μια ομάδα «εκπαιδευτικών», για να είναι πιο συγκεκριμένος, θα επηρεάσει σε μεγάλο βαθμό τον τρόπο με τον οποίο το μοντέλο θα λειτουργήσει.

Διασύνδεση αξιολόγησης ιστότοπων: λάβετε και χρησιμοποιήστε το GitHub σύντομα.

Για να συγκεντρώσουμε μια ομάδα εστίασης, πραγματοποιήσαμε μια προκαταρκτική επιλογή υποψηφίων σε 1500 παραδείγματα ιστοτόπων. Μια συνήθη δουλειά, αλλά μια υπεύθυνη και ξαφνική εστίαση. Η προκαταρκτική επιλογή μας βοήθησε να εξαλείψουμε τους ακατάλληλους υποψηφίους και επίσης να αποκλείσουμε το "αμφιλεγόμενο" (όταν κάποιος το χαρακτηρίζει ως 1 και το άλλο ως 10) ιστότοπους από το δείγμα.

Αρχικά, πειραματίσαμε με μεθόδους αξιολόγησης.

Για παράδειγμα, προσφέραμε να αξιολογήσετε έναν ιστότοπο κάθε φορά, στη συνέχεια δύο ιστότοπους την ίδια στιγμή, ή να επιλέξετε ένα από τα δύο, το πιο ελκυστικό. Η προσέγγιση στην οποία ο ερωτώμενος είδε έναν ενιαίο ιστότοπο και αξιολόγησε ότι λειτούργησε καλύτερα. Το χρησιμοποιήσαμε για να αξιολογήσουμε 10.000 από τους υπόλοιπους ιστότοπους.

Ένα άτομο αξιολόγησε αν ένας ιστότοπος είναι όμορφος ή όχι. Πώς θα το κάνει αυτό το μηχάνημα; Εσύ και εγώ θέλουμε μόνο μια ματιά να σχηματίσουμε μια άποψη για τη συνολική ομορφιά κάτι. Αλλά γνωρίζουμε ότι ο διάβολος βρίσκεται στις λεπτομέρειες.

Οι ενδείξεις οπτικής ελκυστικότητας του ιστότοπου που θα καθοδηγήσουν το μοντέλο αποτελούν βασική στιγμή για το σύνολο του έργου. Ζητήσαμε από την uKit ομάδα σχεδιαστών ιστοσελίδων για ένα χέρι, το έργο τους χρησιμοποιείται ως βάση εκατοντάδων χιλιάδων ιστοσελίδων και εκατομμύρια άνθρωποι το βλέπουν. Μαζί έχουμε συντάξει μια εκτεταμένη λίστα χαρακτηριστικών που οι επαγγελματίες δίνουν προσοχή κατά την ανάπτυξη ενός σχεδίου ιστοτόπου. Και στη συνέχεια προσπάθησε να το κόψει, αφήνοντας μόνο τα πιο σημαντικά.

uKit.com ομάδα σχεδιασμού.

Ως αποτέλεσμα, πήραμε έναν κατάλογο με 125 αρκετά διαφορετικά αλλά σημαντικά κριτήρια ταξινομημένα σε δεκαπέντε κατηγορίες. Για παράδειγμα, ο κατάλογος έχει: προσαρμογή σε δημοφιλείς οθόνες, ποικιλία μεγεθών γραμματοσειρών, καθαρότητα χρωμάτων, μήκος τίτλων, αναλογία των εικόνων σε ολόκληρη τη σελίδα κ.ο.κ. Αυτό που πρέπει να κάνετε είναι να εκπαιδεύσετε το μοντέλο χρησιμοποιώντας αυτούς τους κανόνες.

Δημιουργήστε έναν αλγόριθμο. Τι είναι ακριβώς ένα «πρότυπο διδασκαλίας»; Είναι η κατασκευή ενός αλγορίθμου που βασίζεται σε ένα δεδομένο σύνολο χαρακτηριστικών και μπορεί να αξιολογήσει τον επιλεγμένο ιστότοπο. Είναι επιθυμητό η αξιολόγηση του συστήματος και η μέση αξιολόγηση του εκπαιδευτικού να έχουν ελάχιστο κενό στις τελικές αξιολογήσεις τους.

Αποφασίσαμε να χρησιμοποιήσουμε τη μέθοδο αύξησης κλίσης στα δέντρα απόφασης, επειδή είναι μια από τις πιο δημοφιλείς και αποτελεσματικές προσεγγίσεις. Χρησιμοποιώντας βασικούς αλγόριθμους, κατασκευάζει ένα σύνολο, το συνολικό αποτέλεσμα του οποίου υπερβαίνει τα αποτελέσματα οποιουδήποτε ξεχωριστού αλγορίθμου.

Επιπλέον, προσθέτοντας κάθε επόμενο βασικό αλγόριθμο, προσπαθεί να βελτιώσει την ποιότητα των απαντήσεων του συνόλου.

Για να επιταχύνουμε και να διευκολύνουμε τη διαδικασία, χρησιμοποιήσαμε τη βιβλιοθήκη CatBoost από την Yandex, η οποία επιτρέπει την οικοδόμηση ενός ενισχυτή που βασίζεται σε κλίση στα αποκαλούμενα "άγρια ​​δέντρα αποφάσεων" εξασφαλίζοντας καλές ικανότητες κατάρτισης ενός μοντέλου από την αρχή και μια γρήγορη μετάβαση στην παροχή προβλέψεων ) για νέα αντικείμενα.

Προσθήκη νευρωνικού δικτύου. Όταν ο βασικός αλγόριθμος ήταν έτοιμος, αποφασίσαμε να πραγματοποιήσουμε ένα πείραμα: θα βελτιωθούν τα αποτελέσματα αν προσθέσουμε ένα νευρωνικό δίκτυο; Στην πραγματικότητα, ήδη ήξερα πώς να «κοιτάξουμε» μια ιστοσελίδα και το σχεδιασμό της, και τώρα αποφασίσαμε να δώσουμε στο σύστημα ένα είδος μεγεθυντικού φακού που μπορεί να χρησιμοποιήσει για να αποκαλύψει ακόμα περισσότερες λεπτομέρειες.

Επιλέξαμε ένα από τα πιο δημοφιλή δίκτυα, resnet50, γνωστό ως καλός αλγόριθμος για την εξαγωγή χαρακτηριστικών υψηλού επιπέδου. Και μάθαμε πώς να λάβουμε 1000 επιπλέον χαρακτηριστικά για την αξιολόγηση ιστότοπου. Ως αποτέλεσμα, το σύστημα χαρακτηρίζει τώρα μια διεύθυνση URL από το σύνολο των 1125 χαρακτηριστικών και βρίσκει την «θέση» του ιστότοπου σε κλίμακα 10 σημείων. Η διαδικασία διαρκεί αρκετές δεκάδες δευτερόλεπτα, γι 'αυτό θεωρούμε ότι επιταχύνουμε το μοντέλο μειώνοντας τον αριθμό των σημείων διατηρώντας παράλληλα την ποιότητα της αξιολόγησης στο ίδιο επίπεδο.

Πρώτα αποτελέσματα. Το μοντέλο που εκπαιδεύτηκε με αυτόν τον τρόπο θα μπορούσε να κάνει 3 φορές ακριβέστερες εκτιμήσεις σε σύγκριση με εκείνες των μεμονωμένων «εκπαιδευτικών».

Μπορούμε να πούμε ότι το μοντέλο ξεπέρασε τους πρώτους δασκάλους του αφού οι εκτιμήσεις της ομάδας εστίασης διαφέρουν από το μέσο όρο περισσότερο από την εκτίμηση του νευρικού δικτύου. Τώρα βάζουμε τον αλγόριθμο στο δίκτυο για περαιτέρω εκπαίδευση. Και μπορείτε να γίνετε και ο δάσκαλός της.