Πώς ορίζετε μετρήσεις;

Αυτό δημοσιεύτηκε για πρώτη φορά στη λίστα μου Το γυαλί. Κάθε εβδομάδα, απαντώ σε μια ερώτηση του αναγνώστη.

Φωτογραφία από τον Di_Chap

Πώς ορίζετε μετρήσεις;

Ε: Ποιος είναι ο ρόλος που πρέπει να παίξουν οι μετρητές για τους σχεδιαστές; Πώς πρέπει να ορίσετε μετρήσεις και πώς πρέπει να τις χρησιμοποιήσετε;

Έχω ακούσει συχνά την εσφαλμένη αντίληψη ότι οι μετρήσεις είναι ο τομέας των Διευθυντών Προϊόντων και των Επιστημόνων Δεδομένων, ψυχρούς και σκληρούς αριθμούς που χρησιμοποιούνται για την παρακολούθηση της επιχείρησης που δεν μπορεί να μετρήσει πραγματικά την ανθρώπινη εμπειρία χρήσης ενός προϊόντος. Ως αποτέλεσμα, έχω ακούσει για ορισμένους σχεδιαστές να είναι επιφυλακτικοί ως μετρητές ως εργαλείο, πιστεύοντας ότι η ανάπτυξη με βάση τα δεδομένα είναι παρόμοια με τη βραχυπρόθεσμη σκέψη και τις μικροσκοπικές βελτιστοποιήσεις, όπως η αλλαγή του μεγέθους και του χρώματος των κουμπιών αντί της ενδυνάμωσης σχεδιαστές να οραματιστούν ένα μεγάλο προϊόν.

Δεν νομίζω ότι πρόκειται για μια υγιή προοπτική και οι σχεδιαστές που έχουν το χρόνο να βοηθήσουν να καθορίσουν και να κατανοήσουν τις μετρήσεις της ομάδας τους, είναι πολύ καλύτερα εξοπλισμένοι για να επηρεάσουν τις επιπτώσεις από τους σχεδιαστές που δεν σκέφτονται γι 'αυτούς.

Σε υψηλό επίπεδο, οι μετρήσεις είναι απλά μετρήσιμες μετρήσεις του τρόπου με τον οποίο κάνετε. Αυτό είναι καλό για τη σαφήνεια και την απλούστευση - όλοι σε μια ομάδα ξέρουν πού βρίσκονται και ποιο είναι το "καλό". Όταν οι πολίτες διαμαρτύρονται για το ότι είναι υπερβολικά «μετρικοί», νομίζω ότι η πρωταρχική αιτία είναι όταν δίνεται μεγάλη έμφαση στην αξία των αριθμών. Απλά η "μετακίνηση της βελόνας σε αριθμούς ανάπτυξης ή εμπλοκής" είναι αρκετά προς τα μέσα και δεν είναι τρομερά εμπνευσμένη. Μπορεί να αισθάνεστε σαν να είστε επικεντρωμένοι στην αξία που λαμβάνετε ως εταιρεία, και όχι στην αξία που δημιουργείτε για άλλους.

Αυτός είναι ο λόγος που βρήκα τον καλύτερο τρόπο για να επιλέξετε μετρήσεις δεν είναι να ξεκινήσετε με τους αριθμούς, αλλά να ξεκινήσετε με μια απλή γλωσσική δήλωση σχετικά με το τι θα φανεί ένα επιτυχημένο αποτέλεσμα από ανθρώπινες απόψεις. Με άλλα λόγια, πώς θα βελτιωθεί η ζωή των ανθρώπων αν οι προσπάθειές σας είναι επιτυχείς; Αυτό θα πρέπει να είναι μια φιλοδοξία δήλωση που συλλαμβάνει την ουσία της αλλαγής που προσπαθείτε να κάνετε στον κόσμο. Μόλις συμφωνήσετε για αυτή τη δήλωση, επιλέξτε μια μετρική (ή μικρή ομάδα μετρήσεων) και ένα χρονοδιάγραμμα για να μετρήσετε εάν είστε σε καλό δρόμο προς την επίτευξη του στόχου σας. Αυτό δεν θα είναι τέλειο, αλλά βράζει τη δήλωση κάτω από κάτι που μπορεί να ποσοτικοποιηθεί αφήνει τις ομάδες να λειτουργούν εναντίον της.

Στο Facebook, χρησιμοποιήσαμε πρόσφατα αυτή τη διαδικασία όταν ενημερώσαμε τη δήλωση αποστολής μας για να εστιάσουμε όχι μόνο στη σύνδεση του κόσμου αλλά και στην προσέγγιση του κόσμου. Αρχίσαμε με τη δήλωση της απλής γλώσσας όπου, αν οι προσπάθειές μας είναι επιτυχείς, όλοι στον κόσμο θα βρίσκουν και θα συμμετέχουν σε κοινότητες που τους έχουν νόημα, τόσο σε απευθείας σύνδεση όσο και στον φυσικό κόσμο. Στη συνέχεια, ορίσαμε το στόχο να βοηθήσουμε 1 δισεκατομμύριο άνθρωποι να ενταχθούν σε "σημαντικές ομάδες" - ομάδες στο Facebook με τις οποίες αλληλεπιδρούν συχνά. Ξεκινώντας με μια δήλωση και στη συνέχεια χρησιμοποιώντας αυτήν για να επιλέξετε τις μετρήσεις επιτυχίας μας, έχουμε μια καλύτερη εικόνα στο μυαλό των ανθρώπων που εξυπηρετούμε και ένα καλύτερο πλαίσιο για τις ομάδες μας να σκεφτούν όταν πρόκειται για την οικοδόμηση εργαλείων για να βοηθήσουν τους ανθρώπους ξεκινήστε και αναπτύξτε κοινότητες.

Σημειώστε ότι θα μπορούσαμε να επιλέξουμε άλλες μετρήσεις για να εξετάσουμε - όπως ίσως ο αριθμός των αναρτήσεων και των σχολίων σε ομάδες ή σε ποιες ομάδες ανήκει κάποιος. Υπάρχουν διάφοροι τρόποι για να προσεγγίσετε τη μετάφραση της δήλωσης αποστολής σας σε μια μέτρηση και είναι υγιές να επανεξετάζετε περιοδικά εάν οι επιλεγέντες μετρικοί χάρτες σας είναι ικανοποιημένοι με την πραγματική αποστολή σας. Όταν η αποστολή σας και οι μετρήσεις σας δεν είναι ευθυγραμμισμένες, αυτή είναι μια συνταγή για ένταση, καθώς οι αριθμοί μπορεί να σας αναγκάσουν να κάνετε πράγματα που θα μπορούσαν να ταιριάζουν τεχνικά με τον τρόπο που έχετε ορίσει "επιτυχία" αλλά δεν παίρνετε αυτό που πραγματικά έχει σημασία.

Τώρα που έχετε μετρήσεις, πώς θα τις χρησιμοποιήσετε; Οι μετρήσεις παρέχουν σαφή εστίαση και πρέπει να χρησιμεύσουν ως απάντηση για το "γιατί" πίσω από κάθε πράγμα που κάνετε. Σας επιτρέπουν να ορίζετε στόχους σε μηνιαία ή ετήσια βάση και να υποστηρίζετε τον καθορισμό προτεραιοτήτων και την πραγματοποίηση συναλλαγών. Όταν οι πόροι είναι περιορισμένοι, η κατεύθυνση που είναι πιο πιθανό να επηρεάσει τη μέτρηση σας θα πρέπει να υπερισχύει έναντι άλλων εργασιών και θα αποτελέσει χρήσιμο φακό για την προβολή κάθε σταδίου της διαδικασίας σας, συμπεριλαμβανομένων των κριτικών σχεδιασμού, της έρευνας χρηστών και της εξερεύνησης προϊόντων. Και επειδή η μέτρηση προήλθε από την δήλωση αποστολής σας, πρέπει πάντα να είστε σε θέση να συνδέσετε τις βελτιώσεις της μέτρησης με τον πρωταρχικό στόχο. Θα σας εξυπηρετήσει καλά για να ξεκινήσετε τις παρουσιάσεις του σχεδίου σας με το στόχο σας (δηλούμενη με όρους ανθρώπων), πώς μετράτε την πρόοδο σε σχέση με αυτόν τον στόχο και πώς η εργασία σας οδηγεί σε καλύτερο αποτέλεσμα ενάντια σε αυτόν τον στόχο.

Μερικοί άλλοι κακοί κανόνες με σκέψεις για μετρήσεις:

Αποφύγετε να έχετε μια τεράστια λίστα με τις μετρήσεις. Μπορείτε να μετρήσετε όλα όσα θέλετε και πρέπει. Όσο περισσότερο καταλαβαίνετε τι κάνουν οι άνθρωποι στην πραγματικότητα στο προϊόν σας, τόσο καλύτερα θα είστε σε θέση να δημιουργήσετε τη σωστή εμπειρία. Ωστόσο, όταν ορίσετε έναν στόχο ανώτατου επιπέδου για να οδηγήσετε την εργασία της ομάδας σας, θα πρέπει ιδανικά να λειτουργείτε γύρω από ένα μόνο μετρικό κλειδί (ή το πολύ, μια μικρή χούφτα) που παρακολουθεί καλύτερα την αποστολή σας. Όσο πιο μετρητικοί στόχοι έχετε, τόσο πιο περίπλοκο είναι να κρατάτε τον καθένα στο μυαλό σας και να κάνετε αντισταθμίσεις εναντίον του. Ενώ μπορεί να αισθάνεται οδυνηρή, κάνοντας αυτή τη ρητή απόφαση μπροστά μπορεί να σας εξοικονομήσει πολλούς πονοκεφάλους αργότερα για να υποστηρίξει ποια δουλειά είναι πιο σημαντική.

Σκεφτείτε αντετραμετρικά παρακολούθησης. Υπάρχουν σίγουρα πολλές προειδοποιήσεις στην παραπάνω ιδέα να θέσουμε έναν στόχο γύρω από μια μετρική. Ένα αξιοσημείωτο είναι ότι μπορεί να χρειαστεί να έχετε ένα αντίθετο μετρικό για να συμβάλλετε στην εξισορρόπηση βραχυπρόθεσμων και μακροπρόθεσμων συμβιβασμών. Για παράδειγμα, εάν η μέτρησή σας είναι δέσμευση, όπως μετράται με "αύξηση του χρόνου που δαπανάται ανά χρήστη", ίσως θέλετε να συμπεριλάβετε την αντίθετη μετρική που δεν θα μειώσετε τον αριθμό των εγγεγραμμένων χρηστών. Ο στόχος εξακολουθεί να είναι η ίδια βασική μετρική (χρόνος ανά χρήστη), αλλά η αντίθετη μέτρηση σάς επιτρέπει να έχετε κατά νου ότι τα συστήματα είναι πολύπλοκα και σας εμποδίζουν από υπερβολική βελτιστοποίηση για ένα υποσύνολο του κοινού σας σε βάρος της δημιουργίας ευρύτερα ελκυστικές εμπειρίες.

Αποφύγετε μετρήσεις ματαιοδοξίας. Πολύ ψηφιακό μελάνι έχει διαρρεύσει σε αυτό το θέμα, οπότε θα κρατήσω αυτό το σύντομο: Εκτός αν μια μέτρηση συλλαμβάνει πραγματικά την αξία που δημιουργείτε για τους ανθρώπους με συνεχή τρόπο, δεν είναι η σωστή μετρική. Οι μετρήσεις ματαιοδοξίας που ακούγονται αφράτες και διασκεδαστικές (όπως "αριθμός εγγεγραμμένων χρηστών", που συχνά είναι πολύ μεγαλύτερες από τις ημερήσιες δραστηριότητες) μπορούν να κάνουν περισσότερο κακό παρά καλό, καθώς μπορούν να σας παρακαλέσουν να σκεφτείτε ότι κάνετε καλή δουλειά όταν όλοι εσείς «κάνετε με το να ακούτε το ακροατήριό σας. Οι μετρήσεις που είναι λιγότερο πιθανό να είναι μάταιες είναι η διατήρηση, τα έσοδα, η καθημερινή χρήση και οι νόμιμες ενέργειες.

Αποφύγετε υποκειμενικά μέτρα. Όσο το δυνατόν περισσότερο, προσπαθήστε να καταλάβετε πώς θα ποσοτικοποιήσετε την αξία που δημιουργείτε. Σίγουρα, υπάρχουν πράγματα που θα θέλατε να επιτύχετε, όπως "οι άνθρωποι αγαπούν το προϊόν μας", αλλά αν προσπαθείτε να μετρήσετε το συναίσθημα, σκεφτείτε το καθαρό σκορ του υποψηφίου ή άλλους τρόπους κατανόησης αριθμητικά σε ποιο σημείο βρίσκεστε (ή πώς στην αγορά) και ορίστε έναν στόχο για την αλλαγή που ελπίζετε να κάνει με τρόπο που θα είναι μετρήσιμος. Η εξέταση μερικών ανέκδοτων ιστοριών ή ηλεκτρονικών μηνυμάτων πελατών δεν είναι ένας αυστηρός τρόπος για να εξαχθούν συμπεράσματα εάν η πραγματική βάση χρηστών σας είναι διαφορετική.

Αποφεύγετε τη μέτρηση των ρυθμίσεων μετά το γεγονός. Προσπαθώντας να αποφασίσετε αν ή όχι ήσαστε επιτυχής αφού το προϊόν σας βρίσκεται ήδη στην αγορά, δεν έχει νόημα. Εμείς οι άνθρωποι θα τείνουμε να βλέπουμε την πιο αισιόδοξη εκδοχή των γεγονότων. Η όλη ιδέα των δεδομένων που ενημερώνονται για την ανάπτυξη είναι ότι θέλετε να αποφύγετε να είστε προκατειλημμένοι. Πρέπει να ξέρετε, πηγαίνοντας στην εργασία σας, ποιος είναι ο στόχος σας και πώς θα μετρήσετε εάν το επιτύχατε.

Εξετάστε το ενδεχόμενο ρύθμισης 50ου εκατοστημορίου στόχων. Οι στόχοι σας θα πρέπει να τεντώσουν την ομάδα σας. Θέλετε να βρείτε τη σωστή ισορροπία μεταξύ της επιλογής ενός στόχου που είναι τόσο δύσκολο που φαίνεται απίθανο να τηρηθεί ή ένα τόσο εύκολο που θα μπορείτε να το προσεγγίσετε κάνοντας αποτελεσματικά τίποτα. Ένας τρόπος για να περιγράψετε αυτό είναι να σκεφτείτε τους στόχους σας ως στόχους 50ου εκατοστημορίου - δηλ. Υπάρχει 50% πιθανότητα να φτάσετε στον επιλεγμένο μετρικό στόχο. Αυτό σημαίνει ότι εάν χτυπάτε τους στόχους σας κατά το ήμισυ του χρόνου, κάνετε καλή δουλειά. Εάν πάντα φτάνετε ή υπερβαίνετε τους στόχους σας, πιθανότατα δεν έχετε θέσει τα βλέμματά σας αρκετά υψηλά. Και αν δεν φτάσετε στο στόχο σας, θα πρέπει να συζητήσετε με ειλικρίνεια αν ο στόχος ήταν λάθος ή εάν η διακοπή ήταν κάτι στη στρατηγική ή την εκτέλεση της ομάδας. Σε όλες τις περιπτώσεις, η καλή απόδοση στον καθορισμό των σωστών μετρήσεων είναι από μόνη της μια δεξιότητα και θα είναι κάτι που η ομάδα σας θα πρέπει να εργαστεί για να βελτιωθεί με την πάροδο του χρόνου. Αν χρειαστεί, ίσως είναι χρήσιμο να ανακαλύψετε περαιτέρω τα ποσοστά των 90ου και 10ου εκατοστημορίου, δηλαδή για την δεδομένη μετρική σας, εκτός από το στόχο 50π, τι είστε 90% σίγουροι ότι μπορείτε να φτάσετε (η περίπτωση 90p) και ποιο είναι το άκρως φιλόδοξο "αν όλα πάνε καλά" αριθμός που είστε μόνο 10% σίγουροι ότι μπορείτε να χτυπήσετε (η υπόθεση 10p).

Μην παρασυρθείτε από τη σημασιολογία. Ποια είναι η διαφορά μεταξύ στόχων, μετρήσεων, μέτρων, οδηγών, στόχων κ.λπ ...; Μερικές φορές οι άνθρωποι χρησιμοποιούν διαφορετικές λέξεις για να αναφερθούν σε διαφορετικά πράγματα όταν συζητούν μετρήσεις. Δεν ανησυχώ πολύ για τις λέξεις που χρησιμοποιείτε, εφ 'όσον είστε ευθυγραμμισμένοι με ορισμούς με την ομάδα σας.

Στο τέλος, δεν υπάρχει κανένας ιδανικός τρόπος για την ομάδα σας να επιλέγει και να χρησιμοποιεί μετρήσεις, καθώς εξαρτάται σε μεγάλο βαθμό από τους παράγοντες που αφορούν την ομάδα, το προϊόν και την αγορά σας. Το κύριο μήνυμα είναι απλά ότι οι μετρήσεις πρέπει να αγκαλιαστούν και να διαδραματίσουν σημαντικό ρόλο στο ρόλο του σχεδιαστή προϊόντων. Αυτό είναι ένα θέμα που μου έχει γίνει πολύ αγαπητό, καθώς έχω δει ξανά και ξανά τον τρόπο με τον οποίο οι σχεδιαστές που χρησιμοποιούν μετρήσεις καλά μπορούν να είναι απίστευτα επιτυχημένοι. Εάν ενδιαφέρεστε, εδώ είναι μερικά άλλα σχετικά άρθρα που έχω γράψει σε αυτό το θέμα:

  • Metrics Versus Εμπειρία
  • Η Αγωνία και η Έκσταση του Κτιρίου με Δεδομένα
  • Μετρήσεις, μια ιστορία
  • Η ποιότητα δεν αποτελεί εμπόριο
  • Ο φόρος των νέων
  • Οι δύο τρόποι κατασκευής

Για να ρωτήσετε μια ερώτηση ή να ακολουθήσετε εβδομαδιαία με περισσότερα ερωτήματα και ερωτήματα όπως αυτό, εγγραφείτε στην λίστα αλληλογραφίας του Glass.