Noise - Daniel Kahneman

 

Introduction - Deux types d'erreur

• Le biais et le bruit, l'écart systématique et la dispersion aléatoire, sont deux composantes différentes de l'erreur.
• Une des propriétés générales du bruit est qu'il est possible de l'identifier et de le mesurer sans rien savoir ni de la cible ni bu biais.
• Le bruit est la face cachée de l'erreur.

Partie I - Détecter le bruit

Chapitre 1 - Crime et châtiment

• Le remplacement des personnes par les machines.
• Juger est un art difficile.

Chapitre 2 - Un bruit systémique

• Dans un audit de bruit, le même problème est traité par plusieurs individus, et la variabilité de leurs réponses éclate au grand jour.
• La variabilité des jugements n'est pas toujours indésirable.
• Quand plusieurs équipes au sein de la même entreprise rivalisent pour apporter des solutions innovantes au même besoin du marché, il n'est pas forcément souhaitable qu'elles adoptent la même approche.
• Sur un marché comme dans la nature, la sélection ne peut pas fonctionner sans variation.
• Une grande société de gestion d'actifs demanda à quarante-deux investisseurs expérimentés travaillant dans la société d'estimer le "juste prix" d'une action (c'est à dire le prix du marché auquel ils ne trouveraient ni justifié ni de la vendre ni de l'acheter). L'estimation se fondait sur un descriptif de l'entreprise concernée, comprenant les comptes de résultat, les bilans et les flux des trois années antérieures, ainsi que les projections pour les deux années à venir. Le bruit médian était de 41%.
• Dans les systèmes sujets au bruit, les erreurs ne s'annulent pas : elles se cumulent.
• Illusion d'accord : alors qu'ils étaient en réalité en désaccord profond dans leurs jugements professionnels quotidiens.
• L'inconfort du désaccord : la plupart des organisations préfèrent le consensus et l'harmonie au désaccord et au conflit.

Chapitre 3 - Les décisions singulières

• Nous avons défini le bruit comme la variabilité indésirable des jugements relatifs au même problème.
• Si les mêmes faits avaient été présentés de façon légèrement différente, la conversation se serait-elle déroulée de la même façon.
• Qu'un problème se présente cent fois ou une seule, votre objectif devrait être le même : réduire à la fois le biais et le bruit qui affectent votre décision.

Partie II - Votre esprit est un instrument de mesure

• En statistique, la mesure la plus courante de la variabilité est l'écart-type.
• Les individus ne sont jamais parfaits. Leurs jugements sont toujours entachés d'erreurs.

Chapitre 4 - Question de jugement

• Anticipation de désaccord limité.
• Ce que vous avez retenu n'est pas identique à ce qu'auront retenu d'autres lecteurs. Ainsi, l'attention sélective et la mémoire sélective sont une première source de variabilité entre les personnes.
• Toute incohérence porte atteinte à la crédibilité du système.
• Un jugement probabiliste n'est pas vérifiable.

Chapitre 5 - Mesurer l'erreur

• Les moindres carrés : Gauss proposa une règle nouvelle pour évaluer la contribution des erreurs individuelles à l'erreur d'ensemble. Sa mesure de l'erreur globale est appelée erreur quadratique moyenne et généralement abrégée MSE, d'après l'anglais Mean Squared Error. C'est la moyenne des carrés des erreurs des moyennes. La mise au carré donne aux grandes erreurs un poids bien plus élevé qu'aux petites.
• Pour faire le choix optimal, les personnes qui décident doivent considérer de multiples options et mesurer les avantages et inconvénients de celles-ci à l'aune de leurs propres valeurs.

Chapitre 6 - L'analyse du bruit

• Le bruit de niveau, c'est le fait que les juges aient des niveaux de sévérité différents.
• Le bruit de pattern, c'est le fait qu'ils ne soient pas d'accord entre eux sur le point de savoir quels prévenus méritent des peines les plus sévères.
• Dans un monde parfait, les prévenus avaient affaire à la justice ; dans le monde actuel, ils ont affaire à un système judiciaire sujet au bruit.

Chapitre 7 - Le bruit occasionnel

• Nous ne produisons pas toujours des jugements identiques quand nous sommes confrontés deux fois aux mêmes données.
• Sagesse des foules : faire la moyenne des jugements produits de manière indépendante par des personnes différentes produit généralement un jugement plus exact.
• Repensons-y-demain, la nuit porte conseil.
• Vous n'êtes pas la même personne tout le temps.
• Vous n'êtes pas toujours la même personne, et vous êtes moins cohérent dans le temps, moins semblable à vous-même, que vous ne l'imaginez.

Chapitre 8 - Les groupes et le bruit

• Dans toutes les organisations, la conjonction de cascades informationnelles et des cascades de pression sociale peut produire une grande confiance, et un soutien unanime, sur un jugement erroné.
• Quand un groupe apporte un soutien unanime à un projet, on oublie un peu vite que cet accord peut-être le fruit non pas de sa conviction, mais des cascades informationnelles et de la pression sociale.
• Le principe de polarisation du groupe : quand les gens se parlent, ils convergent en général sur une opinion plus radicale que leurs opinions initiales. La délibération conduit les jurys à une clémence plus grande quand le juré médian est clément, et à une sévérité plus grande quand le juré médian est sévère.
• Les décisions finales peuvent dépendre fortement des jugements de quelques individus : ceux qui parlent en premier ou qui ont la plus grande influence.

Partie III - Le bruit dans les jugements prédictifs

• L'ignorance objective : l'avenir dépend de beaucoup de choses que nous ne pouvons simplement pas connaître.

Chapitre 9 - Jugements et modèles

• Meehl y concluait sans ambiguïté que les règles automatiques étaient généralement supérieures au jugement humain.

Chapitre 10 - Le silence des formules

• En réalité, de nombreuses méthodes de prédiction mécanique, allant de règles ridiculement simples à des algorithmes d'une sophistication extrême, peuvent surpasser le jugement humain.

Chapitre 11 - L'ignorance objective

• Déni de l'ignorance.

Chapitre 12 - Dans la vallée des choses normales

• Bien entendu, les algorithmes d'apprentissage automatique formés à partir d'un grand ensemble de données font mieux que des modèles linéaires simples (et, par extension, que des humains)
• Même avec une masse imposante d'informations supposées prédictives, il reste extraordinairement difficile de prévoir des évènements précis dans la vie des gens.
• Quand un résultat est inattendu mais pas surprenant, et quand on vous l'explique de cette façon, on parvient toujours à lui trouver un sens. C'est cela que nous voulons dire quand nous disons que nous  une histoire. Et c'est ce qui fait que la réalité parait prévisible - après coup, quand nous la regardons dans le rétroviseur. Comme l'évènement s'explique lui-même en se produisant, nous entretenons aisément l'illusion que nous aurions pu l'anticiper.
• Nous avons mis en évidence deux manières radicalement différente de penser les évènements : la pensée statistique et la pensée causale.
• Le problème est que la pensée causale, en nous donnant l'illusion de comprendre le passé, contribue aussi à ce que nous produisions des prédictions excessivement confiantes dans l'avenir.

Partie IV - D’où vient le bruit ?

Chapitre 13 - Heuristiques, biais et bruit

• http://yourbias.is 
• Quand des personnes évaluent le temps qu’il faudra pour mener à bien un projet, la moyenne de leurs estimations est généralement très en dessous du temps que le projet demandera réellement. Ce biais psychologique bien connu est appelé erreur de prévision ou biais du planificateur.
• L’insensibilité à l’étendue.
• Le mot « biais » peut aussi signifier qu’un individu privilégie a priori une conclusion particulière : il est biaisé par un conflit d’intérêts ou par son adhésion à certaines thèses politiques.
• Le biais de substitution.
• L’utilisation de la ressemblance en lieu et place de la probabilité n’est pas le seul exemple de substitution d’une question à une autre.
• Heuristique de disponibilité.
• Biais de conclusion.
• Nous aurons tendance à recueillir et à interpréter les informations de façon sélective pour justifier un jugement que nous croyons déjà (c’est le biais de confirmation) ou dont nous souhaitons qu ‘il soit vrai (c’est le biais de désirabilité)
• Heuristique de l’affect : les gens décident de ce qu’ils croient en fonction de ce qu’ils ressentent.
• Biais d’ancrage.
• Que vous marchandiez aux puces, ou que vous participez à une transaction complexe, vous aurez probablement intérêt, quand on en viendra aux chiffres, à parler le premier et à « ancrer » la discussion sur votre chiffre.
• Effet de halo.

Chapitre 14 - Équivalences

• En présence d’indications contradictoires, il devient plus difficile de parvenir au sentiment de cohérence nécessaire à la formulation d’un jugement satisfaisant.
• Les prédictions par équivalence sont trop extrêmes, qu’elles soient optimistes ou pessimistes. Le terme technique pour ces prédictions intuitives est qu’elles sont non régressives, parce qu’elles omettent de prendre en compte un phénomène statistique appelé la régression vers la moyenne.
• Système 1 : intuitif.
• Système 2 : réfléchi
• En particulier, on est moins prompt à formuler des prédictions par équivalence quand les données disponibles sont défavorables.
• Pour corriger les prédictions intuitives, qu’elles qu’elles soient, une solution s’impose : la vision externe.
• Le chiffre magique de sept, plus ou moins deux.

Chapitre 15 - Échelles

• Indignation partagée et indemnités erratiques.
• Le choix de l’échelle qui sert à formuler les jugements est essentiel : plus les échelles sont ambiguës, plus elles sont source de bruit. Quand il est possible de remplacer des jugements absolus par des jugements relatifs ou ordinaux, il est très probable que cela contribue à réduire le bruit.

Chapitre 16 - Patterns

• La confiance subjective dans un jugement n’en garantit nullement l’exactitude. En outre, la suppression des interprétations alternatives - un processus perceptif aujourd’hui bien établi - contribue à ce que nous avons appelé l’illusion d’accord.
• C’est aussi ce qui arrive à l’investisseur normalement prudent qui se laisse séduire, contre toute attente, par le business plan d’une stratus prometteuse.
• Des personnes qui ont des spécialités et des aptitudes différentes vont nécessairement prendre en compte des dimensions différentes d’un même problème.
• Les comportements sont fonction à la fois des personnalités et des situations.
• Auriez-vous négligé des interprétations alternatives des éléments  dont vous disposez ?

Chapitre 17 - Les composantes du bruit

• Constance sans consensus.
• Il nous est facile de donner un sens aux évènements a posteriori, même si nous n'avons pas pu les prévoir avant qu'ils ne se produisent.
• L'erreur d'attribution fondamentale nous conduit à attribuer aux personnes des actions et des résultats qui s'expliquent en réalité par la chance ou par des circonstances objectives.
• Liste des biais psychologiques : l'erreur de prévision, l'excès de confiance, l'aversion à la perte, l'effet de dotation, le biais du statu-quo, le biais pour le présent et beaucoup d'autres.
• Le bruit est statistique.

Partie V - Améliorer les jugements

• Hygiène de la décision.
• L'agrégation de jugements indépendants.

Chapitre 18 - De meilleurs juges pour de meilleurs jugements

• Heuristique de la confiance : dans un groupe, les individus confiants ont plus de poids que les autres, même si leur confiance en eux n'est pas fondée sur une supériorité réelle.
• Le cas du caractère consciencieux et du grit, défini comme un mélange d'erreur et de persévérance dans la poursuite d'objectifs de long terme (ce qu'on appelle familièrement la "niaque")
• Certaines personnes aiment réfléchir attentivement, tandis que d'autres, face au même problème, ont tendance à faire confiance à leur intuition première.
• Etre activement ouvert d'esprit, c'est rechercher de manière proactive des informations qui contredisent nos hypothèses actuelles.
• Si les scores de réflexion cognitive et de besoin de cognition mesurent la propension à se livrer à la pensée lente et attentive, la pensée "activement ouverte d'esprit" va encore plus loin. Elle traduit l'humilité de ceux qui savent que leurs jugements sont des produits éternellement imparfaits, qui les remettent sans cesse sur le métier et qui souhaitent ardemment les corriger.
• La personne dotée de ce style cognitif cherche activement de nouvelles informations susceptibles de contredire ses convictions.
• Quand l'objectif est de produire des bons jugements et de réduire les erreurs, mieux vaut que le chef (et tous ceux qui l'entourent) reste ouvert à des contre-arguments et soit pleinement conscient qu'il peut se tromper.

Chapitre 19 - Réduction des biais et hygiène de la décision

• Vous corrigerez le biais optimiste que vous supposez présent (le biais du planificateur)
• Le ministère britannique des Finances a ainsi publié un guide pour l'évaluation des programmes et des projets. Pour corriger les biais optimistes dans les prévisions de coût et de durée des projets, ce manuel suggère aux planificateurs d'appliquer des ajustements de pourcentage à leurs estimations initiales.
• L'heuristique de disponibilité.
• Dans une décision d'investissement, par exemple, l'excès de confiance peut certainement jouer.
• L'aversion de la perte.
• Les agences fédérales doivent détailler la raison, pour laquelle la règlementation est nécessaire, démontrer qu'elles ont envisagé des alternatives plus ou moins contraignantes, évaluer les coûts et les bénéfices de ces différentes options, présenter les informations de façon non biaisée, et utiliser des taux d'actualisation appropriés dans leurs calculs des impacts futurs.
• L'hygiène de la décision.

Chapitre 20 - Police scientifique : le séquencement de l'information

• Le point aveugle des biais, c'est à dire la tendance à voir le biais chez autrui, mais pas chez soi.
• Vous savez déjà, par exemple, que vos jugements peuvent être altérés par la colère, la peur ou d'autres émotions.
• L'information, y compris quand elle est exacte, est aussi un facteur de bruit occasionnel qui altère notre jugement.
• Un bon décideur devrait toujours essayer de conserver "l'ombre d'un doute", pour ne pas être "l'homme qui en savait trop".

Chapitre 21 - Prévision : l'agrégation et la sélection

• La technique d'hygiène de la décision la plus universellement applicable : agréger un grand nombre d'estimations indépendantes.
• Le moyen le plus simple d'agréger plusieurs prévisions est d'en calculer la moyenne. Le résultat est mathématiquement garanti : prendre la moyenne de n jugements divise le bruit par la racine carrée de n. Si, par exemple, vous utilisez la moyenne de cent jugements, vous réduirez le bruit de 90%, et si vous faites la moyenne de quatre cents jugements, vous le réduirez de 95% - ce qui revient pratiquement à l'éliminer. Cette loi statistique est le moteur de l'effet "sagesse des foules".
• C'est pourquoi la sagesse des foules fonctionne mieux quand les jugements de la "foule" sont indépendants les uns des autres : ils sont alors moins susceptibles d'être entachés d'erreurs partagées, c'est à dire de biais.
• Confiance à une stratégie qui ne repose pas seulement sur l'agrégation, mais aussi sur la sélection.
• Méthode Delphi.
• Mini-Delphi : estimation-discussion-estimation.
• Inciter les participants à se tenir informés des actualités et à réviser leurs prévisions aussi souvent que nécessaire.
• L'aisance avec laquelle ils réfléchissent de façon probabiliste et analytique.
• Ils se posent toute une série de questions subsidiaires auxquelles ils essaient de répondre séparément.
• Ils sont très attentifs aux taux de base.
• Activement ouvert d'esprit.
• Les gens devraient prendre en considération les faits contraires à ce qu'ils croient.
• Il est plus utile de prêter attention aux gens qui ne sont pas d'accord avec vous qu'à ceux qui sont d'accord.
• L'indice le plus puissant qu'un participant deviendra un superprévisionniste est le bêta perpétuel : sa proposition à actualiser continuellement ses prévisions et à améliorer sans cesse sa performance.
• Le biais de confirmation et l'excès de confiance, ainsi que l'importance de calculer la moyenne de multiples prédictions issues de plusieurs sources.
• Eviter les dangers de polarisation de groupe et des cascades informationnelles.
• L'importance d'agréger des jugements multiples, formulés par des individus judicieusement sélectionnés pour leur compétence, pour leur style cognitif, et pour leur diversité.
• Nous avons les meilleurs dans cette équipe, mais avons-nous assez de diversité d'opinions ?
• Quand les faits changent, je change d'avis. Et vous, qu'est-ce que vous faites ?

Chapitre 22 - Médecine : les directives.

• Stratégie d'hygiène de la décision souvent employée : l'élaboration de directives.
• La formation peut élever le niveau de compétence, et de meilleures compétences, à l'évidence, réduisent le bruit.
• Les psychiatres ont de grandes difficultés à s'entendre sur qui souffre ou non d'un trouble dépressif grave.

Chapitre 23 - Evaluation de la performance : le choix de l'échelle.

Chapitre 24 - Recrutement : la structuration des jugements complexes.

• Ainsi fonctionne notre étonnante aptitude à trouver de la cohérence là où il n'y en a pas.
• La structuration des jugements complexes. "Structurer" peut vouloir dire beaucoup de choses. Au sens où nous l'entendons ici, structurer un jugement complexe, c'est appliquer trois principes. D'abord, la décomposition d'un jugement en éléments séparés. Ensuite, l'indépendance, qui impose de gérer le processus de collecte d'informations pour s'assurer que les inputs soient indépendantes les uns des autres. Enfin, le jugement global différé, qui retarde la décision d'ensemble et le jugement final jusqu'à ce que tous ces inputs aient été recueillis.
• Nous devons mettre de la structure dans nos entretiens et, plus largement, dans nos processus de sélection. Commençons par définir de façon plus claire et précise ce que nous recherchons chez les candidats. Assurons-nous qu'ils soient évalués de façon indépendante sur chacun des critères retenus. Enfin, différons le moment du jugement global.

Chapitre 25 - Le protocole d'évaluations intermédiaires.

• Il peut être utilisé en agences gouvernementales.
• Elle s'inspire de la similitude entre l'évaluation d'une option stratégique et l'évaluation d'un candidat à l'embauche.
• Structurer la décision.
• Les jugements relatifs sont plus fiables que les jugements absolus.
• L'importance de l'indépendance dans les jugements.
• Quand les évaluations sont faites indépendantes les unes des autres, l'excès de cohérence est neutralisé. La réalité apparaît, avec ses complexités, ses incertitudes et ses ambiguïtés.
• Risques d'influence sociale et de cascade informationnelle.
• Prenons l'exemple d'un critère essentiel pour tout fonds de capital risque : l'évaluation d'une équipe d'entrepreneurs. 
• Pour prendre une décision importante, utiliser son intuition et son jugement est valorisant : suivre une méthode prédéfinie l'est moins.
• L'un des principes essentiels est de susciter des jugements indépendants, et de provoquer le débat et la confrontation sur ces jugements.
• C'est une décision difficile. Quels sont les critères d'évaluation intermédiaire sur lesquels elle devrait reposer ?
• Notre jugement intuitif global sur ce projet est important, mais n'en parlant pas pour l'instant. Notre intuition nous sera plus utile une fois qu'elle sera informée par les évaluations séparées que nous avons demandées.

Partie VI - Le bruit optimal

• L'agrégation de jugements indépendants est une bonne idée.
• La codification d'une échelle commune ancrée sur la vision externe.

Chapitre 28 - Les coûts de réduction du bruit.

• La réduction du bruit à un coût ; et ses bénéfices attendus doivent lui être supérieurs.
• La critique est quelquefois purement rhétorique, et ne vise qu'à faire capoter une réforme qui aurait en réalité beaucoup de bienfaits.
• Les algorithmes peuvent être supérieurs au jugement humain sur n'importe quelle combinaison de critères retenus.
• Même si, dans un monde incertain, un algorithme prédictif ne peut jamais être parfait, il peut être moins imparfait que le jugement humain, qui est toujours sujet au bruit et souvent biaisé.

Chapitre 27 - Une affaire de dignité.

• Sans motivation, sans implication, et sans possibilité d'exercer son jugement et de développer ses compétences, il est difficile de trouver des idées nouvelles.
• Pour Howard, l'univers de la réglementation publique est devenu fou parce qu'il est trop rigide. Enseignants, agriculteurs, promoteurs, médecins : tous ces professionnels, et beaucoup d'autres, croulent sous des règles qui leur disent ce qu'ils doivent faire et comment le faire.
• Plus les principes sont généraux, et plus il faut s'attendre à ce qu'il y ait du bruit dans leur interprétation et dans leur mise en oeuvre, avec des conséquences qui peuvent être intolérables.

Chapitre 28 - Des règles ou des principes ?

• Pour réduire le bruit, ou pour décider si et comment le faire, on distinguera utilement deux modes de régulation des comportements : la règle, précise, et le principe, plus général.
• La règle est conçue pour éliminer toute possibilité d'appréciation par les personnes qui devront l'appliquer ; le principe, au contraire, pour leur en laisser une.
• Celui qui fixe une règle conserve le pouvoir, celui qui définit un principe le délègue en partie.
• Les community standards de Facebook ("normes de la communauté"), rendus publics pour la première fois en 2018, sont un mélange fascinant de règles et de principes, par ailleurs très nombreux.
• Quand les principes laissent le champ libre au bruit, et quand tout le monde peut observer que des individus placés dans la même situation ne sont pas traités de la même façon, on observe souvent un mouvement pour demander des règles.
• Le principal doit imposer des règles quand il a de bonnes raisons de ne pas faire confiance à son agent.
• Nous nous contentons souvent de principes quand nous devrions adopter des règles, simplement parce qu'il est plus facile de se mettre d'accord sur des principes et parce que nous ne prêtons pas attention au bruit.

Synthèse et conclusion - Prendre le bruit au sérieux

• L'erreur quadratique moyenne (mean squared error, ou MSE) est l'outil communément utilisé pour évaluer la justesse des mesures scientifiques depuis deux cents ans. La MSE a trois propriétés mathématiques qui sont importantes pour notre propos : elle est compatible avec l'intuition qui nous suggère que la moyenne d'un échantillon est la meilleure estimation de la moyenne de la population ; elle traite de la même manière les erreurs positives et les erreurs négatives ; et elle pénalise les grandes erreurs de façon plus importante que les petites.
• Les désaccords entre les traders permettent à la bourse de fonctionner.
• Le rôle majeur du bruit dans l'erreur contredit une croyance largement répandue selon laquelle les erreurs aléatoires n'ont pas d'importance parce qu'elles s'annulent les unes les autres. Cette croyance est erronée.
• Quand les juges sont plus cléments après une victoire de leur équipe de football favorite qu'après une défaite, par exemple, ou quand des médecins prescrivent davantage d'opioïdes en fin d'après-midi plutôt que le matin, on peut conclure à la présence de bruit occasionnel.
• L'avantage décisif des modèles et des règles, quels qu'ils soient, est d'être exempts de bruits.
• C'est pourquoi une décision irréfléchie mais constante à des règles, même très simples, peut produire des prédictions plus exactes qu'un jugement réfléchi mais inconstant.
• Quand toutes les informations disponibles ne convergent pas pour bâtir une histoire cohérente, des juges différents vont inévitablement donner plus de poids à certaines informations et en ignorer ou en sous-pondérer d'autres.
• La vision externe consiste à considérer le cas que l'on étudie comme un élément d'un ensemble plus vaste.
• Principe 1. Puisque l'objectif du jugement est la justesse, ne pas rechercher l'expression individuelle.
• Principe 2. Adopter la vision externe et la pensée statistique.
• Principe 3. Structurer les jugements en plusieurs tâches indépendantes.
• L'excès de cohérence : nous avons tendance à déformer ou à ignorer les informations qui ne correspondent pas à un récit préexistant ou émergent.
• Principe 4. Résister aux intuitions prématurées.
• Principe 5. Obtenir plusieurs jugements indépendants avant de les agréger.
• C'est notamment le cas dans les réunions où les participants s'influencent les uns les autres. A cause des effets de cascade et de polarisation de groupe, ces discussions de groupe augmentent souvent le niveau de bruit.
• Principe 6. Privilégier les jugements comparatifs et les échelles relatives.
• Le patient qui récupère après une opération réussie attribue volontiers son salut à l'habilité du chirurgien, et il a raison, bien sûr. Mais si le chirurgien et tout le personnel présent en salle d'opération ne s'étaient pas lavé les mains, le patient n'aurait peut-être pas survécu. L'hygiène n'est pas glorieuse, mais elle est vitale.
• En tout état de cause, une analyse coût bénéfice s'impose : si les mesures qui permettent de réduire le bruit sont plus coûteuses que le bruit lui-même, la réduction du bruit est inopportune.

Epilogue - Moins de bruit

• Les réunions ne ressembleraient pas à celles que nous connaissons aujourd'hui : on y organiserait systématiquement l'expression de jugements indépendants, et la discussion y serait structurée autour d'ordres du jour définis à l'avant. Les désaccords ouverts seraient plus fréquents, mais aussi résolus de façon plus constructive. Chacun serait plus attentif à ce que le jugement des autres apporte à l'exactitude des décisions.

Glossaire - Jugement, erreur, biais, bruit

• A la différence du calcul, où l'on n'attend pas de désaccord, et des opinions, où l'on tolère des désaccords importants, le jugement est caractérisé par une anticipation de désaccord limité entre juges compétents.
• Souvent sous-estimé par les juges : c'est l'illusion d'accord.

Annexe A - Conduire un audit de bruit

• Etude du processus de prise de décision.

Annexe C - Corriger les prédictions intuitives

• La performance passée n'est pas corrélée de façon parfaite avec la performance future.
• En partant de la vision externe, ajustez la prédiction dans la direction de votre jugement intuitif, dans une mesure qui correspond à la valeur prédictive des informations dont vous disposez.
• Il faut garder à l'esprit que les exceptions sont, par définition, extrêmement rares. Il est beaucoup plus fréquent de faire l'erreur inverse, et de prédire que des exceptions vont se produire, ou que des performances exceptionnelles vont le rester.