Seja o número 1 da sua divisão no trimestre e ganhe uma festa do waffle.
— Documentos internos das Indústrias Lumon

Eu sou contra avaliações de desempenho nas empresas. Pronto, falei. Odeio tanto, mas tanto, avaliação de desempenho que resolvi liberar esse resumo comentado do livro Ruído para todo mundo que assina a newsletter do Boa Noite Internet, o famoso tirar o paywall.

O processo é cercado de boas intenções — uma busca por “justiça” nas promoções, o fim das panelinhas e do puxa-saquismo —, mas, no fim, só troca um sistema falho por outro… por outro, por outro. Uma coisa é medir quantos parafusos um operário fabrica por dia em um torno (ou seja lá qual máquina é usada para fazer um parafuso). Outra é tentar pôr números (mesmo disfarçados com nomes como “perf”) em trabalho de escritório, que depende de criatividade e de interação humana. Também não ajuda o fato de que boa parte dos nossos empregos provavelmente é inútil.

Oito anos atrás, larguei o meu “emprego dos sonhos” por uma porção de motivos, mas um dos principais era que eu ficava literalmente doente a cada seis meses, na época da avaliação. O sistema me parecia falho desde a largada. Por exemplo, ele só media o que tinha sido feito naquela janela de seis meses, então ia bem quem fosse malandro o bastante para começar e terminar as coisas dentro dela. Até aí tudo bem, mas o sistema usava o “ranking forçado”, que vai ser explicado neste capítulo — que também parte de um bom propósito. Sem ele, a tendência do gerente é dizer que todo mundo foi bom o suficiente. A curva forçada existe justamente para barrar isso e fazer com que pelo menos alguém seja o que “mandou mal”. Na prática, se eu arrancasse o meu próprio couro no semestre, mas todos os meus colegas fizessem o mesmo (porque, afinal, somos todos pessoas de alta performance), a resposta vinha mais ou menos assim: “Cris, sabe o que é? Você mandou bem, mas o Joãozinho mandou melhor, então você desce um degrau na classificação.” Com consequência financeira (bônus menor) e até uma possível demissão, em caso de reincidência.

Para piorar, a empresa era global, com sede nos Estados Unidos. Os gerentes gringos, portanto, defendiam as suas equipes no próprio idioma, enquanto o resto do mundo se virava numa videoconferência em inglês. Mas, tá, eu tenho minha culpa no cartório. Eu simplesmente não soube lidar com tudo aquilo — até porque, quando saí, o meu gerente já era estadunidense, então nem posso usar essa justificativa do idioma. Sei que outros colegas sobreviveram mais anos do que eu. (Embora o meu analista, na época, tenha me lembrado que eu não tinha como saber o que se passava na cabeça de cada um, não dava para sair assumindo que estivessem todos bem.) E parte da tal “expectativa” era que eu tivesse fibra mental para aguentar a pressão. Eu não tanquei e saí antes que a coisa piorasse.

Aliás, já que estou falando em “expectativa” e no meu analista, essa história eu já contei no podcast, anos atrás. Na tal avaliação semestral, a nota vinha com a palavra “expectativa” em todos os níveis: “atingiu algumas expectativas” não dava bônus nenhum (e, repetida, levava à demissão, como falei ali em cima), “atendeu todas as expectativas” valia o bônus cheio, e “redefiniu as expectativas” rendia o triplo, com direito a chuva de ações da empresa.

Nessa hora da conversa, o analista virou e perguntou: peraí, todas as notas têm a palavra “expectativa”? Quando eu confirmei que sim, ele esfregou as mãozinhas e disse: hum, então eu vou ganhar muitos pacientes colegas seus.

Uma avaliação inteira baseada na palavra “expectativa” é uma máquina de produzir frustração, porque coloca no outro (alô, Lacan!) o julgamento de quem eu sou como pessoa. Segundo Daniel Kahneman, Olivier Sibony e Cass R. Sunstein, a palavra, em vez de ajudar, produz uma montanha de ruído — que já foi medido.

Quando uma empresa junta a avaliação de várias pessoas sobre o mesmo funcionário — o famigerado feedback 360 graus —, dá para separar o quanto da nota reflete o trabalho real e o quanto é só ruído. Os estudos que fazem essa conta, reunidos pelos três, mostram que entre 70% e 80% do que vira a nota de alguém não tem nada a ver com o trabalho daquela pessoa. Sobra de 20% a 30% para o desempenho de verdade.

a relação entre desempenho profissional e análises de desempenho profissional tende a ser fraca ou, na melhor das hipóteses, incerta.

Ou seja, a nota que decide o bônus — ou demissão — diz muito mais sobre quem avaliou do que sobre quem foi avaliado.

De onde vem tanto ruído? Dos mesmos lugares que o livro já tinha mapeado nos capítulos anteriores. A mesma pessoa recebe notas diferentes porque um avaliador é mais gentil e o outro mais severo, ou porque um deles simplesmente não vai com a sua cara, ou porque, na manhã da avaliação, um dos avaliadores deu um totó que amassou o carro. O humor de quem segura a caneta vai afetar muito a nota.

E nem todo desvio é sem querer. O gerente pode inflar a nota para evitar uma conversa difícil, para emplacar a promoção de um protegido ou até para se livrar de um subordinado ruim, que só consegue ser transferido de área se
levar uma boa avaliação na bagagem. E, cá entre nós, o papel do gerente não é fazer todo mundo performar bem? Se meu gerenciado vai mal, será que isso vai impactar a minha avaliação? Opa, pensando bem, até que ele não foi tão mal assim não! Vamos achar o lado positivo para eu não ter que me explicar para o meu chefe. Ai como eu sou um chefe cuidadoso.

Somando tudo, isso produz cenas como a de uma grande indústria que descobriu ter classificado 98% dos seus gerentes como “correspondendo plenamente às expectativas”. Quando quase todo mundo recebe o mesmo carimbo, a nota deixa de medir qualquer coisa.

Por, meus amigos Kahneman, Sibony e Sunstein, são pessoas avaliando subjetivamente outras pessoas!!!

Para curar esse efeito, muita empresa adota a minha amada (itálicos sarcásticos) curva forçada. Jack Welch a transformou em bandeira quando comandava a General Electric, proibindo os avaliadores de dar nota alta para todo mundo e obrigando cada um a distribuir as notas numa curva predefinida. Forçar a curva até reduz um tipo de ruído de forma automática, porque obriga o avaliador gentil e o severo a fechar na mesma média. Mas cria problemas maiores do que resolve.

O primeiro é confundir desempenho absoluto com relativo. É impossível que 98% dos gerentes estejam entre os 20% melhores, e a curva corrige isso. Só que Kahneman, Sibony e Sunstein explicam exatamente o que contei na abertura: não é nada impossível que todos os avaliados, de fato, atendam às expectativas se a expectativa foi definida em termos absolutos. “Você bateu a meta em 100%, mas o João bateu em 120%, então você está abaixo das expectativas”. É como eu sempre digo, o capitalismo não está nem aí pra sua saúde mental.

Quem zombaria da leniência dos procedimentos de gestão de desempenho da Nasa se escutasse que todos os astronautas em uma missão espacial bem-sucedida atenderam plenamente às expectativas?

Essa “piada” da Nasa também mostra que a curva forçada também tem problemas puramente matemáticos. Mesmo que o desempenho da empresa inteira se espalhe numa curva bonita, uma equipe pequena não tem nenhuma obrigação de repetir esse desenho. Se você sorteia dez pessoas de uma população enorme, a chance de exatamente duas caírem entre os 20% melhores é de só 30%. Na prática, o time quase nunca sai com o desenho que a curva exige. E os times não são sorteados, é uma boa prática corporativa juntar as melhores pessoas possíveis na mesma equipe. Quando o avaliador tem na frente cinco pessoas igualmente competentes e é obrigado a ranquear, acaba inventando uma diferença que não existe.

Ouvi, décadas atrás, uma história sobre a Microsoft que mostra bem aonde isso leva (espero que já tenham mudado). Lá, a curva forçada era aplicada dentro de cada equipe direta, nunca mais de dez pessoas. O resultado é que não demorou muito para os funcionários perceberem que a melhor estratégia corporativa era estar sempre, como vou dizer isso…, cercado de incompetentes.

Lembrei agora de um e-mail que nosso VP Global costumava mandar antes do começo de cada ciclo de avaliação lembrando que tirar “atendeu a todas as expectativas” não era uma coisa ruim, porque “nossas expectativas são altas”. Que é um jeito fofo de dizer: “Você se matou de trabalhar? Pois era isso mesmo que esperávamos.”

a falha fatal do ranking forçado não está em “ranquear”, mas em “forçar”.

Ordenar pessoas, quando a ordem importa de verdade, até ajuda a cortar ruído. O estrago vem de espremer uma régua numa realidade que não tem aquele formato.

A saída que o livro propõe passa por acertar a régua, sem precisar abandonar o ranking. Em vez de pedir uma nota solta de 1 a 5 (com a palavra “expectativas” dentro ou não), dá para comparar cada pessoa a casos concretos de referência — “Fulano se parece mais com o exemplo A ou com o exemplo B?” —, trocando um chute absoluto por uma comparação, e já aprendemos que comparação gera menos ruído. A técnica existe há décadas e funciona. Quase ninguém usa, porque dá trabalho, custa caro e, a parte que o livro diz com todas as letras, porque tira do gerente o poder de puxar a nota para onde lhe convém.

Em vez de afinar a régua, muita empresa de tecnologia preferiu jogar tudo fora e largar a avaliação anual com nota. A Deloitte foi uma delas. Depois de calcular que gastava 2 milhões de horas por ano avaliando 65 mil pessoas, e de concluir que a nota era mais um retrato do avaliador do que do avaliado, ela trocou a velha avaliação anual por conversas curtas e frequentes ao longo do ano.

Se funcionou melhor, ainda é cedo para dizer. Insatisfação com o modelo antigo, de todo modo, não falta. Num estudo da mesma Deloitte, cerca de 90% dos gerentes, funcionários e gente de RH acham que o processo tradicional de avaliação não entrega o que promete. Se você mede desempenho, dizem os três autores, as suas avaliações “são provavelmente dominadas pelo ruído de sistema e, por esse motivo, podem ser em essência inúteis e muito possivelmente contraproducentes”. Eles chegam a admitir, quase de passagem, que talvez nem faça sentido medir desempenho individual num trabalho onde o resultado depende de como as pessoas se misturam, e que “motivar” gente pelo medo e pela ganância de uma nota pode simplesmente não funcionar.

Tem que acabar a avaliação de desempenho.

Agora é com você

Sabe o que mais tenta ser um processo “justo” e “sem viés” e que tem que acabar? Processo de seleção de emprego, o tema do próximo capítulo. Lá vou eu passar raiva de novo.

Enquanto isso, me conta nos comentários (também abertos para todo mundo) suas experiências com processos de avaliação corporativos. Habla mesmo.

O Clube de Cultura do Boa Noite Internet normalmente é um lugar restrito a assinantes onde viajamos juntos por um livro, série, filme, etc. na forma de resumos comentados como esse, onde junto minha visão ao que é discutido em cada obra. Esta já é a décima sétima edição e se você apoiar o Boa Noite Internet vai ter acesso não só às futuras edições, mas tudo que já passou por aqui.

Nos vemos lá,
crisdias

É muito mais importante saber que pessoa tem a doença do que que doença a pessoa tem.
— Hipócrates

Um paciente que o livro chama de “Paul” — amigo dos autores — passou três meses tratando sua pressão arterial que não queria baixar. O primeiro médico tentou um diurético, depois somou um bloqueador de cálcio, sem resultado. A pressão seguia alta, Paul ficou…

Read more

Quando os fatos mudam, eu mudo de ideia. E você, o que faz?
— John Maynard Keynes

Prever o futuro tem fama de ser um dom de nascença, o tipo de coisa que ou se tem ou não tem. A boa notícia é que dá para ficar melhor nisso sem nascer gênio nem comprar bola de cristal. Bastam duas receitas.

Quase toda decisão importante é um palpite sobre o futuro. Quanto a empresa vai lucrar no próximo ano, como o novo funcionário vai se sair, quem ganha a eleição, quanto custa uma obra que ainda nem saiu do papel. E todo palpite desses erra de dois jeitos, os mesmos que Daniel Kahneman, Olivier Sibony e Cass R. Sunstein vêm perseguindo desde o começo do livro: viés e ruído. O viés tem cara conhecida. São como as agências de governo que, ano após ano, erram sempre para o mesmo lado, projetando crescimento alto e déficit baixo demais — ou seja, que vão fazer bem seu trabalho. O ruído é mais silencioso, são os previsores discordando uns dos outros, e de si mesmos de uma semana para a outra.

Por uma década, três economistas acompanharam milhares de diretores financeiros de empresas dos EUA e, a cada trimestre, pediam que previssem o retorno da bolsa no ano seguinte. Não o número exato, que ninguém adivinha, mas uma faixa, com um piso e um teto, larga o bastante para o resultado real cair dentro dela em oito de cada dez anos. Era para ser fácil, bastava abrir bem o compasso e chutar uma faixa bem folgada. Mesmo assim, o retorno real caiu dentro das faixas que eles deram em só 36% das vezes. Acertar o número exato era impossível, e ninguém esperava isso. O erro foi dar faixas estreitas demais, porque achavam que sabiam do futuro muito mais do que de fato sabiam.

Read more

O ruído pode ser um problema invisível até para pessoas cujo trabalho é enxergar o invisível.

Em maio de 2004, o FBI prendeu um advogado do Oregon chamado Brandon Mayfield pelos atentados a bomba que mataram 192 pessoas nos trens de Madri dois meses antes. Contra ele só havia uma prova, mas era uma baita prova: uma impressão digital num saco plástico encontrado na cena do crime, que o laboratório do FBI apontou como dele, com 100% de certeza. Mayfield era o suspeito perfeito, um ex-militar, convertido ao islã, que já tinha defendido réus ligados ao Talibã e, por tudo isso, estava numa lista de observação das polícias. Só que ele não saía dos Estados Unidos havia uma década, e, no fim, a digital não era dele. Os peritos espanhóis bateram a mesma marca com a de um argelino. Duas semanas depois, Mayfield foi solto, o governo pediu desculpas e pagou 2 milhões de dólares. A conclusão oficial sobre o vexame, após uma investigação inteira, foi que houve “uma falha humana, não de metodologia ou tecnologia”. Pelo menos não botaram a culpa no estagiário.

No capítulo 20 de Ruído, vamos ver por que há viés até na impressão digital, a dimensão do erro que se esconde atrás da fama de “prova perfeita” e a solução simples que os laboratórios forenses acabaram adotando para se proteger.

Read more

Um eu que continua mudando é um eu que continua vivendo.
— Virginia Woolf

Quando eu era criança, a balança de casa — aquela que você sobe para saber como vai a dieta — era toda à base de molas e engrenagens que se afrouxavam com o tempo e, por isso, tinha atrás um mecanismo para ajustar o ponteiro para que ele sempre começasse do zero. Era um disco dentado de metal que, se não estivesse lá, ia me obrigar a fazer uma conta toda vez que fosse me pesar: se ela começasse marcando 1 kg a mais, eu ia precisar tirar essa diferença de cabeça no final. Nada complicado, mas chato — e talvez por ter acabado de acordar eu poderia acabar esquecendo algum dia.

É a versão Ruído desse disco que o capítulo 19 aborda, um jeito de zerar o ponteiro do julgamento humano para ele errar menos nas medidas. Daniel Kahneman, Olivier Sibony e Cass R. Sunstein começam pelos dois caminhos que a minha balança já. O nome bonito é desenviesamento ex post — abreviação do latim ex post facto, “depois do fato consumado” —, que desconta o erro depois, como eu fazendo conta de cabeça, e ex ante, que ajusta o instrumento antes, como o tal disco.

O desenviesamento ex post é o que a gente já faz no automático. É como quando empreiteira promete terminar a reforma em três meses, mas você dobra esse número porque sabe que obra sempre atrasa. O Reino Unido transformou essa abordagem em política de Estado. O Tesouro britânico publica o Green Book, um guia que manda os planejadores inflarem por escrito as estimativas de custo e prazo, com base no tamanho histórico do otimismo de cada órgão.

O ex ante previne em vez de corrigir, e tem duas famílias. A primeira mexe no ambiente da escolha — são o que o livro chama de nudges. Em inglês, nudge é aquela cutucada de leve, o empurrão discreto que orienta sem obrigar, e é isso que a técnica faz com uma decisão, inclinar para um lado sem tirar nenhuma opção da mesa. Um bom exemplo é a inscrição automática num plano de aposentadoria como o INSS no Brasil. Quem tem carteira assinada contribui por padrão, o desconto já vem na folha sem precisar fazer nada. Já o autônomo tem que se cadastrar e pagar por conta própria, e é quem mais deixa para depois e acaba ficando de fora.

Read more

A inteligência é apenas parte do problema. Como pensamos também é importante. Talvez devêssemos escolher a pessoa mais reflexiva e receptiva, e não a mais inteligente.

Fiquei quase 2 semanas fora, por conta de TEDxBlumenau e Web Summit Rio e, por isso, semana passada não tivemos Clube. Aproveitei para testar a funcionalidade de pausar cobrança do Substack nesse tempo. Como diria o aviso antigo da TV, hoje voltamos à nossa programação normal com a Parte V de Ruído, e com ela a virada do livro.

Isso porque, após quatro partes dedicadas a explicar por que erramos, Daniel Kahneman, Olivier Sibony e Cass R. Sunstein (finalmente?) passam a falar sobre o que dá para fazer para resolver. O primeiro movimento é de que, se o julgamento humano anda ruidoso, devemos escolher humanos que julguem melhor. Mas, calma. É preciso aprender como reconhecê-los. Os autores apontam três maneiras.

Julgamentos bons dependem do que você sabe, do que pensa e de como pensa. Juízes bons tendem a ser experientes e inteligentes, mas também costumam ser ativamente receptivos e se mostrar dispostos a aprender com informações novas.

O perfil de pessoa que mais toma decisões certas é quase o oposto do especialista seguro de si, daquele que fala bonito e nunca titubeia. E, ao descrever quem julga bem, os três autores acabam explicando, de quebra, por que confiamos tanto em quem soa convicto, mesmo quando a convicção não vem acompanhada de nenhuma garantia de acerto. Primeiro trilionário do mundo, estou olhando para você.

Read more

Contamos histórias para poder viver.
— Joan Didion

Entre as três fontes de ruído que o livro vinha separando — o juiz severo em tudo, o juiz com as manias só dele, o dia em que ele acordou com o pé esquerdo —, a que mais pesa é a segunda. O capítulo 17 fecha a Parte IV de Ruído, pondo os números na mesa, onde o componente dominante é o ruído de padrão estável, aquele que conhecemos no capítulo passado. É a reação particular de cada juiz a cada combinação de detalhes, a marca pessoal que se mantém igual com o tempo, e foi o que Daniel Kahneman, Olivier Sibony e Cass R. Sunstein quase deixaram passar.

Os números são consistentes entre diferentes estudos. Na companhia de seguros do capítulo 2, as diferenças de severidade entre os corretores — uns que cobram caro em tudo, outros baratos em tudo — não passavam de 20% do ruído total. Os outros 80% eram ruído de padrão, o jeito de cada corretor reagir a este cliente específico. Entre os juízes federais foi a mesma história. E no estudo das decisões de fiança que apareceu lá no capítulo 10, em que os pesquisadores construíram modelos de 173 juízes e os puseram para decidir mais de 24 milhões de casos, o ruído de padrão estável foi quatro vezes maior que o de nível.

Isso tem uma consequência prática direta para quem faz gestão de pessoas. O ruído de nível é o único que dá para medir sem montar uma auditoria inteira. Basta distribuir os casos ao acaso e comparar a média de cada profissional, que os extremos logo aparecem: quem aprova quase tudo de um lado, ou quem recusa quase tudo do outro. Foi assim que se descobriram grandes diferenças entre examinadores de patente e entre assistentes sociais decidindo se tiram ou não uma criança da família. Só que ruído de nível é o componente menos comum, como vimos acima. Se o ruído de padrão é o dobro ou o quádruplo disso, o problema real é muito maior do que o número que se consegue enxergar.

Entendido o tamanho, sobra a pergunta mais difícil de responder: com tanta evidência acumulada sobre o ruído, por que ele quase nunca é citado quando se discute um julgamento errado?

Read more

Minha alma é uma orquestra oculta; não sei que instrumentos, que cordas e harpas, tambores e timbales ressoam e chocam dentro de mim.
— Fernando Pessoa

Quando dois juízes igualmente competentes olham para o mesmo caso e chegam a sentenças diferentes, é fácil explicar parte do desencontro. Se um é severo em tudo e o outro leniente em tudo, basta descontar essa régua para alinhar os dois. Mas e quando, em um caso específico, aquele juiz famoso por sempre ser severo é mais brando que os colegas? Esse resto é o ruído de padrão, e é dele que trata o capítulo 16 de Ruído.

Para entendermos este ruído, Daniel Kahneman, Olivier Sibony e Cass R. Sunstein trazem de volta a Julie, aquela estudante cuja média na faculdade você tentou adivinhar no capítulo 14. Lá, a única informação que recebemos era de que ela aprendeu a ler aos quatro anos. Aí o raciocínio era de que criança precoce = boa aluna = média alta. Agora temos mais detalhes sobre sua vida. O pai, advogado, adoeceu e a alfabetizou em casa. A leitura fluente cedo, mas a aritmética que nunca entrou na rotina. O divórcio dos pais aos onze anos, que derrubou as notas e disparou os acessos de fúria na escola. O ensino médio brilhante em física, mas largado em quase todo o resto. A maconha nos primeiros semestres da faculdade e, de repente, no quarto, a decisão de cursar medicina e o aperto nos estudos. E agora, qual você acha que foi a média escolar dela?

O problema ficou bem mais difícil, porque agora as informações brigam entre si. Há sinais de talento e motivação convivendo com outros de fragilidade e fracasso, e a cabeça não consegue encaixar tudo numa história só. Quando as evidências apontam todas para o mesmo lado — como no caso do contador metódico e bom de números, que o livro já tinha usado —, o julgamento sai redondo e quase todo mundo concorda. Quando se contradizem, cada leitor agarra um fio diferente para puxar, monta uma narrativa única, e é dessa escolha silenciosa que nasce o desacordo.

A vida muitas vezes é mais complexa do que as histórias que gostamos de contar sobre ela.

Mas uma vida incoerente não é uma vida inventada. Pelo contrário, é a coerência boa demais que costuma soar suspeita, porque gente real raramente cabe num retrato sem arestas. Em livros e filmes, são os famosos “personagens bidimensionais”. A madrasta má, o playboy arrogante.

Read more

Então a justiça será útil quando o dinheiro for inútil.
— Platão

A régua que usamos para expressar um julgamento é, ela mesma, uma das principais fontes de ruído, e de todas elas, a pior é o dinheiro. Por isso, a indenização que um júri aponta em um processo é praticamente um chute, não porque os jurados discordem de quem errou ou do tamanho do erro, mas …

Read more

A comparação é o ladrão da alegria.
— Theodore Roosevelt

A mente humana é uma péssima régua e uma ótima balança de dois pratos ⚖. Peça uma nota de 0 a 10 para qualquer coisa — um vinho, um funcionário, a gravidade de um crime — e sua cabeça entrega um número que mal se sustenta. Mas pergunte qual entre dois vinhos é melhor, ou qual de dois funcionários re…

Read more

A heurística para responder a uma pergunta difícil é encontrar a resposta para uma mais fácil.

Os mesmos atalhos mentais que entortam o julgamento de todo mundo na mesma direção também conseguem espalhar os julgamentos em direções diferentes. Tudo que produz viés, portanto, também produz ruído. É essa a ideia que dá nome ao capítulo 13 e abre a Parte IV de Ruído, o ponto em que Daniel Kahneman, Olivier Sibony e Cass R. Sunstein param de medir o ruído e investigam a maquinaria mental por trás dele. Após doze capítulos mostrando onde o ruído se esconde e quanto custa, a pergunta passa a ser: de onde ele vem? A resposta é psicológica e está nas heurísticas e nos vieses, o território que rendeu a Kahneman o Nobel e que ele já tinha condensado em Rápido e devagar.

Quando encontra uma pergunta difícil, a mente não trava nem pensa muito — não fica gastando energia (calorias mesmo). Ela troca a pergunta por uma mais fácil e responde a essa, sem avisar ninguém, nem a si mesma.

O livro traz mais um exercício mental para explicar como isso funciona. Bill tem 33 anos, é inteligente, mas pouco criativo, meio compulsivo, era bom em matemática na escola e fraco em humanidades (praticamente uma letra do Legião Urbana). Sabendo disso, qual a profissão de Bill? E o que é mais provável, que ele toque jazz nas horas vagas ou que seja contador e toque jazz nas horas vagas? Quase todo mundo aposta na segunda. E quase todo mundo erra, porque acrescentar um detalhe a uma descrição só pode torná-la menos provável, nunca mais provável. É o gráfico de intersecção da escola. Nem todo jazzista é contador, mas pensar nesse detalhe dá mais trabalho, não é coisa do Sistema 1.

O que aconteceu é que a mente respondeu a uma pergunta que não foi feita. Em vez de “qual é mais provável?”, ela respondeu “Bill tem pinta de contador?”. Semelhança é fácil de avaliar, probabilidade dá trabalho, então a mais fácil ganha. Os autores chamam isso de substituição.

Read more

A estupidez das pessoas vem de ter resposta para tudo. A sabedoria do romance vem de fazer pergunta para tudo.
— Milan Kundera

Olha… este foi meu capítulo preferido até aqui, em um livro que, por outro lado, não tem me despertado fortes emoções, confesso. O Boa Noite Internet tem como slogan desde sempre “o podcast que tenta explicar o mundo através de histórias interessantes” (frase que meu revisor gramatical sempre avisa que está errada) e meio que é esse o assunto deste capítulo — não necessariamente como uma coisa boa. Mas a gente já chega lá.

Daniel Kahneman, Olivier Sibony e Cass R. Sunstein abrem a conversa com uma pesquisa de Sara McLanahan e Matthew Salganik, publicada em 2020. Cento e doze cientistas convocaram 160 equipes para uma competição meio no estilo hackathon do mundo da programação, mas aqui o desafio era usar milhões de pontos de dados sobre cinco mil crianças, acompanhadas do nascimento aos quinze anos. Cada equipe deveria fazer seis previsões sobre as crianças: que notas tirariam, quanta “fibra” (uma medida de perseverança) teriam, se a família seria despejada de casa, se passariam por dificuldades materiais, se o cuidador principal seria demitido e se este entraria em algum treinamento profissional. A maioria das equipes usou aprendizado de máquina, a famosa IA, para encontrar padrões nesse oceano de dados.

Os modelos sofisticados venceram os simples por uma margem apertada. Para despejos, o melhor algoritmo acertou em 57% dos casos. Para a média escolar, mais previsível por ser uma medida agregada, foi possível chegar a 65% de acerto. Ainda assim, bem longe da perfeição, como vimos no capítulo passado, todo mundo parando bem perto do teto da ignorância objetiva. O resumo do próprio paper, assinado pelos 112 cientistas que participaram, chega a dizer:

Os pesquisadores devem conciliar a ideia de que compreendem as trajetórias de vida com o fato de que nenhuma previsão foi muito precisa.

Se você ouvir algum “ólogo” dizendo que sabe explicar por que uma pessoa tem uma vida com dificuldades, desconfie. Esta pessoa só está sofrendo da negação da ignorância que vimos no capítulo anterior.

Read more

Fazer previsões é muito difícil, especialmente sobre o futuro.
— Niels Bohr

Quem nunca trabalhou com gente que se gabava do próprio faro? Tino comercial, intuição executiva, olho clínico, chama aí como quiser. Todo esse povo tinha pelo menos uma história favorita de uma decisão “tomada na cara e na coragem” que deu muito certo, provando o quê? Que ela é e…

Read more

A necessidade do poder é óbvia, porque a vida não pode ser vivida sem ordem; mas a atribuição do poder é arbitrária porque todos os homens são iguais, ou quase.
— Simone Weil

No capítulo passado, vimos que uma planilha básica, com pesos arbitrários, costuma prever o desempenho de uma pessoa melhor do que um especialista que estudou anos para fazer aquele julgamento. O capítulo 10 pega essa visão e dobra a meta. Se a média ponderada já bate o doutor, o que mais bate o doutor? E o que acontece quando a gente, em vez de simplificar, complica o modelo até o limite do que o computador aguenta?

Antes de seguir, vale destrinchar uma palavra que vamos usar muito hoje. Algoritmo, fora das redes sociais, não é essa entidade mística que amamos odiar, só quer dizer “receita”, uma sequência de passos para resolver uma tarefa. Bater claras em neve até o ponto firme é algoritmo. “Se o molho ficar ralo demais, dissolva uma colher de maizena em água fria e devolva à panela” também é, com direito a condicional if, then e tudo. Uma fórmula de regressão linear é um algoritmo. Uma regra prática do tipo “se vai sair de casa e o céu está fechado, leva guarda-chuva” é algoritmo. E o monstro de um trilhão de parâmetros que escreve textos respondendo a um prompt também.

Vale ter essa variedade em mente, porque de alguns anos para cá, “IA” virou um nome informal para uma parte muito específica desses algoritmos — as LLMs, esses geradores de texto e código (e, esticando, de imagem e vídeo). IA, em sentido próprio, é qualquer sistema que aprenda padrões a partir de dados. O detector de spam do seu e-mail é IA. O modelo que recomenda séries e filmes na Netflix é IA, assim como o algoritmo que prevê risco de fuga sob fiança, que o capítulo vai dissecar em breve. IA não é só o Claude — e mesmo dentro desse grupo há diferenças entre o “modelo” (GPT, Gemini, etc.) e a interface (ChatGPT, Claude Code, etc.)

Sendo assim, o capítulo monta um espectro. De um lado, simplicidade extrema. Regras tão bobas que dá vergonha de cobrar consultoria por elas. Do outro, complexidade extrema. Modelos de aprendizado de máquina que consomem milhões de tokens e detectam padrões que nenhum humano consegue enxergar. No meio, a média ponderada que já tínhamos visto no capítulo 9. A tese do trio de autores é que todo esse espectro, do mais simples ao mais sofisticado, costuma ser melhor do que o julgamento humano. Por motivos diferentes em cada extremo, mas com um motivo compartilhado pelos dois, de que nenhum algoritmo tem ruído.

Read more

Então ele refletiu que a realidade geralmente não costuma coincidir com as previsões.
— Jorge Luis Borges

Começa aqui a Parte III de Ruído, onde conversaremos sobre julgamento preditivo: o palpite que alguém dá hoje sobre algo que só vai se confirmar (ou não) depois. As partes anteriores mediram ruído olhando para julgamentos avaliativos do tipo dar uma sentença justa, ou qual seria a indenização adequada. Agora o terreno é o das previsões. Quem vai ser bom funcionário, quem vai reincidir no crime, quem vai responder bem ao tratamento. A vantagem é que aqui o tempo julga. Basta esperar alguns anos, comparar a previsão com o que de fato aconteceu, e o resultado sai. E… o especialista costuma sair mal quando ele chega.

Imagine receber a ficha de duas candidatas a cargo executivo, Monica e Nathalie, com notas de 1 a 10 em liderança, comunicação, habilidades interpessoais, técnicas e motivação.

Você bate o olho na tabela, calcula uma média mental e crava Nathalie como a mais forte, com vantagem de um ou dois pontos. O 10 redondo dela em comunicação chama a atenção, e as notas altas em liderança e habilidades interpessoais seguram o caso, mesmo com motivação e parte técnica mais fracas do que as de Monica. Pronto, acabamos de fazer aquilo que o livro chama de julgamento clínico, o nome chique para “consultei minha intuição” — ou DataCu™ —, que vem sendo chamado nos capítulos anteriores apenas de julgamento.

Este exemplo saiu de um estudo real com 847 candidatos a cargo executivo de uma firma internacional de consultoria. Psicólogos com doutorado avaliaram a base inteira e, anos depois, alguém comparou suas previsões com o desempenho real dos contratados. Quando o psicólogo cravava A como melhor que B, a chance de A acabar com avaliação melhor que B era de 55%. Pouco acima de cara ou coroa.

A mesma base, jogada numa fórmula estatística trivial de média ponderada — regressão múltipla, mas dá para pensar como “atribua peso fixo a cada nota e faça a soma” —, chegou a 60%. Algo como peso 3 para liderança, 2 para motivação, 1 para comunicação, e por aí vai (e até pesos negativos para coisas que jogam contra, como multas de trânsito não pagas). Nada espetacular. E, ainda assim, com melhores resultados do que o doutor.

Read more

Já foi dito que a democracia é a pior forma de governo, exceto todas as outras que já foram tentadas.
— Winston Churchill

Os capítulos anteriores trataram de ruídos individuais, como o juiz mais severo que colegas, o médico que muda de opinião à tarde, o avaliador que dorme mal. A intuição corporativa sugere que basta juntar várias dessas cabeças numa sala para o ruído se cancelar e o grupo chegar a algo melhor, o famoso brainstorm. Os autores chegam pela primeira vez em terreno explicitamente político neste capítulo e mostram que pensar em grupo amplifica o ruído em vez de cancelá-lo.

Matthew Salganik, sociólogo de Princeton, montou em 2006 um experimento famoso com Peter Dodds e Duncan Watts. Criaram um site com 72 músicas de bandas desconhecidas e nomes evocativos como “Best Mistakes” (os melhores erros), “I Am Error” (eu sou um erro) e “Wish Me Luck” (deseje-me sorte). Milhares de pessoas foram divididas aleatoriamente em nove grupos. No grupo de controle, cada um escutava as músicas e decidia o que baixar sem saber das escolhas alheias. Nos outros oito grupos, cada participante podia ver quantas vezes cada música havia sido baixada. Eles queriam saber se, rodando a mesma história oito vezes em paralelo com os mesmos ingredientes, o resultado se repetiria, como indica a lógica. A “boa música” deve sempre se sobressair, somos seres pensantes, ninguém manda em mim, você não é minha mãe, aquelas coisas.

Só que não. As paradas musicais divergiram radicalmente entre os oito grupos. “Best Mistakes” virou hit num e fiasco no outro. As piores músicas nunca chegaram ao topo e as melhores nunca fracassaram completamente, mas no meio quase tudo podia acontecer.

Read more

A mente pode ser um instrumento de medição, mas jamais será perfeito.

No capítulo passado, Daniel Kahneman, Olivier Sibony e Cass Sunstein abriram o ruído de sistema em duas peças, ruído de nível e ruído de padrão. Sobrou um pedaço para este capítulo. Parte do que parecia padrão estável é, na verdade, oscilação dentro da mesma pessoa, de uma ocasião para outra. O nome dessa fatia é ruído de ocasião, e ele desfaz a fantasia mais consoladora sobre julgamento profissional, a de que o especialista certo, calmo e de boa-fé, decidiria a mesma coisa do mesmo jeito sempre.

Ninguém espera que um jogador da NBA acerte 100% dos lances livres. Stephen Curry, o melhor cobrador da história, tem 91% de aproveitamento. Shaquille O’Neal não chegou a 53% na carreira. O corpo do atleta oscila o dia inteiro, batimento cardíaco, pressão, tremor, o carinho da torcida, e o arremesso oscila junto. Achar estranho que a cabeça oscile no mesmo passo, na hora de julgar, é só uma autoimagem mais generosa do que merece.

Num concurso importante de vinhos nos EUA, quando os enólogos provam o mesmo vinho duas vezes, as notas coincidem em apenas 18% dos casos (normalmente nos vinhos inegavelmente horríveis). Um perito forense pode olhar a mesma impressão digital semanas depois e mudar a conclusão. Um desenvolvedor de software estima a mesma tarefa de duas formas diferentes em momentos distintos. O médico apresentado duas vezes ao mesmo caso emite diagnósticos diferentes.

Assim como um jogador de basquete nunca arremessa a bola da mesma maneira duas vezes, nem sempre elaboramos julgamentos idênticos quando confrontados com os mesmos fatos em ocasiões diversas.

A consequência prática é que escolher um especialista também sorteia o estado mental dele no dia. Os autores chamam isso de uma segunda loteria. A primeira sorteia o juiz, o médico, o perito. A segunda sorteia o humor, o cansaço, a sequência de casos da manhã, o calor da sala. Você nunca encontra a resposta única do profissional. Encontra a resposta dele naquela ocasião.

Read more

A majestosa igualdade das leis, que proíbe tanto o rico quanto o pobre de dormir sob as pontes, mendigar nas ruas e roubar pão.
— Anatole France

No capítulo passado, Daniel Kahneman, Olivier Sibony e Cass Sunstein mostraram que viés e ruído pesam igual no erro total. Agora chega a vez de o ruído ser desmontado em pedaços, porque ruído não é uma coisa só. …

Read more

É melhor estar vagamente certo do que exatamente errado.
— Carveth Read

Esse é o capítulo mais cabeçudo de Ruído até aqui, com direito a Gauss, curva normal e fórmulas pra todo lado. Pra você ter ideia, olha esse trechinho:

Agora podemos entender por que a fórmula de Gauss para medir o erro total é chamada de erro quadrático médio e por que sua abordagem d…

Read more

Quem somos nós pra julgar, não é mesmo?
— Nós, julgando

Aqui começa a Parte II do Ruído. Até agora vimos onde o ruído aparece, em sentenças judiciais, seguros ou até em decisões singulares. Neste capítulo, Daniel Kahneman, Olivier Sibony e Cass Sunstein vão explicar como formamos julgamentos. E, sem querer, vão acabar explicando também por que caímos tanto nas alucinações das IAs.

Começamos com ferramentas. Medir o comprimento de um tapete em centímetros com uma fita métrica ou medir a temperatura ambiente em graus Celsius com um termômetro. Medir nada mais é do que usar um instrumento para atribuir um valor numa escala. A régua e o termômetro são instrumentos físicos, e o número que sai deles é sempre uma aproximação da verdade, com algum erro embutido. Toda medição tem erro — e, muitas vezes, tá tudo bem. Por exemplo, anos atrás pedi dicas a um amigo cozinheiro para equipar minha cozinha e reclamei que minha balança não era das mais precisas. Ele riu: “Tudo bem, Cris, você vai fazer pão, não metanfetamina.”

Julgar funciona do mesmo jeito que medir o tapete da sala e fazer pão, só muda a régua. Quando um juiz determina o tempo de prisão ou um corretor de seguros está precificando uma apólice, estão atribuindo um valor numa escala numérica, exatamente como quem lê o número numa régua. Quando um médico dá um diagnóstico, mesmo que a escala seja qualitativa (“melanoma avançado”, “cirurgia recomendada”), também está fazendo a mesma coisa. A diferença é que o instrumento aqui é a mente humana. E, assim como a minha balança, que está lá até hoje, ela tem precisão limitada. Vai sempre haver erro, parte viés, parte ruído.

Read more