Erros e acertos

Na recuperação de informação, duas medidas são as mais usuais para a avaliação da efetividade de ferramentas de busca: recall e precision.

O recall mede o percentual de objetos relevantes que foram recuperados por uma busca. A precisão, por sua vez, mede o percentual de elementos relevantes entre aqueles recuperados.

Num extremo, podemos ter um conjunto de apenas um elemento relevante: precisão 100 %, porem recall muito baixo. A medida que adicionamos novos elementos, o recall vai crescendo, mas, a depender da qualidade da ferramenta, às custas de menor precisão. No outro extremo, podemos ter um conjunto solução que é igual ao universo pesquisado. Neste caso, temos a certeza de recall 100%, mas com precisão mínima.

A qualidade do algoritmo faz diferença, não existindo algoritmo perfeito. No entanto, há consenso de que, a depender da aplicação, é razoável sacrificar precisão em favor de recall. Por exemplo, se buscamos descobrir todos os fabricantes de computadores americanos, é aceitável que uma pesquisa retorne alguns elementos não relevantes.

Tendo eu martelo, faço do programa Fome Zero prego e o analiso sob a ótica da recuperação de informação.

Partindo da existência de uma população a ser contemplada pelo programa, o programa deve buscar 100% de recall, i.e., atender a todos que atendam o critério do programa, e, ao mesmo tempo com alta precisão, não permitindo que aqueles que não fazem jus ao beneficio sejam inscritos no programa.

O importante nesta analogia é que a desenfreada busca de precisão pode ocorrer às custas de uma perda de recall. Quando uma reportagem de TV mostra a irmã do prefeito de não sei onde recebendo o beneficio do programa, o foco é exclusivo na precisão e o clamor é por maior controle.

Não ataco o controle, mas apenas um cego “maior” controle. Regras e mais regras certamente tem um impacto no recall, impedindo que muitos dos destinatários legítimos sejam atendidos.

A busca é, portanto de um melhor controle, e neste contexto – do programa Fome Zero – é importante se perguntar: o que é mais critico: pagar a quem não se deve ou deixar de atender a quem necessita ?

Ainda particular ao contexto do programa, é preciso ponderar que os custos marginais de inclusão de novos participantes é decrescente ( por diluir os custos fixos ) e que a adoção de medidas de controle tem custo em si mesmas. Ou seja, um programa de maior precisão pode, paradoxalmente, apresentar um maior custo por beneficiário (legítimo) que um programa mais inclusivo.

Tudo que disse até aqui nada tem de controverso, uma vez que você aceite a premissa do programa.

Agora vamos analisar os dois extremos. Um programa com suporte ministerial para atender uma única família é ridículo, vide as criticas aos programa do Primeiro Emprego : “Em março de 2004, o sistema eletrônico de acompanhamento dos gastos federais registrava um único beneficiário, um jovem contratado como copeiro por um restaurante de Salvador.”

No entanto, o extremo oposto pode ser interessante: pagar o benefício a todo mundo. Neste cenário, o Recall é 100%. O controle do programa desaparece, substituído apenas pelo controle de identificação e cidadania.

Como o dinheiro não surge do nada, os impostos teriam que ter aumento, possivelmente de forma que aqueles fora da população a ser beneficiada pelo programa passem a pagar imposto adicional no montante do benefício recebido.

Fica evidente que muito dinheiro estaria se movimentando sem efeito algum, pois, para muitos funcionaria assim: eu recebo um benefício e depois tenho que devolver ele todo em imposto. No entanto, o ganho está no uso de um infra-estrutura existente e necessária (de arrecadação de impostos), que de qualquer forma precisa passar por importantes mudanças: Pobres pagam 44% mais impostos do que ricos.

Isto, como diria o Suplicy, nada mais é que renda mínima.