{"id":25380,"date":"2024-02-27T10:26:00","date_gmt":"2024-02-27T13:26:00","guid":{"rendered":"https:\/\/maurinsoft.com.br\/?p=25380"},"modified":"2024-02-27T11:14:16","modified_gmt":"2024-02-27T14:14:16","slug":"trabalhando-com-matriz-de-confusao","status":"publish","type":"post","link":"https:\/\/maurinsoft.com.br\/wp\/en\/trabalhando-com-matriz-de-confusao\/","title":{"rendered":"Trabalhando com Matriz de Confus\u00e3o"},"content":{"rendered":"<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"600\" height=\"381\" src=\"https:\/\/maurinsoft.com.br\/wp-content\/uploads\/2024\/02\/image-23.png\" alt=\"\" class=\"wp-image-25387\" srcset=\"https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-23.png 600w, https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-23-300x191.png 300w\" sizes=\"auto, (max-width: 600px) 100vw, 600px\" \/><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\">Acur\u00e1cia<\/h2>\n\n\n\n<p>Diz os acertos:<\/p>\n\n\n\n<p>Soma-se os Verdadeiros Positivos + Verdadeiros Negativos dividido pelo total de itens<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[a = {{(VP + VN)} \\over T} \\]\n<script type=\"text\/javascript\" src=\"https:\/\/maurinsoft.com.br\/wp\/wp-includes\/js\/dist\/hooks.min.js?ver=dd5603f07f9220ed27f1\" id=\"wp-hooks-js\"><\/script>\n<script type=\"text\/javascript\" src=\"https:\/\/maurinsoft.com.br\/wp\/wp-includes\/js\/dist\/i18n.min.js?ver=c26c3dc7bed366793375\" id=\"wp-i18n-js\"><\/script>\n<script type=\"text\/javascript\" id=\"wp-i18n-js-after\">\n\/* <![CDATA[ *\/\nwp.i18n.setLocaleData( { 'text direction\\u0004ltr': [ 'ltr' ] } );\nwp.i18n.setLocaleData( { 'text direction\\u0004ltr': [ 'ltr' ] } );\n\/\/# sourceURL=wp-i18n-js-after\n\/* ]]> *\/\n<\/script>\n<script  async type=\"text\/javascript\" src=\"https:\/\/cdnjs.cloudflare.com\/ajax\/libs\/mathjax\/2.7.7\/MathJax.js?config=TeX-MML-AM_CHTML\" id=\"mathjax-js\"><\/script>\n<\/div>\n\n\n\n<p>onde:<\/p>\n\n\n\n<p> a = acuracia<\/p>\n\n\n\n<p>VP = Verdadeiro Positivo<\/p>\n\n\n\n<p>VN = Verdadeiro Negativo<\/p>\n\n\n\n<p>T = Total de itens<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erros<\/h2>\n\n\n\n<p>Calcula o percentual de erros na matriz de confus\u00e3o<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  e = {{FP + FN} \\over T } \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>e = Percentual de erro<\/p>\n\n\n\n<p>FP = Falso Positivo <\/p>\n\n\n\n<p>FN = Falso Negativo<\/p>\n\n\n\n<p>T = Total<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Sensibilidade (Sensivity) ou Repescagem (RECALL)<\/h2>\n\n\n\n<p>Onde  \u00e9 poss\u00edvel medir a sensibilidade ao acerto.<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  pv = { VP \\over {VP+FN }} \\]<\/div>\n\n\n\n<p>onde:<\/p>\n\n\n\n<p>pv = Positivo Verdadeiro<\/p>\n\n\n\n<p>VP = Verdadeiro Positivo<\/p>\n\n\n\n<p>FN = Falso Negativo<\/p>\n\n\n\n<p><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Precis\u00e3o ou Precision<\/h2>\n\n\n\n<p>Diz quanto da amostra os acertos realmente s\u00e3o eficientes<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  p = {  VP \\over {VP + FP } } \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>p = Precis\u00e3o<\/p>\n\n\n\n<p>VP = Verdadeiro Positivo<\/p>\n\n\n\n<p>FP = Falso Positivo<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Negativo Verdadeiros ou Especificidade (Specifity)<\/h2>\n\n\n\n<p>Diz dos Negativos, quantos foram corretamente classificados.<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  nv = {  VN \\over { VN + FP}  } \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>nv = Especificidade<\/p>\n\n\n\n<p>VN = Verdadeiro Negativo<\/p>\n\n\n\n<p>FP = Falso Positivo<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erro do Tipo 1 ou Positivo Falso<\/h2>\n\n\n\n<p>Onde de todos os Negativos, quantos foram classificados incorretamente<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  pf = {  FP \\over  { VN + FP} } \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>pf = Positivo Falso<\/p>\n\n\n\n<p>FP = Falso Positivo<\/p>\n\n\n\n<p>VN = Verdadeiro Negativo<\/p>\n\n\n\n<p>FP = Falso Positivo<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Negativos Falsos  ou Erro do Tipo II<\/h2>\n\n\n\n<p>De todos os Positivos, quantos foram classificados incorretamente como Negativo<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  nf = { FN \\over { VP + FN} } \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>nf = Negativos Falsos<\/p>\n\n\n\n<p>FN = Falso Negativos<\/p>\n\n\n\n<p>VP = Verdadeiros Positivos<\/p>\n\n\n\n<p>FN = Falso Negativos<\/p>\n\n\n\n<p><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">F1 Score<\/h2>\n\n\n\n<p>Maximiza os acertos, com rela\u00e7\u00e3o a precis\u00e3o, onde valores mais pr\u00f3ximos ao 1 s\u00e3o desejados.<\/p>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\">\\[  F1 = {1 \\over  { {1 \\over p} + {1 \\over r}}  }  \\]<\/div>\n\n\n\n<p>Onde:<\/p>\n\n\n\n<p>F1 = Score<\/p>\n\n\n\n<p>p = Precis\u00e3o ou Precision<\/p>\n\n\n\n<p>r = Sensibilidade (Sensivity) ou Repescagem (RECALL)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Logarithmic Loss (Perda Logar\u00edtmica)<\/h2>\n\n\n\n<p>A perda logar\u00edtmica, tamb\u00e9m conhecida como log loss ou cross-entropy loss, \u00e9 uma medida de desempenho usada em problemas de classifica\u00e7\u00e3o, especialmente em classifica\u00e7\u00f5es bin\u00e1rias e multiclasse. Essa m\u00e9trica quantifica qu\u00e3o distantes est\u00e3o as probabilidades previstas de um modelo em rela\u00e7\u00e3o aos valores verdadeiros ou reais (0 ou 1). A ideia \u00e9 penalizar n\u00e3o apenas as classifica\u00e7\u00f5es incorretas, mas tamb\u00e9m a confian\u00e7a errada nas previs\u00f5es.<\/p>\n\n\n\n<p>Para uma previs\u00e3o perfeita, a perda logar\u00edtmica \u00e9 0, e ela aumenta \u00e0 medida que a previs\u00e3o se afasta do valor real. Um aspecto importante da perda logar\u00edtmica \u00e9 que ela penaliza severamente as previs\u00f5es que est\u00e3o confiantemente erradas. Por exemplo, uma previs\u00e3o errada com alta certeza (por exemplo, prever a probabilidade de uma classe como 0.9 quando a classe verdadeira \u00e9 a outra) resultar\u00e1 em uma penalidade maior do que uma previs\u00e3o errada com baixa certeza.<\/p>\n\n\n\n<p>A f\u00f3rmula para a perda logar\u00edtmica em classifica\u00e7\u00e3o bin\u00e1ria \u00e9 dada por:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"571\" height=\"77\" src=\"https:\/\/maurinsoft.com.br\/wp-content\/uploads\/2024\/02\/image-25.png\" alt=\"\" class=\"wp-image-25412\" srcset=\"https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-25.png 571w, https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-25-300x40.png 300w\" sizes=\"auto, (max-width: 571px) 100vw, 571px\" \/><\/figure>\n\n\n\n<div class=\"wp-block-mathml-mathmlblock\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Receiver Operator Characteristic (ROC)<\/h2>\n\n\n\n<p>A Caracter\u00edstica de Opera\u00e7\u00e3o do Receptor (ROC, do ingl\u00eas &#8220;Receiver Operating Characteristic&#8221;) \u00e9 uma ferramenta utilizada para avaliar o desempenho de modelos de classifica\u00e7\u00e3o bin\u00e1ria. Ela \u00e9 representada graficamente por uma curva que compara a taxa de verdadeiros positivos (sensibilidade) com a taxa de falsos positivos (1 &#8211; especificidade), para diferentes limiares de decis\u00e3o.<\/p>\n\n\n\n<p>A \u00e1rea sob a curva ROC (AUC, do ingl\u00eas &#8220;Area Under the ROC Curve&#8221;) \u00e9 um indicador da capacidade do modelo de discriminar entre as duas classes. Um valor de AUC igual a 1 indica um modelo perfeito, capaz de separar completamente as duas classes sem erros. Um valor de AUC igual a 0,5 sugere um desempenho n\u00e3o melhor do que o acaso, ou seja, o modelo n\u00e3o tem capacidade de discrimina\u00e7\u00e3o entre as classes.<\/p>\n\n\n\n<p>A curva ROC \u00e9 particularmente \u00fatil porque permite a avalia\u00e7\u00e3o do desempenho do modelo em diferentes limiares, facilitando a escolha de um ponto de corte que equilibre entre a captura de verdadeiros positivos e a minimiza\u00e7\u00e3o de falsos positivos, de acordo com o contexto e os custos associados a cada tipo de erro.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"353\" height=\"235\" src=\"https:\/\/maurinsoft.com.br\/wp-content\/uploads\/2024\/02\/image-24.png\" alt=\"\" class=\"wp-image-25411\" srcset=\"https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-24.png 353w, https:\/\/maurinsoft.com.br\/wp\/wp-content\/uploads\/2024\/02\/image-24-300x200.png 300w\" sizes=\"auto, (max-width: 353px) 100vw, 353px\" \/><\/figure>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\">AUC &#8211; Area Under Curve<\/h2>\n\n\n\n<p>AUC, que significa &#8220;\u00c1rea Sob a Curva&#8221;, \u00e9 um termo amplamente utilizado em an\u00e1lise de dados e machine learning, especialmente quando se refere \u00e0 Curva ROC (Caracter\u00edstica de Opera\u00e7\u00e3o do Receptor). A AUC \u00e9 uma m\u00e9trica que quantifica o desempenho geral de um modelo de classifica\u00e7\u00e3o, independentemente do limiar de decis\u00e3o aplicado.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Caracter\u00edsticas Principais da AUC<\/h3>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"244\" height=\"171\" src=\"https:\/\/maurinsoft.com.br\/wp-content\/uploads\/2024\/02\/image-26.png\" alt=\"\" class=\"wp-image-25416\" style=\"width:410px;height:auto\"\/><\/figure>\n<\/div>\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Avalia\u00e7\u00e3o de Desempenho:<\/strong> A AUC mede a capacidade do modelo de discriminar entre classes positivas e negativas. Um modelo com uma AUC de 1.0 \u00e9 considerado perfeito, capaz de separar perfeitamente as duas classes. Um modelo com uma AUC de 0.5 n\u00e3o tem capacidade de discrimina\u00e7\u00e3o, equivalente a um palpite aleat\u00f3rio.<\/li>\n\n\n\n<li><strong>Independente do Limiar:<\/strong> A AUC \u00e9 particularmente \u00fatil porque \u00e9 independente do ponto de corte escolhido. Isso significa que ela fornece uma medida do desempenho do modelo que n\u00e3o \u00e9 afetada pela sele\u00e7\u00e3o de um limiar espec\u00edfico para a classifica\u00e7\u00e3o de positivos e negativos.<\/li>\n\n\n\n<li><strong>Compara\u00e7\u00e3o de Modelos:<\/strong> A AUC permite comparar o desempenho de diferentes modelos de classifica\u00e7\u00e3o diretamente. Um modelo com uma AUC maior \u00e9 geralmente considerado melhor na discrimina\u00e7\u00e3o das classes.<\/li>\n\n\n\n<li><strong>Aplic\u00e1vel em Diversos Contextos:<\/strong> Embora frequentemente associada \u00e0 Curva ROC, o conceito de AUC pode ser aplicado a outras curvas, como a Curva Precision-Recall, especialmente em contextos onde as classes s\u00e3o muito desbalanceadas.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Limita\u00e7\u00f5es<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>N\u00e3o Capta Todas as Dimens\u00f5es de Desempenho:<\/strong> Embora a AUC forne\u00e7a uma medida \u00fatil do desempenho geral de um modelo, ela n\u00e3o captura todas as nuances, como o equil\u00edbrio entre sensibilidade e especificidade ou a precis\u00e3o das previs\u00f5es positivas (precis\u00e3o).<\/li>\n\n\n\n<li><strong>Desbalanceamento de Classes:<\/strong> Em situa\u00e7\u00f5es com desbalanceamento acentuado de classes, a AUC pode ser enganosa, sugerindo um desempenho melhor do que o modelo realmente apresenta, especialmente se a preocupa\u00e7\u00e3o \u00e9 com a precis\u00e3o da classifica\u00e7\u00e3o da classe minorit\u00e1ria.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Conclus\u00e3o<\/h3>\n\n\n\n<p>A AUC \u00e9 uma m\u00e9trica valiosa para avaliar e comparar modelos de classifica\u00e7\u00e3o, oferecendo uma vis\u00e3o geral da capacidade do modelo de discriminar entre classes. Contudo, \u00e9 importante consider\u00e1-la junto a outras m\u00e9tricas para obter uma avalia\u00e7\u00e3o completa do desempenho do modelo.<\/p>","protected":false},"excerpt":{"rendered":"<p>Acur\u00e1cia Diz os acertos: Soma-se os Verdadeiros Positivos + Verdadeiros Negativos dividido pelo total de itens onde: a = acuracia VP = Verdadeiro Positivo VN = Verdadeiro Negativo T = Total de itens Erros Calcula o percentual de erros na matriz de confus\u00e3o Onde: e = Percentual de erro FP = Falso Positivo FN = [&hellip;]<\/p>","protected":false},"author":1,"featured_media":25384,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[39],"tags":[573,90,572,571],"class_list":["post-25380","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia","tag-acuracia","tag-analise","tag-confusao","tag-matriz"],"_links":{"self":[{"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/posts\/25380","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/comments?post=25380"}],"version-history":[{"count":20,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/posts\/25380\/revisions"}],"predecessor-version":[{"id":25420,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/posts\/25380\/revisions\/25420"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/media\/25384"}],"wp:attachment":[{"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/media?parent=25380"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/categories?post=25380"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/maurinsoft.com.br\/wp\/en\/wp-json\/wp\/v2\/tags?post=25380"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}