Inicio / Previsao de Demanda e Analitica / Calculadora de Erro de Previsao (MAD, MAPE, WMAPE, Vies e Sinal de Rastreamento)
Previsao de Demanda e Analitica
Calculadora de Erro de Previsao (MAD, MAPE, WMAPE, Vies e Sinal de Rastreamento)
A metrica de erro de previsao mede o quanto a sua previsao errou a demanda real, em unidades, em porcentagem e em direcao, para voce saber se pode confiar nela e quando trocar de metodo. Enquanto a media movel, a suavizacao exponencial, a regressao linear e o indice sazonal geram uma previsao, esta calculadora faz a pergunta seguinte: essa previsao e boa? Cole a coluna da demanda real e a coluna da previsao, uma por linha, e a ferramenta calcula de uma vez todo o painel de acuracia: o desvio absoluto medio (MAD/DMA), o erro quadratico medio (MSE/EQM) e a sua raiz (RMSE/REQM), o erro percentual absoluto medio (MAPE/EMPA) e a sua versao ponderada por volume (WMAPE), o erro medio (MFE/Vies) com o vies percentual, a soma acumulada dos erros (RSFE) e o sinal de rastreamento com os limites de controle. Ela ainda monta uma tabela periodo a periodo, desenha o grafico do sinal de rastreamento com as linhas de controle e escreve um veredito em portugues claro. Ela abre com um exemplo resolvido de seis periodos, com acuracia de 88,89 por cento e sinal de rastreamento de 0,86, para voce ver o metodo funcionando antes de digitar o seu proprio dado. Tudo acontece no seu navegador, na hora, sem cadastro.
O que separa esta ferramenta de um formulario simples de MAPE e o alcance do que ela mede e a leitura que ela entrega. A convencao de sinal aqui e e = A menos F, o erro e a demanda real menos a previsao, de modo que um erro medio positivo significa que a previsao ficou abaixo da demanda, ou seja, subestimou. Muita calculadora concorrente para no MAPE, no WMAPE e no vies via formulario, sem o MAD em unidades, sem o RMSE que pune os erros grandes, sem o sinal de rastreamento que avisa quando o vies se acumula, sem a tabela e sem o grafico. Esta faz tudo isso: entrega o MAD para uma leitura robusta em unidades de demanda e para alimentar o sinal de rastreamento, o RMSE para quando os erros grandes custam caro, o MAPE para uma porcentagem sem escala numa serie limpa, o WMAPE como o KPI de portfolio que nao estoura com demanda perto de zero, e o vies com o sinal de rastreamento para pegar o erro sistematico para cima ou para baixo. Como esta e a ferramenta ancora do silo, ela existe para medir o que as outras produzem: gere uma previsao na calculadora de media movel, na calculadora de suavizacao exponencial, na calculadora de regressao linear ou na calculadora de indice sazonal, cole aqui a real e a prevista, e leia o veredito. Se o resultado sai enviesado ou fora de controle, o problema esta no metodo la, e voce volta e troca.
Em resumo: o erro de cada periodo e e = A menos F, a demanda real menos a previsao. Com esse sinal, um erro medio positivo diz que a previsao ficou abaixo da real (subestimou). A ferramenta resume a acuracia num painel completo. O MAD (desvio absoluto medio, igual ao MAE) e a media dos erros absolutos, em unidades de demanda. O MSE e a media dos erros ao quadrado, e o RMSE e a sua raiz, na mesma unidade da demanda e mais sensivel aos erros grandes. O MAPE e a media de |e| dividido por |A|, em porcentagem, e nao existe quando um real e zero, entao esses periodos sao pulados; o WMAPE divide a soma de |e| pela soma de |A|, usa todos os periodos e nao estoura perto de zero, por isso e a metrica de destaque. A acuracia da previsao e 100 menos WMAPE (ou 100 menos MAPE). O MFE, ou vies, e a media dos erros e mostra a direcao; o vies percentual e a soma dos erros dividida pela soma dos reais; a RSFE e a soma acumulada dos erros. O sinal de rastreamento e RSFE dividido pelo MAD, recalculado a cada periodo, com limites de controle de mais ou menos 4: persistentemente positivo indica subestimacao, persistentemente negativo indica superestimacao, e cruzar mais ou menos 4 significa que a previsao saiu de controle e precisa ser reajustada. No exemplo padrao, a serie real 100, 120, 90, 110, 130, 80 contra a previsao 110, 100, 95, 100, 120, 95 da os erros -10, 20, -5, 10, 10, -15, e os resultados MAD 11,67, MSE 158,33, RMSE 12,58, MAPE 11,29 por cento, WMAPE 11,11 por cento, MFE 1,67, vies 1,59 por cento, RSFE 10, sinal de rastreamento 0,86 (bem dentro de mais ou menos 4), acuracia 88,89 por cento, sMAPE 11,30 por cento e MASE 0,42. O veredito: acuracia razoavel, vies pequeno, sob controle.
acuracia da previsao (1 – WMAPE)
88,89%acuracia da previsao (1 – WMAPE)
- MAD / DMA (desvio absoluto medio)
- 11,67
- MSE / EQM (erro quadratico medio)
- 158,33
- RMSE / REQM (raiz do erro quadratico medio)
- 12,58
- MAPE / EMPA (erro percentual absoluto medio)
- 11,29%
- WMAPE (MAPE ponderado)
- 11,11%
- MFE / Vies (erro medio)
- 1,67
- Vies %
- 1,59%
- RSFE (soma dos erros)
- 10,00
- Sinal de rastreamento (RSFE / MAD)
- 0,86
- Acuracia (1 – MAPE)
- 88,71%
- sMAPE (simetrico)
- 11,30%
- MASE (vs ingenuo)
- 0,42
Acuracia da previsao 88,89 por cento. Acuracia razoavel. O vies e pequeno (1,59 por cento), entao os erros para cima e para baixo quase se cancelam. O sinal de rastreamento fica dentro dos limites +/-4, entao a previsao esta sob controle.
Erro por periodo (real / previsao / e / %err / RSFE / SR)
- t
- Real / Prev / e / %err / RSFE / SR
- 1
- 100 / 110 / -10 / 10,0% / -10 / -1,00
- 2
- 120 / 100 / 20 / 16,7% / 10 / 0,67
- 3
- 90 / 95 / -5 / 5,6% / 5 / 0,43
- 4
- 110 / 100 / 10 / 9,1% / 15 / 1,33
- 5
- 130 / 120 / 10 / 7,7% / 25 / 2,27
- 6
- 80 / 95 / -15 / 18,8% / 10 / 0,86
O que a ferramenta calcula
A calculadora responde a pergunta que fecha todo ciclo de previsao: a previsao que voce fez foi boa, e boa em que sentido? Voce cola duas colunas, a demanda real e a previsao correspondente, um valor por linha e na mesma ordem, e a ferramenta emparelha cada real com a sua previsao e calcula o erro de cada periodo. A partir desses erros ela produz um painel inteiro de acuracia, e nao um numero solto: o tamanho tipico do erro em unidades e em porcentagem, a direcao do erro, e o comportamento acumulado que revela se a previsao esta viesada ou perdendo o controle. Cada metrica olha para um aspecto diferente do mesmo conjunto de erros, e juntas elas contam a historia completa da qualidade da previsao.
Alem das metricas de cabecalho, a calculadora entrega tres coisas que um formulario simples nao da. Ela monta uma tabela periodo a periodo com a real, a previsao, o erro, o erro percentual, a RSFE acumulada e o sinal de rastreamento corrente, e destaca em vermelho as linhas que cruzam o limite. Ela desenha o grafico do sinal de rastreamento com as linhas de controle de mais e menos o limite, para voce ver a trajetoria do vies acumulado de relance. E ela escreve um veredito em portugues claro, dizendo se a acuracia e boa, razoavel ou fraca, se ha vies e para que lado, e se a previsao esta sob controle ou pediu reajuste. Tudo isso acontece no seu navegador, sem enviar nada a servidor nenhum, e voce pode baixar um PDF, exportar um CSV ou compartilhar o resultado.
Como funciona: as formulas do erro de previsao
Emparelhe cada demanda real A_t com a sua previsao F_t ao longo de n periodos. O erro de cada periodo e e_t = A_t menos F_t. Com essa convencao de sinal, um erro medio positivo significa que a previsao ficou abaixo da demanda real, ou seja, a previsao esta viesada para baixo e subestima a demanda; um erro medio negativo significa que a previsao ficou acima da real e superestima. Fixar essa convencao e o primeiro passo, porque toda a leitura de vies e de sinal de rastreamento depende dela. Alguns textos definem o erro como previsao menos real, o sinal oposto; aqui usamos real menos previsao do comeco ao fim.
O MAD, desvio absoluto medio (mean absolute deviation), tambem chamado de MAE, e a media dos erros absolutos, MAD = media de |e_t|. Ele fica na unidade da demanda e diz o tamanho tipico do erro sem se importar com a direcao. O MSE, erro quadratico medio (mean squared error), e a media dos erros ao quadrado, MSE = media de e_t ao quadrado; ele pune desproporcionalmente os erros grandes, porque eleva cada um ao quadrado. O RMSE, raiz do erro quadratico medio, e a raiz quadrada do MSE, RMSE = raiz de MSE; ele volta para a unidade da demanda e mantem a sensibilidade aos erros grandes, entao e a metrica a escolher quando um erro grande custa muito mais caro que varios pequenos.
O MAPE, erro percentual absoluto medio (mean absolute percentage error), e a media de |e_t| dividido por |A_t|, expressa em porcentagem. Ele nao tem unidade, o que facilita comparar series de tamanhos diferentes, mas tem dois defeitos: nao existe quando um real e zero, entao esses periodos sao pulados e a ferramenta mostra a contagem dos pulados, e ele fica instavel e assimetrico quando os reais sao pequenos, dando peso demais a periodos de baixo volume. Por isso o WMAPE, MAPE ponderado, e a metrica de cabecalho mais segura: WMAPE = soma de |e_t| dividida pela soma de |A_t|, em porcentagem. Ele pondera pelo volume, usa todos os periodos e nao estoura perto de zero. A acuracia da previsao e 100 menos WMAPE, ou 100 menos MAPE.
O MFE, erro medio de previsao (mean forecast error), tambem chamado de vies, e a media dos erros, MFE = media de e_t. Diferente do MAD, ele nao usa valor absoluto, entao os erros para cima e para baixo se cancelam e o que sobra e a direcao liquida: o quanto a previsao leva, em media, para cima ou para baixo. O vies percentual e a soma dos erros dividida pela soma dos reais, uma versao sem escala do vies. A RSFE, soma acumulada dos erros (running sum of forecast errors), e a soma dos erros do primeiro periodo ate o atual; ela cresce quando os erros se acumulam numa direcao so e fica perto de zero quando eles se alternam.
O sinal de rastreamento e o vigia do vies acumulado: sinal de rastreamento = RSFE dividido pelo MAD, recalculado a cada periodo com o MAD corrente. Ele mede quantos MADs de erro acumulado a previsao ja carrega. Os limites de controle sao mais ou menos 4 (alguns textos usam mais ou menos 3). Um sinal persistentemente positivo indica subestimacao, um persistentemente negativo indica superestimacao, e um sinal que cruza mais ou menos 4 significa que a previsao saiu de controle e deve ser reajustada, porque o erro deixou de ser aleatorio e virou um vies sistematico. E por isso que o sinal de rastreamento pega problemas que uma metrica de tamanho como o MAPE nao ve.
Duas metricas complementares fecham o painel. O sMAPE, MAPE simetrico, e a media de 2 vezes |e_t| dividido por (|A_t| mais |F_t|), em porcentagem; ele e limitado e trata a subestimacao e a superestimacao de forma mais simetrica que o MAPE. O MASE, erro absoluto escalonado medio, e o MAD dividido pela variacao absoluta media de um periodo para o outro dos reais, que e o referencial ingenuo (naive-1, prever que amanha sera igual a hoje); abaixo de 1 a previsao bate o ingenuo, acima de 1 ela e pior que ele. O MASE nao tem escala, entao serve para comparar e ranquear itens de tamanhos diferentes.
Qual usar quando: o RMSE quando os erros grandes custam caro; o MAD para um numero robusto em unidades de demanda e para alimentar o sinal de rastreamento; o MAPE para uma porcentagem sem escala numa unica serie limpa e sem zeros; o WMAPE como o KPI de portfolio que evita o estouro perto de zero; e o MFE, o vies percentual e o sinal de rastreamento para pegar a superestimacao ou a subestimacao sistematica. Nenhuma metrica sozinha conta a historia inteira, e por isso a ferramenta mostra todas de uma vez.
Cinco exemplos resolvidos de erro de previsao
Exemplo 1: a serie padrao, painel completo de metricas
A serie padrao da ferramenta: real 100, 120, 90, 110, 130, 80 contra previsao 110, 100, 95, 100, 120, 95, ao longo de seis periodos, com limite de sinal de rastreamento 4. Os erros e = A menos F saem -10, 20, -5, 10, 10, -15. A media dos absolutos da MAD 11,67, a media dos quadrados da MSE 158,33 e a sua raiz da RMSE 12,58. O MAPE, media dos erros percentuais absolutos, e 11,29 por cento, e o WMAPE, soma de |e| sobre soma de |A|, e 11,11 por cento. O erro medio e MFE 1,67, o vies percentual 1,59 por cento e a RSFE final 10. O sinal de rastreamento final e 0,86, bem dentro de mais ou menos 4. A acuracia da previsao e 88,89 por cento pelo WMAPE. A licao esta na leitura conjunta: a previsao erra cerca de 11,67 unidades em media, ou seja 11,11 por cento do volume, roda um pouco baixo (vies positivo), mas o vies e pequeno e o sinal de rastreamento de 0,86 bem dentro dos limites diz que ela e essencialmente nao viesada e esta sob controle. Uma metrica sozinha nao daria esse retrato; o painel inteiro da.
Exemplo 2: lendo o sinal de rastreamento periodo a periodo
Na mesma serie padrao, acompanhe o sinal de rastreamento corrente ao longo dos seis periodos. A RSFE acumula -10, 10, 5, 15, 25, 10 a medida que os erros -10, 20, -5, 10, 10, -15 entram, e o sinal de rastreamento correspondente, RSFE dividido pelo MAD corrente, move-se -1,00, 0,67, 0,43, 1,33, 2,27, 0,86. Repare que o sinal sobe em direcao ao periodo 5, quando tres erros positivos (20, 10, 10) se empilham e a RSFE chega a 25, e depois recua no periodo 6, quando o erro -15 puxa a RSFE de volta para 10. A licao e que o sinal de rastreamento reage ao erro acumulado numa direcao, e nao a um unico periodo: ele nunca chega perto do limite de mais ou menos 4 aqui, porque os erros mudam de sinal e a acumulacao se desfaz. Um sinal que sobe e desce assim e o retrato de uma previsao sem vies persistente.
Exemplo 3: uma previsao viesada e fora de controle
Agora uma serie que expoe o poder do sinal de rastreamento: real 100 em todos os periodos, previsao 90 em todos, ao longo de oito periodos. Cada erro e 100 menos 90 = mais 10, sempre na mesma direcao. A RSFE cresce 10, 20, 30, 40, 50, 60, 70, 80, e como o MAD fica sempre 10, o sinal de rastreamento corrente iguala o numero do periodo: 1, 2, 3, 4, 5, 6, 7, 8. Ele cruza mais 4 no periodo 5 e continua subindo. As metricas de tamanho parecem inofensivas: MAD 10, MAPE 10 por cento, e o vies percentual e mais 10 por cento. A licao e que um erro pequeno mas consistente numa unica direcao e invisivel no MAPE de cada periodo, que fica parado em 10 por cento, e ainda assim leva o sinal de rastreamento para fora de controle; o veredito sinaliza a subestimacao e manda reajustar. E exatamente esse tipo de vies silencioso que o sinal de rastreamento existe para pegar.
Exemplo 4: tratamento de demanda zero
Uma serie com um periodo de demanda zero: real 0, 10, 10 contra previsao 5, 8, 12. O MAPE nao consegue usar o primeiro periodo, porque dividir por um real de zero e indefinido, entao ele pula esse periodo e fica com 20 por cento sobre os dois periodos validos (os erros 2 e 2 sobre os reais 10 e 10 dao 20 por cento e 16,7 por cento, media proxima de 20 por cento). Ja o WMAPE usa todos os periodos: WMAPE = (5 mais 2 mais 2) dividido por (0 mais 10 mais 10) = 9 sobre 20 = 45 por cento. A licao e que o MAPE esconde a falha do periodo 1, onde a previsao de 5 errou uma demanda real de zero, so porque nao consegue dividir por zero; o WMAPE e as metricas absolutas nao escondem esse erro, porque somam o |e| de todo periodo. Por isso o WMAPE e a metrica de cabecalho mais segura para demanda intermitente, aquela que zera em varios periodos.
Exemplo 5: comparando previsoes com o MASE
Para comparar previsoes de itens de tamanhos diferentes, o MASE e a metrica certa, porque nao tem escala. Ele divide o MAD pelo referencial ingenuo (naive-1), que e a variacao absoluta media de um periodo para o outro dos reais, o erro que voce teria cometido prevendo que cada periodo seria igual ao anterior. Na serie padrao, a variacao absoluta media dos reais gira em torno de 28 unidades, entao MASE = 11,67 dividido por 28 = 0,42. Como esta bem abaixo de 1, a previsao bate com folga o referencial ingenuo de ultimo valor. A licao e que o MASE, por ser sem escala e ancorado num referencial universal, e a metrica para ranquear SKUs de volumes diferentes lado a lado: abaixo de 1 e bom, acima de 1 e pior que o ingenuo, e o proprio 1 e a linha que separa uma previsao util de uma que nao acrescenta nada ao palpite mais simples possivel.
Tres dicas de especialista para o erro de previsao
Lidere com o WMAPE, nao com o MAPE
O MAPE puro quebra nos periodos de demanda zero e da peso demais aos reais pequenos, entao ele pode parecer terrivel num item intermitente pelo motivo errado, e nao porque a previsao seja de fato ruim. O WMAPE pondera pelo volume, usa todos os periodos e se le como a acuracia do portfolio inteiro, e e por isso que os planejadores de demanda citam o WMAPE, e o 100 menos WMAPE como a acuracia de cabecalho, no lugar do MAPE. Guarde o MAPE para uma unica serie limpa, sem zeros e sem valores muito pequenos, onde ele se comporta bem e a sua leitura de porcentagem por periodo e util. Para qualquer coisa que agregue muitos itens ou que tenha periodos de baixa demanda, o WMAPE e a metrica honesta.
Leia o vies e o sinal de rastreamento, nao so o tamanho do erro
O MAD, o RMSE e o MAPE dizem o quanto a previsao erra em media, mas nao dizem para que lado. O erro medio e o vies percentual mostram se a previsao pende para cima ou para baixo, e o sinal de rastreamento vigia esse vies acumulado contra os limites de controle de mais ou menos 4. Uma previsao com um MAPE aceitavel ainda pode estar silenciosamente viesada e ir saindo de controle, como no terceiro exemplo, onde o MAPE ficava em 10 por cento enquanto o sinal de rastreamento estourava. Esse e o sinal de que o metodo ou os seus parametros precisam mudar. Sempre leia o painel inteiro: uma metrica de tamanho baixa nao garante uma previsao confiavel se o vies estiver crescendo por baixo.
Avalie o metodo que voce usou, e troque se ele falhar aqui
Esta ferramenta mede a previsao; ela nao a faz. Gere a previsao com a media movel, a suavizacao exponencial, a regressao linear ou o indice sazonal, cole aqui as colunas da real e da previsao, e leia o veredito. Um resultado viesado ou fora de controle aponta de volta para um descasamento de metodo: uma tendencia pede regressao ou o metodo de Holt, um padrao sazonal pede o indice sazonal, e uma demanda intermitente e irregular pede uma abordagem diferente, e ate uma etapa anterior de classificar a variabilidade da demanda, a analise XYZ de demanda, para separar o item regular do irregular antes de escolher o metodo. Medir aqui e barato; a decisao cara e qual metodo usar la, e o veredito desta ferramenta e o que orienta essa escolha.
O que e o erro de previsao e a convencao de sinal
O erro de previsao e a diferenca entre o que aconteceu e o que voce tinha previsto. Para cada periodo, e = A menos F, a demanda real menos a previsao. Essa definicao simples carrega uma decisao importante: o sinal. Com real menos previsao, um erro positivo significa que a real superou a previsao, ou seja, a previsao ficou curta e subestimou a demanda; um erro negativo significa que a previsao passou da real e superestimou. Quando voce soma esses erros com sinal e tira a media, obtem o vies, a tendencia sistematica da previsao de errar para um lado. Fixar a convencao desde o inicio evita a confusao mais comum das metricas de erro, que e ler o vies com o sinal trocado e concluir o oposto do que os dados dizem.
Vale distinguir dois tipos de erro que as metricas medem de formas diferentes. O erro aleatorio e a parte imprevisivel da demanda, o ruido que nenhum metodo captura; ele aparece no tamanho do erro, no MAD, no RMSE e no MAPE, e nao tem direcao preferida, entao se cancela na media. O erro sistematico, ou vies, e a parte que a previsao erra sempre para o mesmo lado, e ele aparece no erro medio, no vies percentual e, sobretudo, no sinal de rastreamento, que acumula esse vies periodo a periodo. Uma boa previsao deixa apenas o erro aleatorio; quando sobra erro sistematico, ha informacao que o metodo nao esta usando, e o caminho e mudar o metodo ou os seus parametros, e nao apenas aceitar um erro maior.
MAD, RMSE, MAPE e WMAPE: qual usar quando
As quatro metricas de tamanho respondem a mesma pergunta, o quanto a previsao erra, mas cada uma com uma lente diferente, e escolher a certa depende do que voce quer proteger. O MAD, em unidades de demanda, e o mais robusto e o mais facil de explicar: e o erro tipico em pecas, caixas ou unidades, e trata todos os erros por igual. Ele e a base do sinal de rastreamento e a escolha padrao quando voce quer um numero direto e resistente a valores extremos. O RMSE tambem fica em unidades de demanda, mas eleva cada erro ao quadrado antes de mediar, entao pune os erros grandes com muito mais peso; use o RMSE quando um unico erro grande custa muito mais caro que varios pequenos, como numa ruptura de estoque de alto valor ou num pico que estoura a capacidade.
O MAPE e o WMAPE trazem a leitura em porcentagem, que remove a escala e permite comparar series de tamanhos diferentes. O MAPE e a media dos erros percentuais de cada periodo; ele funciona bem numa unica serie limpa, sem zeros e sem valores muito pequenos, mas quebra na demanda zero e da peso demais aos periodos de baixo volume, o que o torna instavel em itens intermitentes. O WMAPE resolve isso ponderando pelo volume: ele divide a soma dos erros absolutos pela soma dos reais, entao os periodos de maior demanda pesam mais e os de demanda zero nao explodem a conta. Por isso o WMAPE e o KPI que os planejadores usam para o portfolio inteiro, e a acuracia de cabecalho, 100 menos WMAPE, e a forma mais honesta de resumir a qualidade de uma previsao agregada. A regra pratica: MAD para unidades, RMSE quando o erro grande pesa, MAPE para uma serie limpa unica, WMAPE para o portfolio.
Vies, RSFE e o sinal de rastreamento
Enquanto o MAD, o RMSE e o MAPE medem o tamanho do erro, o vies mede a sua direcao, e essa e uma dimensao que as metricas de tamanho, por usarem valor absoluto ou quadrado, apagam de proposito. O erro medio, ou MFE, e simplesmente a media dos erros com sinal: se ele e positivo, a previsao subestima em media; se e negativo, superestima. O vies percentual, a soma dos erros dividida pela soma dos reais, e a mesma ideia sem escala, util para comparar itens. Uma previsao pode ter um MAD baixo e ainda assim um vies alto, se ela erra pouco em tamanho mas quase sempre para o mesmo lado; e uma previsao com vies e uma previsao que ainda pode melhorar, porque esta deixando informacao na mesa.
A RSFE, soma acumulada dos erros, e o que transforma o vies numa serie temporal que voce pode acompanhar. Ela soma os erros do primeiro periodo ate o atual, entao cresce quando os erros se empilham numa direcao e volta para perto de zero quando eles se alternam. Sozinha, porem, a RSFE nao diz se o acumulo e grande ou pequeno em relacao ao erro tipico, e e ai que entra o sinal de rastreamento: sinal de rastreamento = RSFE dividido pelo MAD. Ele expressa o erro acumulado em multiplos do erro tipico, o que o torna comparavel entre series de escalas diferentes. Um sinal de rastreamento de 3 significa que a previsao acumulou tres MADs de erro numa direcao, um sinal claro de vies. Recalculado a cada periodo, ele desenha a trajetoria do vies e avisa, muito antes de o erro medio parecer alarmante, que a previsao esta pendendo para um lado de forma persistente.
Lendo os limites de controle
Os limites de controle do sinal de rastreamento, mais ou menos 4 por padrao (alguns textos usam mais ou menos 3), transformam o monitoramento de previsao num grafico de controle, o mesmo conceito do controle estatistico de processo. Enquanto o sinal de rastreamento oscila dentro da faixa de mais ou menos 4, o erro acumulado e compativel com ruido aleatorio, e a previsao esta sob controle: nao ha evidencia de vies sistematico. Quando o sinal cruza um dos limites, a interpretacao muda: a probabilidade de aquele acumulo ter vindo do acaso fica baixa demais, entao a conclusao e que existe um vies real, e a previsao esta fora de controle e deve ser investigada e reajustada.
A direcao do cruzamento diz o que fazer. Um sinal que cruza mais 4 significa erros positivos acumulados, ou seja, a real vem superando a previsao de forma persistente: a previsao subestima e precisa ser elevada, talvez porque ha uma tendencia de alta que o metodo nao capta. Um sinal que cruza menos 4 significa o oposto: a previsao superestima, talvez porque a demanda caiu e o metodo ainda projeta o nivel antigo. Escolher o limite e um ajuste de sensibilidade: mais ou menos 3 dispara antes e pega o vies mais cedo, ao custo de mais alarmes falsos; mais ou menos 4 e mais tolerante e dispara so quando o vies esta bem estabelecido. A ferramenta deixa voce mudar o limite e recalcular, e destaca em vermelho na tabela exatamente os periodos em que o sinal saiu da faixa, para voce ver quando o controle se perdeu.
sMAPE e MASE: metricas para comparar e ranquear
Alem das metricas classicas, o painel traz duas medidas que resolvem problemas especificos de comparacao. O sMAPE, MAPE simetrico, e a media de 2 vezes o erro absoluto dividido pela soma do real absoluto com a previsao absoluta, em porcentagem. A ideia por tras dele e corrigir uma assimetria do MAPE comum: no MAPE, uma previsao que passa da real e uma que fica abaixo dela nao sao penalizadas do mesmo jeito, porque o denominador e sempre o real. O sMAPE coloca real e previsao no denominador, entao trata os dois lados de forma mais equilibrada e fica limitado, o que evita valores explosivos. No exemplo padrao, o sMAPE de 11,30 por cento fica bem proximo do MAPE de 11,29 por cento, porque os erros ali sao pequenos e simetricos; a diferenca cresce quando os erros sao grandes ou muito assimetricos.
O MASE, erro absoluto escalonado medio, e a metrica para comparar previsoes de itens de escalas diferentes. Ele divide o MAD da sua previsao pelo MAD de um referencial ingenuo, o naive-1, que preve que cada periodo sera igual ao anterior; na pratica, esse referencial e a variacao absoluta media de um periodo para o outro dos reais. Como o resultado e uma razao, ele nao tem unidade: um MASE de 0,42, como no exemplo padrao, significa que a sua previsao erra 42 por cento do que erraria o palpite ingenuo, ou seja, ela e mais que duas vezes melhor que nao fazer nada. Abaixo de 1, a sua previsao vale a pena; acima de 1, ela e pior que o referencial mais simples possivel e voce estaria melhor sem ela. Por ser sem escala e ancorado num referencial universal, o MASE e a metrica ideal para ranquear muitos SKUs de tamanhos diferentes numa unica lista e decidir quais previsoes merecem atencao.
Medindo previsoes sazonais ou com tendencia
As metricas de erro sao as mesmas para qualquer previsao, mas a leitura do sinal de rastreamento ganha significado extra quando a demanda tem tendencia ou sazonalidade, porque nesses casos o vies costuma denunciar um descasamento de metodo. Se voce previu uma serie com tendencia de alta usando uma media movel simples, que sempre olha para tras, a previsao vai ficar sistematicamente abaixo da real, os erros positivos vao se acumular e o sinal de rastreamento vai subir em direcao a mais 4. O painel de erro nao so mostra que a previsao e ruim, ele mostra como e ruim: um vies para baixo persistente aponta direto para a falta de um componente de tendencia, o que a regressao linear ou o metodo de Holt na suavizacao exponencial resolvem.
Com sazonalidade, o padrao do erro e diferente e igualmente informativo. Uma previsao que ignora a sazonalidade vai errar para cima nos vales e para baixo nos picos, entao o erro medio ao longo de um ciclo inteiro pode ate ficar perto de zero, mascarando o problema no MFE. Mas o erro por periodo na tabela vai mostrar um padrao que se repete, grande e alternado, e o RMSE vai ficar alto porque os erros nos picos sao grandes. A leitura correta e olhar a tabela e ver se os erros seguem o calendario: se os maiores erros caem sempre nas mesmas estacoes, falta sazonalidade, e a calculadora de indice sazonal e o caminho. Medir o erro de uma previsao sazonal ou com tendencia, portanto, nao e so pontuar a acuracia; e diagnosticar qual componente da demanda o metodo deixou de fora.
Preparando dados pareados limpos
A qualidade das metricas depende de duas colunas bem preparadas, a real e a previsao, e alguns cuidados evitam numeros enganosos. Primeiro, alinhe corretamente cada real com a previsao que a antecedeu: a previsao tem que ser a que foi feita antes de o periodo acontecer, e nao um valor recalculado depois de conhecer a real, senao voce mede um ajuste, e nao uma previsao de verdade. Segundo, use a mesma quantidade de valores nas duas colunas e na mesma ordem cronologica, do mais antigo para o mais recente, para que o emparelhamento periodo a periodo bata; um deslocamento de uma linha inventa erros que nao existem.
Terceiro, cuide da demanda zero e dos valores faltantes. Um real de zero e legitimo em demanda intermitente, e a ferramenta o trata pulando aquele periodo no MAPE e mantendo-o no WMAPE e nas metricas absolutas, mas um zero que na verdade e um dado faltante distorce tudo, entao confirme se o zero e demanda real ou ausencia de registro. Quarto, use a demanda, e nao apenas as vendas: se houve ruptura de estoque, as vendas ficaram abaixo da demanda real, e medir o erro contra as vendas subestima o erro verdadeiro da previsao. Quinto, decida o horizonte que voce esta avaliando e mantenha-o constante: misturar previsoes de um periodo a frente com previsoes de seis periodos a frente na mesma coluna mistura dificuldades diferentes e borra a leitura. Com colunas alinhadas, do mesmo horizonte, medindo demanda e nao vendas, as metricas medem a acuracia verdadeira da previsao, e nao um artefato da preparacao do dado.
Referencias e boas praticas
As metricas usadas aqui sao as classicas dos manuais de previsao de demanda, de planejamento e controle da producao e de gestao de operacoes. O MAD e o MAE como media dos erros absolutos; o MSE e o RMSE como media dos quadrados e a sua raiz; o MAPE como media dos erros percentuais absolutos e o WMAPE como a versao ponderada por volume; o MFE ou vies como media dos erros com sinal e o vies percentual como a soma dos erros sobre a soma dos reais; a RSFE como soma acumulada e o sinal de rastreamento como RSFE sobre MAD com limites de controle de mais ou menos 4; e o sMAPE e o MASE como metricas de comparacao aparecem da mesma forma na literatura de forecasting e no corpo de conhecimento de planejamento de demanda, como o da APICS e do CPIM. A convencao de sinal e = A menos F e a mais comum nesse corpo, e e a que a ferramenta segue do comeco ao fim.
Dois pontos de bom senso fecham o uso responsavel da ferramenta. Primeiro, os resultados sao estimativas para planejamento e educacao, e medir o erro passado nao garante o erro futuro: use as metricas para saber se pode confiar na previsao e para escolher o metodo, e reavalie a cada novo periodo, porque um metodo que vinha sob controle pode sair de controle quando o padrao da demanda muda. Segundo, esta e a ferramenta que avalia o que as outras produzem: gere a previsao na media movel, na suavizacao exponencial, na regressao linear ou no indice sazonal, e volte aqui para medir o erro. Esta calculadora e este guia sao criados e revisados pela equipe da OpsCalculators; veja a nossa Politica Editorial para saber como cada ferramenta e pesquisada, construida e testada.
Ferramentas de previsao e analitica relacionadas
As Metricas de Erro de Previsao sao a ferramenta ancora do silo de Previsao de Demanda e Analitica: elas avaliam as previsoes que as outras ferramentas geram. As quatro geradoras ja estao no ar, entao o fluxo e sempre o mesmo, gere uma previsao la e meca o erro aqui. Use a media movel, a suavizacao exponencial, a regressao linear ou o indice sazonal para produzir a coluna de previsao, cole-a ao lado da demanda real nesta pagina, e leia o veredito com o sinal de rastreamento. A ferramenta irma de Classificacao XYZ de Demanda, que classifica a variabilidade da demanda pelo coeficiente de variacao para escolher o metodo antes de prever, ainda esta em construcao e por isso aparece aqui apenas como referencia, sem link. Enquanto ela nao entra no ar, volte ao hub de Previsao de Demanda e Analitica para ver o silo completo, ou explore o hub de Cadeia de Suprimentos, tambem no ar.
Perguntas frequentes sobre erro de previsao
O que e o erro de previsao e qual e a convencao de sinal?
O erro de previsao e a diferenca entre a demanda real e a previsao de cada periodo. Esta ferramenta usa a convencao e = A menos F, a real menos a previsao. Com esse sinal, um erro positivo significa que a real superou a previsao, ou seja, a previsao subestimou a demanda; um erro negativo significa que a previsao passou da real e superestimou. A media dos erros com sinal e o vies, a tendencia sistematica de errar para um lado. Fixar essa convencao e importante, porque toda a leitura de vies e de sinal de rastreamento depende dela; alguns textos usam o sinal oposto, previsao menos real, mas aqui e sempre real menos previsao.
Qual e a diferenca entre MAD, MSE e RMSE?
Os tres medem o tamanho do erro, mas de formas diferentes. O MAD, ou DMA, e a media dos erros absolutos e fica na unidade da demanda; trata todos os erros por igual e e a base do sinal de rastreamento. O MSE, ou EQM, e a media dos erros ao quadrado, entao ele fica numa unidade ao quadrado e pune desproporcionalmente os erros grandes. O RMSE, ou REQM, e a raiz quadrada do MSE, o que o traz de volta para a unidade da demanda mantendo a sensibilidade aos erros grandes. Use o MAD quando quer um numero robusto e facil de explicar em unidades; use o RMSE quando um erro grande custa muito mais caro que varios pequenos. No exemplo padrao, MAD 11,67, MSE 158,33 e RMSE 12,58.
Por que o WMAPE e melhor que o MAPE?
O MAPE, ou EMPA, e a media dos erros percentuais de cada periodo, e tem dois defeitos: nao existe quando um real e zero, entao pula esses periodos, e da peso demais aos periodos de baixo volume, ficando instavel em itens intermitentes. O WMAPE, ou MAPE ponderado, divide a soma dos erros absolutos pela soma dos reais, entao pondera pelo volume, usa todos os periodos e nao estoura perto de zero. Por isso os planejadores de demanda usam o WMAPE, e o 100 menos WMAPE como a acuracia de cabecalho, para o portfolio inteiro. Guarde o MAPE para uma unica serie limpa, sem zeros e sem valores muito pequenos. No exemplo padrao, MAPE 11,29 por cento e WMAPE 11,11 por cento ficam proximos porque a serie e limpa; a diferenca cresce em demanda intermitente.
O que e o sinal de rastreamento?
O sinal de rastreamento e um vigia do vies acumulado: ele e a RSFE, a soma acumulada dos erros, dividida pelo MAD corrente, e mede quantos MADs de erro numa direcao a previsao ja acumulou. Ele e recalculado a cada periodo. Os limites de controle sao mais ou menos 4 por padrao, e alguns textos usam mais ou menos 3. Enquanto o sinal fica dentro da faixa, o erro acumulado e compativel com ruido aleatorio e a previsao esta sob controle. Um sinal persistentemente positivo indica subestimacao, um persistentemente negativo indica superestimacao, e cruzar o limite significa que a previsao saiu de controle e deve ser reajustada. E o sinal de rastreamento que pega o vies silencioso que uma metrica de tamanho como o MAPE nao ve.
O que significam os limites de controle de mais ou menos 4?
Os limites de mais ou menos 4 transformam o monitoramento da previsao num grafico de controle. Enquanto o sinal de rastreamento oscila dentro da faixa, o erro acumulado e compativel com o acaso e a previsao esta sob controle. Quando o sinal cruza mais 4, os erros positivos se acumularam e a previsao subestima de forma persistente, talvez por uma tendencia de alta ignorada; quando cruza menos 4, a previsao superestima, talvez porque a demanda caiu e o metodo ainda projeta o nivel antigo. Escolher mais ou menos 3 dispara antes e pega o vies mais cedo, ao custo de mais alarmes falsos; mais ou menos 4 e mais tolerante. A ferramenta deixa voce mudar o limite e destaca em vermelho na tabela os periodos em que o sinal saiu da faixa.
O que e o vies (MFE) e como ele difere do MAD?
O vies, ou MFE (erro medio de previsao), e a media dos erros com sinal, sem valor absoluto, entao os erros para cima e para baixo se cancelam e o que sobra e a direcao liquida da previsao. O MAD, ao contrario, usa o valor absoluto de cada erro, entao mede o tamanho tipico sem direcao. A diferenca importa: uma previsao pode ter um MAD baixo e um vies alto, se erra pouco em tamanho mas quase sempre para o mesmo lado. O MAD diz o quanto voce erra; o vies diz para que lado. O vies percentual e a soma dos erros dividida pela soma dos reais, uma versao sem escala. Uma previsao com vies ainda pode melhorar, porque esta deixando informacao sistematica na mesa.
Como a ferramenta trata periodos de demanda zero?
Um real de zero quebra o MAPE, porque dividir por zero e indefinido, entao a ferramenta pula esses periodos no calculo do MAPE e mostra a contagem dos pulados. As metricas absolutas, MAD, MSE e RMSE, e o WMAPE usam todos os periodos, inclusive os de real zero, porque nao dividem pelo real de cada periodo. No exemplo de demanda zero, real 0, 10, 10 contra previsao 5, 8, 12, o MAPE fica em 20 por cento sobre os dois periodos validos, enquanto o WMAPE = (5 mais 2 mais 2) sobre (0 mais 10 mais 10) = 45 por cento usa todos. Isso mostra por que o WMAPE e a metrica de cabecalho mais segura para demanda intermitente: ele nao esconde o erro do periodo de demanda zero.
O que e o MASE e por que ele e util?
O MASE, erro absoluto escalonado medio, e o MAD da sua previsao dividido pelo MAD de um referencial ingenuo (naive-1), que preve que cada periodo sera igual ao anterior; na pratica, esse referencial e a variacao absoluta media de um periodo para o outro dos reais. Como e uma razao, o MASE nao tem unidade: abaixo de 1, a sua previsao bate o referencial ingenuo; acima de 1, ela e pior que ele. No exemplo padrao, a variacao ingenua media e cerca de 28 unidades, entao MASE = 11,67 sobre 28 = 0,42, ou seja, a previsao erra 42 por cento do que erraria o palpite ingenuo. Por ser sem escala, o MASE e a metrica ideal para ranquear muitos SKUs de tamanhos diferentes numa unica lista.
O que e o sMAPE e como difere do MAPE?
O sMAPE, MAPE simetrico, e a media de 2 vezes o erro absoluto dividido pela soma do real absoluto com a previsao absoluta, em porcentagem. Ele corrige uma assimetria do MAPE comum, no qual uma previsao acima da real e uma abaixo dela nao sao penalizadas do mesmo modo, porque o denominador e sempre o real. O sMAPE coloca real e previsao no denominador, entao trata os dois lados de forma mais equilibrada e fica limitado, evitando valores explosivos. No exemplo padrao, o sMAPE de 11,30 por cento fica bem proximo do MAPE de 11,29 por cento, porque os erros ali sao pequenos e simetricos; a diferenca entre os dois cresce quando os erros sao grandes ou muito assimetricos.
Qual metrica devo usar como KPI principal?
Para o portfolio agregado, use o WMAPE, e a acuracia de cabecalho, 100 menos WMAPE, porque ele pondera pelo volume, usa todos os periodos e nao estoura em demanda perto de zero. Complemente sempre com o vies e o sinal de rastreamento, porque o WMAPE mede o tamanho do erro mas nao a direcao, e uma previsao com WMAPE aceitavel ainda pode estar viesada. Use o MAD quando quer um numero em unidades de demanda, o RMSE quando os erros grandes custam caro, o MAPE para uma unica serie limpa, e o MASE para comparar e ranquear itens de escalas diferentes. A regra e nunca depender de uma metrica so: o painel inteiro conta a historia que uma metrica isolada esconde.
Uma acuracia de 88,89 por cento e boa?
Depende do item e do setor, mas no exemplo padrao a acuracia de 88,89 por cento (100 menos WMAPE) e razoavel para uma demanda com essa variabilidade. A acuracia esperada varia muito: itens de alto volume e regulares atingem 90 por cento ou mais, enquanto itens intermitentes e irregulares raramente passam de 60 a 70 por cento, e ainda assim a previsao pode ser a melhor possivel. Por isso o numero absoluto importa menos que a comparacao com um referencial: o MASE abaixo de 1 diz que voce bate o palpite ingenuo, e o sinal de rastreamento dentro dos limites diz que voce nao esta viesado. Uma acuracia moderada, sem vies e sob controle, e melhor que uma acuracia alta que esconde um vies crescente.
Como esta ferramenta se conecta com as calculadoras de previsao?
Esta e a ferramenta ancora do silo: ela avalia as previsoes que as outras geram. Gere uma previsao na calculadora de media movel, na calculadora de suavizacao exponencial, na calculadora de regressao linear ou na calculadora de indice sazonal, cole aqui a coluna da demanda real e a coluna da previsao, e leia o veredito com o sinal de rastreamento. Se o resultado sai viesado ou fora de controle, o problema esta no metodo la, e voce volta e troca: uma tendencia pede regressao ou Holt, uma sazonalidade pede o indice sazonal, e uma demanda muito irregular pede outra abordagem. Medir aqui e barato; a decisao cara e qual metodo usar, e o veredito desta ferramenta e o que orienta essa escolha.
Como preparar os dados para medir o erro corretamente?
Use duas colunas, real e previsao, com a mesma quantidade de valores e na mesma ordem cronologica, do mais antigo para o mais recente, para que o emparelhamento periodo a periodo bata. A previsao tem que ser a que foi feita antes de o periodo acontecer, e nao um valor recalculado depois de conhecer a real, senao voce mede um ajuste e nao uma previsao. Confirme se cada zero e demanda real, e nao dado faltante, porque o zero verdadeiro e tratado de forma correta mas o faltante distorce tudo. Use a demanda, e nao apenas as vendas, porque uma ruptura de estoque deixa as vendas abaixo da demanda e subestima o erro. E mantenha o mesmo horizonte de previsao em toda a coluna, sem misturar um periodo a frente com seis periodos a frente.
Esta calculadora e gratuita e guarda meus dados?
Sim, a ferramenta e gratuita e sem cadastro, e todo o calculo acontece no seu navegador. As colunas de demanda real e previsao que voce cola nunca sao enviadas a um servidor, armazenadas ou compartilhadas. Voce ainda pode baixar um PDF limpo, exportar um CSV ou compartilhar o resultado. Esta calculadora serve para estudo, planejamento e verificacao de primeira aproximacao; medir o erro passado ajuda a decidir se pode confiar na previsao e qual metodo usar, mas nao garante o erro futuro, entao reavalie a cada novo periodo. Confirme as decisoes importantes com o seu conhecimento do negocio e, quando o padrao pedir, com um metodo de previsao adequado a demanda que voce tem.
Fontes, aviso legal e transparencia editorial
As metricas usadas aqui seguem as definicoes consagradas do erro de previsao: o MAD ou MAE como media dos erros absolutos; o MSE como media dos quadrados e o RMSE como a sua raiz; o MAPE como media dos erros percentuais absolutos e o WMAPE como a soma de |e| sobre a soma de |A|; o MFE ou vies como media dos erros com sinal e o vies percentual como a soma dos erros sobre a soma dos reais; a RSFE como soma acumulada e o sinal de rastreamento como RSFE sobre MAD com limites de controle de mais ou menos 4; e o sMAPE e o MASE como metricas de comparacao. A convencao de sinal e sempre e = A menos F, real menos previsao. Essas definicoes aparecem da mesma forma na literatura de estatistica aplicada, de forecasting e de gestao de operacoes, e no corpo de conhecimento de planejamento de demanda da APICS e do CPIM. Esta calculadora e este guia sao criados e revisados pela equipe da OpsCalculators; veja a nossa Politica Editorial para saber como cada ferramenta e pesquisada, construida e testada.
Os resultados sao estimativas para planejamento e educacao, nao uma garantia de resultado futuro. Medir o erro passado diz se a previsao vinha acertando, mas o padrao da demanda pode mudar, entao reavalie a cada novo periodo e trate um sinal de rastreamento que sai de controle como um convite a reajustar o metodo. Como esta e a ferramenta que avalia o que as outras produzem, gere a previsao na media movel, na suavizacao exponencial, na regressao linear ou no indice sazonal, e volte aqui para medir o erro. Volte ao hub de Previsao de Demanda e Analitica para ver o silo completo, ou explore o hub de Cadeia de Suprimentos. Veja o nosso Aviso Legal completo. OpsCalculators.com e operado por MAFHH INTERNATIONAL LTD. Os seus dados sao processados no seu navegador e nunca sao armazenados; veja a nossa Politica de Privacidade.