Calculadora de Cadenas de Markov

Qué modela una cadena de Markov

Una cadena de Markov describe un sistema que se mueve entre un conjunto finito de estados un paso a la vez, donde lo único que gobierna el siguiente estado es el actual.

Esa sola suposición, que el futuro depende del presente pero no del camino que llevó ahí, es la propiedad de Markov, y basta para construir un modelo que pronostica dónde estará el sistema muy adelante en el tiempo, halla el equilibrio a largo plazo en el que se asienta y mide cuánto tardan los procesos en terminar.

Todo el modelo vive en un solo objeto, la matriz de transición: una cuadrícula cuadrada cuya entrada en la fila i y columna j es la probabilidad de pasar del estado i al estado j, con cada fila sumando uno porque el sistema siempre va a alguna parte.

La razón por la que una idea tan pequeña llega tan lejos es que una cantidad sorprendente de sistemas reales son, en buena aproximación, sin memoria a nivel de estados. Un cliente está activo, inactivo o perdido; una máquina está operando, degradada o fallada; un préstamo está al corriente, atrasado, en impago o saldado; una marca conserva a un cliente o lo pierde ante un rival.

En cada caso el siguiente estado se predice bien con el actual, y la historia importa sobre todo por dónde dejó al sistema ahora.

Una vez que acepta ese enfoque, la matriz de transición captura la dinámica, y un puñado de cálculos estándar responde las preguntas que la gente realmente hace: cuál es la participación a largo plazo, cuánto falta para que esto termine, y cuáles son las probabilidades de cada desenlace.

Esta calculadora toma cualquier matriz de transición que escriba y hace ese análisis estándar por usted. Halla la distribución de estado estable a la que converge la cadena, clasifica cada estado como recurrente, transitorio o absorbente y reporta su periodo, pronostica la distribución tras cualquier número de pasos desde un punto de partida que elija, y dibuja cómo convergen las probabilidades de estado paso a paso. Cuando detecta una cadena absorbente, cambia al análisis que importa ahí y reporta el número esperado de pasos hasta la absorción y la probabilidad de terminar en cada estado absorbente. Todo corre en su navegador, y nada de lo que ingresa se guarda.

Cómo usar esta calculadora, paso a paso

Empiece por la matriz de transición. Escríbala un estado por fila, con las probabilidades de moverse a cada estado separadas por espacios o comas, manteniendo los estados en el mismo orden en cada fila. Cada fila debe sumar uno, ya que desde cualquier estado el sistema seguro se mueve a alguna parte; la calculadora lo verifica y le indica qué fila está mal si alguna no suma uno. La herramienta abre con un ejemplo resuelto de cambio de marca de tres estados para que vea un resultado completo, la participación de mercado a largo plazo de tres marcas, antes de cambiar nada.

De forma opcional puede nombrar los estados en el segundo cuadro, separados por comas, para que los resultados se lean como Marca A, Operando o Al corriente en lugar de S1, S2, S3. El tercer cuadro guarda un vector de estado inicial, que es donde la cadena empieza para el pronóstico paso a paso; déjelo y la herramienta supone que la cadena empieza en el primer estado. El último cuadro fija cuántos pasos hacia adelante pronosticar. En cuanto la matriz es válida la calculadora resuelve en vivo, así que editar una probabilidad o una etiqueta actualiza cada resultado y la gráfica de inmediato.

El panel de resultados encabeza con lo principal, la distribución de estado estable para una cadena ordinaria o un resumen de absorción para una absorbente. Debajo, una tabla lista cada estado con su probabilidad a largo plazo, su clasificación y su periodo, y un conjunto de fichas muestra la distribución tras el número de pasos que eligió.

Para una cadena absorbente aparecen dos tablas extra: los pasos esperados hasta la absorción desde cada estado transitorio, y la probabilidad de terminar en cada estado absorbente.

Una gráfica de convergencia traza cada probabilidad de estado a lo largo de los pasos para que vea el acercamiento al largo plazo, y puede descargar los resultados como PDF o CSV o compartirlos.

Leer la matriz de transición y el estado estable

Vale la pena detenerse en la matriz de transición porque todo lo demás se deriva de ella. Cada fila es un estado en el que está actualmente, y leer a lo ancho de esa fila da las probabilidades de dónde estará después. Una entrada de la diagonal es la probabilidad de quedarse; una diagonal grande significa un estado pegajoso que el sistema tiende a conservar, mientras que una pequeña significa que el sistema rara vez se demora. Como cada fila es un conjunto completo de posibilidades, debe sumar uno, y este es el error de captura más común, una fila que suma un poco más o menos de uno, por eso la calculadora lo valida de forma explícita.

La distribución de estado estable responde la pregunta de largo plazo. Formalmente es el vector de probabilidad pi que cumple pi P = pi, lo que significa que una vez que el sistema alcanza esta distribución, aplicar otro paso la deja sin cambio; las proporciones dejaron de moverse aunque los miembros individuales sigan cambiando de estado.

Para una cadena ergódica, una que es irreducible y aperiódica, esta distribución es única y el sistema converge a ella sin importar dónde empezó, que es justo por qué puede representar la participación de mercado a largo plazo, la ocupación de máquina a largo plazo o la fracción de tiempo en cualquier estado.

La calculadora resuelve pi P = pi como sistema lineal y normaliza la respuesta para que sume uno, recurriendo a la multiplicación repetida si el cálculo directo está mal condicionado.

Ayuda separar el estado estable del punto de partida. El vector inicial y el conteo de pasos responden una pregunta distinta y de horizonte más corto: dado dónde está el sistema ahora, ¿dónde estará tras n pasos? Al principio esta distribución transitoria puede no parecerse en nada al estado estable, y la gráfica de convergencia la muestra deslizándose hacia los valores de largo plazo paso a paso. Ambas vistas sirven: el pronóstico a n pasos para planear unos periodos adelante, el estado estable para el equilibrio de largo plazo. Leerlas juntas suele ser más informativo que cualquiera sola, porque muestra no solo dónde termina el sistema sino qué tan rápido llega.

Cadenas ergódicas y cadenas absorbentes: dos preguntas distintas

Las cadenas de Markov se dividen en dos tipos amplios que piden preguntas diferentes, y la calculadora reconoce cuál ingresó. Una cadena ergódica sigue moviéndose entre todos sus estados por siempre; nunca se atora, y el resultado interesante es la distribución de estado estable, la fracción de tiempo a largo plazo en cada estado. El cambio de marca donde los clientes siguen cambiando, el clima que sigue ciclando, una máquina que se repara y vuelve al servicio, todos son ergódicos, y su historia la cuenta la distribución estacionaria y qué tan rápido converge la cadena a ella.

Una cadena absorbente es distinta porque tiene estados que, una vez alcanzados, nunca se abandonan. Estos modelan procesos que terminan en lugar de ciclar: un cliente que se va para siempre, un préstamo que se salda o se castiga, un juego que se gana o se pierde, un paciente que es dado de alta.

Para tal cadena la pregunta de estado estable es casi trivial, a largo plazo el sistema es absorbido con certeza, así que las preguntas útiles pasan a ser cuánto falta para que termine y en cuál desenlace. Esos son justo los resultados que la calculadora produce para una cadena absorbente: el número esperado de pasos hasta la absorción desde cada estado transitorio, y la probabilidad de terminar en cada estado absorbente.

Detecta los estados absorbentes de forma automática, por las filas cuya probabilidad de quedarse es uno, y cambia su salida para adecuarse.

Saber qué tipo tiene es el primer paso analítico, porque decide qué números importan. Si su proceso genuinamente nunca termina, lea el estado estable. Si tiene desenlaces terminales definidos, los resultados de absorción son la recompensa, y el estado estable por sí solo sería una distracción. Muchos modelos reales son mayormente ergódicos con uno o dos estados absorbentes añadidos, por ejemplo un modelo de estados del cliente donde todo estado activo puede llegar con el tiempo a una pérdida permanente; la calculadora los maneja tratando el estado de pérdida como absorbente y reportando cuánto duran los clientes y qué tan probable es cada desenlace.

Cinco ejemplos resueltos que puede seguir

Ejemplo 1: participación de mercado a largo plazo

La calculadora abre con un modelo de cambio entre tres marcas. Cada fila da la probabilidad de que un cliente de una marca este periodo compre cada marca el siguiente, y la diagonal, las entradas más grandes, capta la lealtad. El resultado de estado estable, cerca de 43.5% para la Marca A, 37.0% para la Marca B y 19.6% para la Marca C, es la participación de mercado a largo plazo a la que converge el sistema sin importar en qué marca empiece a un cliente. Cambie una sola probabilidad de lealtad o de cambio y observe cómo se mueven las participaciones de largo plazo, que es la forma más rápida de ver que la retención impulsa la participación más que la adquisición.

Ejemplo 2: un pronóstico de horizonte corto

Mantenga la misma matriz pero lea la distribución tras n pasos en lugar del estado estable. Empezando a cada cliente en la Marca A y avanzando, la distribución se desliza de todo-A hacia el estado estable; tras diez periodos ya está cerca pero no es idéntica a la participación de largo plazo. Esta es la diferencia práctica entre dónde está un segmento ahora y hacia dónde se dirige, y la gráfica de convergencia hace visible la velocidad de ese acercamiento, que importa cuando planea solo unos periodos adelante en vez de al infinito.

Ejemplo 3: un modelo absorbente de abandono de clientes

Agregue un estado de abandono al que los clientes pueden entrar pero nunca salir, dándole una fila que es uno en su propia diagonal, y haga que los estados activos puedan alcanzarlo. La calculadora ahora detecta una cadena absorbente y reporta el número esperado de periodos antes de que un cliente abandone desde cada estado activo y, si tiene más de un desenlace terminal, la probabilidad de cada uno. Los pasos esperados hasta la absorción son una estimación limpia de la vida del cliente en periodos, derivada directo de las probabilidades de cambio en lugar de supuesta.

Ejemplo 4: la caminata aleatoria de la ruina del jugador

Una cadena clásica de enseñanza: un jugador con algo de dinero apuesta una unidad repetidamente, los estados son la fortuna actual, y los dos extremos, en la quiebra y la meta, son absorbentes. Ingrese las probabilidades de subir y bajar en los estados interiores y unos en los dos extremos. La calculadora devuelve la probabilidad de alcanzar la meta antes de quebrar desde cada fortuna inicial, que para un juego justo es igual a la fracción inicial de la meta, y el número esperado de apuestas antes de que el juego termine. Es una forma compacta de ver probabilidades de absorción y duración esperada en un modelo familiar.

Ejemplo 5: una cadena pequeña que puede verificar a mano

Pruebe una cadena de dos estados como una máquina que está arriba o abajo, con probabilidades redondas simples que pueda verificar. Resuelva pi P = pi en papel y confirme que la calculadora coincide, luego lea la columna de periodo para confirmar que ambos estados son aperiódicos. Una cadena de dos estados es lo bastante pequeña para verificarse por completo, lo que da confianza antes de confiar en la herramienta en una matriz mayor donde el cálculo a mano es impráctico. Mover una probabilidad y volver a resolver muestra qué tan sensible es el equilibrio de largo plazo a las tasas de transición.

Tres consejos de experto para un análisis limpio

La matemática detrás de los resultados

Vale la pena entender los cálculos aunque la calculadora haga la aritmética. El pronóstico a n pasos es pura multiplicación de matrices: si la distribución actual es un vector fila x, tras un paso es x por P, tras dos pasos x por P al cuadrado, y tras n pasos x por P a la n.

La herramienta usa exponenciación rápida, así que hasta un número grande de pasos es instantáneo.

El estado estable es el vector pi que esa multiplicación ya no cambia, pi P = pi, que es un sistema de ecuaciones lineales; combinado con el requisito de que las probabilidades sumen uno, tiene solución única para una cadena ergódica, y la herramienta lo resuelve directo por eliminación gaussiana, usando la multiplicación repetida como respaldo.

El análisis de absorción se apoya en la matriz fundamental. Reordene los estados para que los transitorios vayan primero, y la matriz de transición se parte en un bloque Q de movimientos entre transitorios y un bloque R de movimientos de transitorio a absorbente. La matriz fundamental N es la inversa de la identidad menos Q, y sus entradas cuentan el número esperado de visitas a cada estado transitorio antes de la absorción. De N salen dos resultados de inmediato.

El número esperado de pasos hasta la absorción desde cada estado es la suma a lo ancho de la fila de N de ese estado, porque el tiempo total es el total de visitas esperadas. La probabilidad de ser absorbido en cada estado absorbente es N por R, que reparte la trayectoria esperada entre los desenlaces posibles.

La calculadora forma Q y R de su matriz, invierte la identidad menos Q y reporta ambos resultados, así que el método de la matriz fundamental que llena una página de libro sucede en un clic.

La clasificación de estados usa la alcanzabilidad. Dos estados se comunican si cada uno puede alcanzarse desde el otro por alguna secuencia de pasos, y esto agrupa los estados en clases.

Un estado es recurrente si todo estado alcanzable desde él puede regresar a él, así que la cadena siempre regresa; es transitorio si puede alcanzar un estado que no puede regresar, así que hay una probabilidad de que nunca vuelva; y es absorbente si simplemente nunca se abandona.

El periodo de un estado es el máximo común divisor de los tiempos posibles de regreso, y un periodo de uno significa que el estado es aperiódico. La calculadora calcula la alcanzabilidad a lo largo de toda la matriz, etiqueta cada estado en consecuencia y calcula cada periodo, que juntos le dicen la estructura de la cadena de un vistazo.

Dónde se usan las cadenas de Markov

El rango de aplicaciones es una de las razones por las que el modelo es un fijo de la investigación de operaciones. En marketing, las matrices de cambio de marca dan la participación de mercado a largo plazo y muestran cómo la lealtad y las tasas de recuperación la impulsan.

En analítica de clientes, los estados de activo pasando por inactivo a perdido convierten una matriz de cambio en una estimación de la vida del cliente y la probabilidad de abandono. En finanzas y crédito, las calificaciones que se deslizan entre grados y al impago se modelan como cadena de Markov, y el análisis de absorción da el tiempo esperado hasta el impago y la probabilidad de impago por grado inicial.

En operaciones y mantenimiento, los estados de condición de máquina de operando pasando por degradada a fallada alimentan la confiabilidad y la planeación de mantenimiento.

El alcance va más lejos. El clima y la demanda a menudo se modelan como cadenas sobre condiciones discretas; los niveles de inventario y de cola se mueven entre estados con probabilidades de paso; la progresión de enfermedades por etapas, algunas absorbentes, es un modelo de Markov natural en analítica de salud.

La caminata aleatoria que subyace al ranking de páginas web es una cadena de Markov gigante cuyo estado estable es el ranking mismo, y el Monte Carlo por cadenas de Markov, un caballo de batalla de la estadística y el aprendizaje automático modernos, construye una cadena cuyo estado estable es la distribución que quiere muestrear.

En todos ellos el mismo puñado de resultados, la matriz de transición, el estado estable, la clasificación y el análisis de absorción, hacen el trabajo, por eso aprender a leerlos una vez rinde en muchos campos.

Dentro de este conjunto de herramientas la cadena de Markov se ubica en el grupo de líneas de espera y estocástico junto a la teoría de colas, y ambas son parientes cercanas: el número en el sistema de una cola es en sí una cadena de Markov sobre los niveles de ocupación posibles, y las fórmulas de cola de estado estable son la distribución estacionaria de esa cadena.

Donde la teoría de colas empaqueta los modelos estándar de llegada y servicio en fórmulas listas, la calculadora de cadenas de Markov maneja cualquier estructura de estados que pueda escribir como matriz, lo que la hace la herramienta más general cuando su sistema no cabe en una cola de libro. Vuelva al hub de Investigación de Operaciones para el conjunto completo de modelos.

Montar un sistema real como cadena

Convertir una situación real en una cadena de Markov trata sobre todo de elegir bien los estados y estimar probabilidades de transición honestas. Los estados deben ser una descripción completa y mutuamente excluyente de dónde puede estar el sistema, de modo que en cualquier momento esté en exactamente uno, y deben definirse a un nivel donde la suposición sin memoria sea razonable, es decir que el siguiente estado realmente se prediga bien con el actual. Elegir muy pocos estados oculta dinámicas importantes; elegir demasiados hace las probabilidades difíciles de estimar y el modelo frágil. El arte está en escoger estados lo bastante distintos para importar y lo bastante gruesos para medirse.

Las probabilidades de transición suelen venir de datos. Si tiene un historial del sistema moviéndose entre estados, la probabilidad de ir del estado i al j se estima como la fracción de veces que, estando en i, se movió a j después, y esas fracciones naturalmente forman filas que suman uno.

Cuando los datos son escasos, las probabilidades pueden juzgarse por experiencia, pero aun así deben contrastarse con el historial que exista, y una fila que suma algo distinto de uno es señal de un error de conteo o redondeo más que un rasgo real.

La longitud del paso también importa: una cadena mensual y una semanal del mismo sistema tienen matrices distintas, y el paso debe coincidir con el horizonte que le interesa.

Por último, decida qué está preguntando antes de leer la salida. Si quiere el equilibrio de largo plazo, el estado estable es la respuesta y el vector inicial apenas importa. Si quiere un pronóstico para un horizonte específico, fije el vector inicial en la distribución de hoy y lea el resultado a n pasos. Si su proceso termina, marque los estados terminales como absorbentes y lea el tiempo esperado y las probabilidades de absorción. Hacer coincidir la pregunta con el resultado correcto es lo que convierte una matriz resuelta en una decisión, y conviene ser explícito sobre la pregunta primero para que los números que cite sean los que la responden.

Cuando el modelo simple no encaja

La cadena de Markov es deliberadamente simple, y su simplicidad es también su frontera. La suposición central es que el siguiente estado depende solo del actual, y cuando el futuro del sistema real depende de más de su historia, la cadena simple es la forma equivocada. Un proceso donde cuánto tiempo lleva ya en un estado cambia las probabilidades de salir, por ejemplo, rompe la suposición sin memoria; a veces puede rescatar el modelo agregando estados que codifican la historia extra, pero eso agranda la matriz y puede volverse inmanejable, punto en el que un modelo más rico es más honesto.

El tiempo es otra frontera. Esta calculadora maneja cadenas en tiempo discreto, donde el sistema avanza en intervalos fijos; los sistemas que cambian en tiempo continuo, donde los eventos pueden ocurrir en cualquier momento, se modelan como cadenas de Markov en tiempo continuo con tasas de transición en lugar de probabilidades, una herramienta relacionada pero distinta.

La no estacionariedad es una tercera: si las probabilidades de transición mismas se desplazan con el tiempo, por ejemplo porque un mercado cambia estructuralmente, una sola matriz fija describe solo una instantánea, y los resultados deben leerse como válidos mientras la matriz se sostenga.

Ninguna de estas salvedades disminuye el valor de la cadena en los muchos sistemas que son genuinamente discretos, sin memoria y estables; solo marcan los bordes donde un modelo más elaborado gana su complejidad extra, y reconocer la forma de su sistema antes de modelar es lo que mantiene la respuesta significativa.

Leer más allá de la cifra principal

Una cadena resuelta ofrece más de un número, y el mejor análisis lee varios juntos. El estado estable le dice el destino, pero la gráfica de convergencia le dice la velocidad, y una cadena que alcanza su largo plazo en tres pasos sostiene una planeación muy distinta de una que tarda cuarenta, aun cuando sus estados estables sean idénticos. Ver la gráfica es la forma más rápida de juzgar si una cifra de largo plazo es guía justa para su horizonte real o si el comportamiento transitorio domina el periodo que le importa, y esa distinción cambia una decisión de forma rutinaria.

La clasificación y los periodos merecen atención en vez de saltarse. Un estado transitorio con residencia esperada larga puede importar mucho a mediano plazo aunque su probabilidad estacionaria sea cero, y leer solo el estado estable lo pasaría por alto por completo.

Un periodo mayor que uno es una advertencia de que la cadena cicla y de que sus cifras de largo plazo son promedios sobre el ciclo, no una distribución en la que el sistema descansa; citar un estado estable para una cadena estrictamente periódica sin esa salvedad es un error común y engañoso.

La herramienta muestra ambos para que los lea, y la disciplina de revisarlos convierte un resultado de apariencia plausible en uno confiable.

Por último, trate la matriz como una estimación y ponga a prueba la conclusión. Si un cambio pequeño en una probabilidad de transición mueve bruscamente el estado estable o el tiempo esperado de absorción, el resultado es sensible y su estimación de esa probabilidad merece más cuidado; si la conclusión es estable ante variaciones razonables, puede confiar más en ella. Volver a resolver con unas matrices perturbadas es rápido y le dice cuánto depende realmente la decisión de los números exactos, que suele ser más valioso que la única cifra principal que el modelo entrega primero.

Una breve historia de la idea

El modelo lleva el nombre del matemático ruso Andrey Markov, quien lo introdujo en los primeros años del siglo veinte, alrededor de 1906, mientras defendía un punto de la teoría de la probabilidad. La ley de los grandes números vigente se había probado para eventos independientes, y un crítico afirmaba que la independencia era esencial para ella.

Markov se propuso refutarlo construyendo secuencias dependientes que aun así obedecían la ley, y para hacer concreto el argumento analizó la secuencia de vocales y consonantes en un largo poema de Pushkin, tratando el tipo de cada letra como un estado cuya probabilidad dependía de la letra anterior.

Ese ejercicio literario, contar con qué frecuencia una vocal seguía a una consonante y al revés, fue el primer ejemplo trabajado de lo que hoy llamamos cadena, y estableció la dependencia sin memoria que define el modelo.

Durante unas décadas la idea quedó en gran medida teórica, un tema de probabilidad pura. Su carrera práctica despegó a mitad de siglo conforme la investigación de operaciones maduró y las computadoras hicieron rutinaria la aritmética de matrices.

La misma estructura resultó describir colas, inventarios, confiabilidad e incontables sistemas más, y luego se volvió el motor detrás del ranking de páginas web y de los métodos de simulación que impulsan la estadística y el aprendizaje automático modernos. Es un arco notable: una construcción inventada para ganar una discusión sobre un poema se volvió uno de los modelos más aplicados en la ciencia y la industria.

Entenderla hoy significa pararse sobre cien años de uso en campos que su inventor jamás imaginó, que es parte de por qué sigue siendo un básico de todo curso de investigación de operaciones.

Formato de entrada y referencia rápida

Escriba la matriz de transición un estado por fila, probabilidades separadas por espacios o comas, cada fila sumando uno. Opcionalmente nombre los estados y dé un vector inicial y un conteo de pasos para el pronóstico. La referencia de abajo explica cada parte del resultado.

Preguntas frecuentes

Fuentes, aviso legal y transparencia editorial

Esta calculadora analiza cadenas de Markov finitas en tiempo discreto con métodos estándar de investigación de operaciones: resuelve la distribución estacionaria de pi P = pi, pronostica distribuciones a n pasos por potencias de matrices, clasifica estados por alcanzabilidad y periodo y, para cadenas absorbentes, usa la matriz fundamental N = (I menos Q) elevado a menos uno para calcular los pasos esperados hasta la absorción y las probabilidades de absorción. Esta calculadora y esta guía son creadas y revisadas por el equipo de OpsCalculators; consulte nuestra Política Editorial para saber cómo se investiga, construye y prueba cada herramienta.

Los resultados son estimaciones precisas para planeación y educación, no asesoría de ingeniería certificada, y suponen que se cumple la propiedad de Markov, que el siguiente estado depende solo del actual, y que la matriz de transición es estacionaria en el horizonte en que la aplica. Valide la matriz contra sus propios datos antes de actuar sobre los resultados. Consulte nuestro Aviso Legal completo. OpsCalculators.com es operado por MAFHH INTERNATIONAL LTD. Sus datos se procesan en su navegador y nunca se guardan; consulte nuestra Política de Privacidad.