El principal objetivo del análisis de series temporales es construir modelos estadísticos o matemáticos que proporcionan una descripción de los datos muestreados.
Además, sirve para realizar inferencia del comportamiento en el intervalo observado o a futuro.
Considere una serie temporal como una secuencia de variables aleatorias \[...,X_{-1},X_0,X_1,X_2,..,X_t,...\]
Definición 1 (Proceso estocástico.) Un proceso estocástico es una familia de variables aleatorias (v.a.) indexada por un conjunto \(\mathcal{T}\), \[\left\lbrace X(t), ~t \in \mathcal{T} \right\rbrace\]
Nota
Generalmente:
\(\mathcal{T}\) puede ser \(\mathbb{R}\), \(\mathbb{Z}\) o \(\mathbb{N}\).
\(X(t)\) es una v.a. real.
Para cada \(t \in \mathcal{T}\), \(X(t)\) es una v.a. definida sobre \(\Omega\) y
\(X(t)\) es una función de dos argumentos \(X(t,\omega)\), \(t \in \mathcal{T}, \omega \in \Omega\).
Figura 1: Ilustración de un proceso estocástico, como una familia de variables aleatorias.
Para cada \(\omega \in \Omega\), obtenemos una función de \(t\), o sea, una observación de un proceso estocástico, una realización de un proceso estocástico.
Denotemos por \(X^{(1)}(t), X^{(2)}(t),...\).
Para un \(t\) fijo, se puede visualizar la distribución de \(X(t)\), por medio de alguna técnica estadística como: histograma, cálculo de medias, variancia, etc.
Figura 2: Ilustración de un proceso estocástico, como una familia de trayectorias.
Para \(t_1,t_2,...,t_n\) arbitrarios de \(\mathcal{T}\) y defina la distribución conjunta \[F_{X_{t_1},...,X_{t_n}}(c_{1},...,c_{n} \mid t_1,...,t_n) = P\left(X_{t_1}\leq c_{1}, X_{t_2}\leq c_{2},...,X_{t_n} \leq c_{n} \right).\]
El proceso estocástico \(\left\lbrace X(t), ~t \in \mathcal{T} \right\rbrace\) será especificado si conocemos todas las distribuciones de dimensión finita de todo \(n\geq 1\).
En este caso, se trata de la especificación de un modelo de series temporales.
Por ejemplo,
Si \(n=1\), conocemos todas las distribuciones unidimensionales,
Si \(n=2\), conocemos todas las distribuciones bidimensionales,
…
Definición 2 (Ruido blanco.) Un proceso de ruido blanco es una colección de variables aleatorias no correlacionadas, \(w_t\), con media \(0\) y variancia \(\sigma_w^2\), denotado por \(w_t \sim wn(0,\sigma_w^2)\).
Nota
Una secuencia de variables aleatorias normales que no están correlacionadas implica que son independientes y tienen una distribución normal conjunta.
Inversamente no es cierto. En general, variables no correlacionadas (sin asumir normalidad) no necesariamente son independientes.
Simulación de una colección de \(w_t \sim N(0,1)\) con \(t=1,...,500\).
w =rnorm(500,0,1) plot.ts(w,ylim=c(-3,3), main="")
Una descripción completa de un modelo de series temporales es proporcionado por la distribución de probabilidad conjunta, i.e. dados tiempos arbitrarios \(t_1,...,t_n\) para \(n\) entero positivo y \(c_1,...,c_n\) n valores constantes:
Aunque esa distribución describe los datos globalmente, en la práctica, esa distribución multidimencional es dificil de conocer, excepto cuando es normal multivariado (¿por qué?)
La distribución marginal en el tiempo \(t\), \[F_t(x)=P(X \leq x).\]
La función densidad marginal en el tiempo \(t\), \[f_t(x)= \frac{\partial F_t(x)}{\partial x}.\]
La función de media para el tiempo \(t\) es definida por
\[\mu_t= E(X_t)=\int_{-\infty}^\infty x f_t(x)dx.\]
El ejm de Medias móviles:\(v_t=\frac{1}{3}(w_{t-1}+w_{t}+w_{t+1})\)
Mide la dependencia lineal entre dos puntos de tiempo de la misma serie.
La función de variancia en el tiempo \(t\) es definida por \[\gamma_X(t,t)=Var(X_t)\]
El ejm del ruido blanco\(w_t\):
\[
\gamma_w(t,s)=Cov(w_t,w_s)=\left\lbrace
\begin{aligned}
\sigma_w^2, & & t = s, \\
0, & & t \neq s.
\end{aligned}
\right.
\]
Propiedad: (Covariancia de combinaciones lineales) Si U y V son combinaciones de variables aleatorias \(X_1,...,X_m\) y \(Y_1,...,Y_r\) con variancias finitas, respectivamente: \[U=\sum_{i=1}^{m} a_i X_i,~\text{y}~~~~~~V=\sum_{j=1}^{r} b_i Y_i.\] Entonces, \[Cov(U,V)=\sum_{i=1}^{m} \sum_{j=1}^{r} a_i b_j Cov(X_i,Y_j).\]
El ejemplo de medias móviles de orden 3: \(v_t=\frac{1}{3}(w_{t-1}+w_{t}+w_{t+1})\). Defina \(s=t+h\). La función de autocovariancia es definida por \(\gamma_v(t,s)=\gamma_v(t,t+h)=Cov(v_{t},v_{t+h})\)
\[
\rho_w(t,s)=\left\lbrace
\begin{aligned}
1, & & t = s, \\
0, & & t \neq s.
\end{aligned}
\right.
\]
El ejm de medias móviles:\(v_t=\frac{1}{3}(w_{t-1}+w_{t}+w_{t+1})\)
La función de autocorrelación es dada por: \[
\rho_v(t,t+h)=\left\lbrace
\begin{aligned}
1, & & h = 0 \\
\frac{2}{3}, & & |h| = 1 \\
\frac{1}{3}, & & |h| = 2 \\
0, & & |h| > 2,
\end{aligned}
\right.
\]
Recuerden el ejmplo de señal: \(x_t=2 \cos \left( 2 \pi \frac{t+15}{50} \right)+ w_t\) para \(t=1,...,500\).
Ejercicio: Calculen la autocovariancia.
Nota
Aunque las medidas teóricas descritas (función de media, variancia, autocovariancia y autocorrelación) son importantes, pero no tenemos herramientas para calcularlas si solamente tenemos una realización del proceso en la práctica.
Se necesita imponer algunas restricciones, como el concepto de estacionariedad.
Definición 3 (Procesos estrictamente estacionarios.) Un proceso estrictamente estacionario es un proceso estocástico cuyo comportamiento de cada colección de valores \[\left\lbrace X_{t_1},X_{t_2},...,X_{t_k} \right\rbrace\] es idéntico a un conjunto bajo un cambio de tiempo \[\left\lbrace X_{t_1+h},X_{t_2+h},...,X_{t_k+h} \right\rbrace.\] Esto es, \[P\left(X_{t_1} \leq c_1,...,X_{t_k} \leq c_k \right)=P\left(X_{t_1+h}\leq c_1,...,X_{t_k+h} \leq c_k \right)\] para todo \(k=1,2,...\), todo tiempo \(t_1,...,t_k\), todos las constantes \(c_1,...,c_k\) y todos los cambios de tiempo \(h=0, \pm 1, \pm 2,...\).
Definición 4 (Procesos débilmente estacionarios.) Un proceso débilmente estacionario es un proceso con variancia finita tal que
la función de la media es constante \[\mu_t=E(X_t)=\mu\]
La función de autocovariancia depende solamente de la diferencia de dos puntos \(t, t+h\)\[\gamma(t,t+h)=Cov(X_t,X_{t+h})=Cov(X_0,X_h):=\gamma(h).\]
Consecuentemente, la función de autocorrelación de un proceso estacionario es definido como
Se conculye que \(v_t\) es débilmente estacionario ya que la media es constante y \(\gamma_v(t,t+h)=\gamma_v(h)\) depende solamente de \(h\).
Definición 5 (Serie temporal gaussiana.)\(\left\{X_t\right\}\) es una serie temporal gaussiana (o modelo de serie temporal gaussiano) si todas sus distribuciones conjuntas son normales multivariadas, es decir, si para cualquier colección de números enteros \(i_1, \ldots, i_n\), el vector aleatorio \(\left(X_{i_1}, \ldots, X_{i_n}\right)^{\prime}\) tiene una distribución normal multivariada.
Nota
Si \(\{X_t\}\) es una serie temporal gaussiana, entonces todas sus distribuciones conjuntas son completamente determinadas por medio de la función media \(\mu_t=\operatorname{E}(X_t)\) y la función de autocovariancia \(\gamma(t,s)=\operatorname{Cov}(X_t,X_s)\).
Además, si el proceso es estacionario, entonces
La función media es constante, \(\mu_t=\mu\) para todo \(t\),
la función de autocovariancia \(\gamma(t,s)=\gamma(t,t+h)\) depende únicamente de \(h\), es decir podemos escribir \(\gamma(t,t+h):=\gamma(h)\).
En este caso, la distribución de \(X_1,...,X_t\) es igual que la distribución de \(X_{1+h},...,X_{t+h}\), para todo \(h\) entero y \(t\) positivo.
Se concluye que una serie temporal gaussiana es estrictamente estacionaria si y solo si es débilmente estacionaria.
Aquí en adelante vamos a referir al concepto de estacionariedad débil con solamente estacionariedad.
Si una serie es estacionaria, la media \(\mu_t=\mu\) es constante y podemos estimarla usando la media muestral
\[\bar{X}=\frac{\sum\limits_{t=1}^T X_t}{T}.\]
Nota
Se puede probar que \[E\left[\bar{X}\right]=\mu~,~~~~\text{y}~~~~Var\left[\bar{X}\right]=\frac{1}{T} \sum_{h=-n}^n \left(1-\frac{|h|}{T} \right) \gamma_X(h).\]
Para entender la idea de la autocorrelación, recuerde que la estimación de la covariancia y la autocorrelación de una muestra observada de dos variables \(X\) y \(Y\) con una muestra de \(n\) valores es
Suponga que tenemos las observaciones \(X_1,...,X_T\) de una serie \(X\), considere la misma serie con un rezago, i.e. \[X_2,...,X_{T-1},X_T\]\[X_1...,X_{T-2},X_{T-1}\]
Podemos calcular la correlación como si fueran dos variables distintas:
\[r_1=\frac{\sum\limits_{t=1}^{T-1} (X_{t+1}-\bar{X}_1)(X_{t}-\bar{X}_2)}{\sqrt{\sum\limits_{t=1}^{T-1} (X_{t+1}-\bar{X}_1)^2 \sum\limits_{t=1}^{T-1} (X_{t}-\bar{X}_2)^2}}\] donde \(\bar{X}_1\) es la media de los \(T-1\) últimos valores de la serie y \(\bar{X}_2\) es la media de los \(T-1\) primeros valores de la serie.
Si la serie es estacionaria,
\(\bar{X}_1\) y \(\bar{X}_2\) pueden ser reemplazadas por \(\bar{X}\).
El denominador puede ser reemplazado por \(\sum\limits_{t=1}^{T} (X_{t}-\bar{X})^2\).
Entonces, \[r_1=\frac{\sum\limits_{t=1}^{T-1} (X_{t+1}-\bar{X})(X_{t}-\bar{X})}{\sum\limits_{t=1}^{T} (X_{t}-\bar{X})^2}\] es la estimación de la autocorrelación de rezago \(h=1\).
Análogamente se puede calcular la autocorrelación muestral de rezago \(h\) con:
\[r_h=\frac{\sum\limits_{t=1}^{T-h} (X_{t+h}-\bar{X})(X_{t}-\bar{X})}{\sum\limits_{t=1}^{T} (X_{t}-\bar{X})^2}\] para \(h=0,1,2,..., T-1\).
De forma análoga, se define \(r_h=r_{-h}\)
Recuerde que la función de autocorrelación teórica es simétrica:
\[\rho(h)=\rho(-h).\]
Entonces, la función de autocovariancia muestral es definida por \[\hat{\gamma}_X(h)=\frac{1}{T}\sum_{t=1}^{T-h} (X_{t+h}-\bar{X})(X_{t}-\bar{X}),\] con \(\hat{\gamma}_X(-h)=\hat{\gamma}_X(h)\) para \(h=0,1,...,T-1\).
La función de autocorrelación muestral es definida por
Si \(X_t\) tiene sus primeros 4 momentos finitos, y \(X_t\) es ruido blanco, entonces para \(T\) suficientemente grande, la función de autocorrelación muestral \(\hat{\rho}_X(h)=r_h, h=1,2,..., H\) donde \(H\) es un valor entero y fijo, es aproximadamente normal con media cero y desviación estándar \[\sigma_{\hat{\rho}_X(h)}=\frac{1}{\sqrt{T}}.\]
Nota:
Con este resultado, si se tiene un ruido blanco, entonces se espera que con aproximadamente 95% de confianza, las \(\hat{\rho}_X(h)\) deberían caer dentro del intervalo \(\left( \frac{-2}{\sqrt{T}},\frac{2}{\sqrt{T}} \right)\). puede estimar intervalos de confianza e identificar aquellos rezagos que tienen autocorrelación significativa.
En la práctica, se grafica los pares ordenados \((h,r_h),h=1,2,...\) para visualizar la función de autocorrelación muestral. Este gráfico se denomina correlograma.
El ejm de ruido blanco:
Si \(w_t \sim wn(0,\sigma_w^2)\), la función de autocorrelación es
\[\rho_w(t,s)=\left\lbrace
\begin{aligned}
1, & & t = s \\
0, & & t \neq s,
\end{aligned}
\right.\] o \[\rho_w(h)=\left\lbrace
\begin{aligned}
1, & & h = 0 \\
0, & & h \neq 0,
\end{aligned}
\right.\]
El correlograma (o acf muestral) de una realización de \(500\) observaciones de \(w_t \overset{\text{iid}}{\sim} N(0,1)\).
w =rnorm(500,0,1) acf(w,lag.max =10,main="estimación de acf de w")
El ejm de medias móviles:
Sea \(v_t=\frac{1}{3}(w_{t-1}+w_{t}+w_{t+1})\)
La función de autocorrelación es \[
\rho_v(h)=\left\lbrace
\begin{aligned}
1, & & h = 0 \\
\frac{2}{3}, & & |h| = 1 \\
\frac{1}{3}, & & |h| = 2 \\
0, & & |h| > 2,
\end{aligned}
\right.
\]
set.seed(1)w =rnorm(500,0,1) v = stats::filter(w, sides=2, filter=rep(1/3,3)) v =na.omit(v)acf(v,lag.max =10,main="estimación de acf de v")
Ejemplos: sorteo navideño de 2008
Ejemplo 5.1 de Hernández (2011): 135 números del sorteo de la lotería de Naividad de 2008 según el orden de extracción. Los números son muestreados aleatoriamente con reemplazo de una distribución uniforme discreta enteros entre 0 y 99.
Teorema 1 (Teorema de la descomposición de Wold) Suponga que \(\{X_t\}_{t \in \mathbb{Z}}\) es un proceso estacionario de segundo orden con media \(0\), es decir, \(\mathbb{E}[X_t] = 0\) y \(\operatorname{Cov}(X_t, X_{t-h})=\gamma(h), \forall h\). Entonces,
\[
X_t = \sum_{j=0}^{\infty} \psi_j \varepsilon_{t-j} + \eta_t,
\] donde
\(\psi_0 = 1\) y \(\sum_{j=0}^{\infty} \psi_j^2 < \infty\),
\(\operatorname{E}[\eta_t\varepsilon_t] = 0\) para todo \(t,s\).
Demostración. Consulte a la página 188 de Brockwell & Davis (1991).
Nota
La interpretación es que todo proceso débilmente estacionario puede descomponerse en:
Una parte determinística (perfectamente predecible a partir del pasado), y
Una parte puramente estocástica, que puede expresarse como una combinación lineal infinita de innovaciones (choques) no correlacionadas.
Si \(\{X_t\}\) es puramente no determinística, entonces \(\eta_t=0\) y la descomposición de Wold se reduce a \[
X_t = \sum_{j=0}^{\infty} \psi_j \varepsilon_{t-j},
\]
Es la representación de medias móviles de orden infinito, \(MA(\infty)\).
Esto justifica que los modelos ARMA son buenas aproximaciones a los procesos estacionarios.
\(\eta_t\) no representa una tendencia en el tiempo, pues en este caso \(X_t\) ya no es estacionario.
Considere este ejemplo, \[\eta_t = A \cos (\lambda t)+B \sin (\lambda t),\] donde \(A\), \(B\) son variables aleatorias independientes e independientes entre sí con medias \(0\) y variancias \(\sigma^2=Var(A)=Var(B)\).
Note que en este caso, \(\eta_t\) es estacionario, es decir su autocovariancia no depende del tiempo (ejercicio 3.8).
Modelo de señal+ruido (conocido como regresión no paramétrica): \(Y_t=f(t)+a_t,~t=1,...,T.\)
También es posible categorizar en modelos gaussianos y no gaussianos.
De manera general, también es posible clasificar los modelos de acuerdo a la linealidad del modelo. Suponga que los errores o innovaciones \(a_t\) son i.i.d. y el modelo tiene la siguiente forma: \[X_t= g(a_{t-1},a_{t-2},...)+a_{t}h(a_{t-1},a_{t-2},...),\] en donde \(g(\cdot)\) es la media condicional, y \(h^2(\cdot)\) es la variancia condicional.
Se dice que el modelo es
no lineal en media, si \(g(\cdot)\) es no lineal.
no lineal en variancia, si \(h^2(\cdot)\) es no lineal.
Los modelos ARCH (AutoRegressive Conditional Heteroscedastic), o modelos autorregresivos con heteroscedasticidad condicional, fueron propuestos por Engle (1982). Robert F. Engle recibió el Premio Nobel de Economía por los análisis de ARCH para datos de series temporales económicos.
\[X_t= a_t \sqrt{\alpha X_{t-1}^2}\] es no lineal en variancia porque \(g(\cdot)=0\) y \(h(\cdot)=\sqrt{\alpha X_{t-1}^2}\) y \(X_{t-1}\) depende de \(a_{t-1}\).
Ilustramos con un GARCH(1,1) (Generalized AutoRegressive Conditional Heteroscedastic), o modelo autorregresivo generalizado con heteroscedasticidad condicional, propuesto por Bollerslev (1986) aplicado al índice diario industrial Dow Jone.
