4 Transformações e Suavizações

4.1 Introdução

  • As vezes os dados precisam ser transformados para a utilização de determinados métodos/modelos;

  • O objetivo é tornar os modelos mais simples, no caso das ST o objetivo seria melhorar as previsões;

  • As transformações devem ser feitas exclusivamente para aplicação do modelo, e não como uma técnica de analise dos dados em si.

4.1.1 Alguns exemplos de transfomação dos dados em ST:

  • Utilização de funções: Logarítmicas, Potências, Exponenciais, ou transformação Box-Cox

  • Diferenciação: Series não estacionárias, objetivo é transformar a série em estacionária (ex: log), estabilizando a média.

  • Box-Cox: Estabiliza a variância.

  • Médias Móveis: Permite a suavização dos dados da ST. Reduz outliers e os efeitos sazonais

  • Outras técnicas mais avançadas de suavização: Kernel, Loess, Splines e Generalized Additive Model (GAM)

Para mostrar o resultado dessas transformações, iremos mostrar algumas técnicas.

4.1.2 Transformações Box-Cox, Digferenciação e Logarítmica

  • Box and Cox (1964) propuseram uma transformação na variável da ST \(Z_t\), que depende do parâmetro \(\lambda\) da seguinte forma:

\[ Z_{t}(\lambda) = \left\{ \begin{array}{rc} Z_t^{\lambda}, &\mbox{se} \quad \lambda \neq 0, \\ ln(Z_t) , &\mbox{se} \quad \lambda = 0. \end{array}\right.\]

Se o valor de \(\lambda\) é igual a zero, a transformação logarítmica da sequência inicial é realizada, no caso em que o valor de lambda difere de zero, a transformação é por lei exponencial. Quando \(\lambda\) é igual a 1, a série é analisada em sua escala original, enquanto o caso \(\lambda = 1/2\) corresponde à transformação transformação da raiz quadrada. Para que a transformação seja aplicável, a série deve ser estritamente positiva.

Ex: Utilizando os dados do dataset Air Passengers, temos:

4.2 Métodos de Alisamento ou Suavização

  • Uma função é suave se contı́nua e derivável em todos os pontos.

  • Utiliza-se a expressão Funções de Suavização para definir funções que aplicadas sobre um conjunto numérico retornam outro conjunto cujos valores tendem à média, local ou global.

  • Utiliza-se funções de suavização quando se supõe que o fenômeno é de fato suave, e as observações apresentam variabilidade aleatória pouco relevante.

  • Também são utilizadas quando se deseja modelar a estrutura geral o fenômeno, desconsiderando cada ocorência isolada.

4.2.1 Algumas funções de suavização

Existem diversas funções de suavização no R dentre as principais destacamos:

  1. Médias móveis: O métodos mais simples de suavização.

  2. Kernel density: Estimativa de densidade de probabilidade – equivale à uma média ponderada.

  3. Loess/Lowess: locally weighted scatterplot smoothing – estende a mesma idéia, mas os valores entram em uma regressao ponderada (não apenas média, ou seja, inclui uma inclinação)

  4. Splines: cúbica, p-splines, thin plate

  • Todas essas funções podem ser uni ou multi-dimensionais, existem ainda outras funções para suavizar

4.2.2 Médias móveis

Considere a ST estacionária e localmente constante, composta de seu nível e mais um ruído aleatório.

\[ Z_t = \mu_t + a_t , \] \[t = 1,2,...,N \]

Sendo \(E(a_t) = 0\), \(Var(a_t)=\sigma^2_a\) e \(\mu_t\) é um parâmetro desconhecido que varia com o tempo.

A técnica de média móvel consistew em calcular a média aritmética das \(h\) observcações mais recentes, ou seja,

\[M_t = \dfrac{Z_t+Z_{t-1}+...+Z_{t-h+1}}{h}\]

  • Denotamos por \(h\) sendo o comprimento da média.

  • Desta forma, \(M_t\) é uma estimativa do nível \(\mu_t\) que não leva em consideração as observações mais antigas. Note que a cada período a observação mais antiga é substituída pela mais recente, calculando-se uma média nova.

Série original , vamos exemplificar o que acontece com quando se usa uma janela de 3 meses, repare as 3 primeiras observações

Serie com Media Móvel 3 , note que o primeiro é ultimo valores da serie agora são NA

Observe que o valor para fevereiro e calculado a partir dos 3 primeiros valores

(16.87 + 15.08 + 15.07)/3 =  15.67

Exemplo: Utilizando a ST mensal referente as mortes em estradas Reino Unido (1969–1984), temos:

4.2.3 Utilização das Médias Móveis

  • Processo de Transformação - “Suavização da Série”

  • Remoção de outliers

  • Identificação de tendências

Ex: Médias Móveis - ordem 5

4.3 Kernel

O algoritmo:

  • Seja \((x)\) ponto para o qual se deseja estimar f(.)

  • Defina a função kernel: simétrica, unimodal, centrada em \((x)\), que cai a zero nos limites da vizinhança.

  • Esse subconjunto dos dados, também denominado ou ou parâmetro de suavização controla flexibilidade do kernel.

  • Repita o procedimento para diversos \((x)\) conecte os pontos

\[\hat{f_h}(x) = \dfrac{1}{Nh}\sum{K \left( \dfrac{x-x_i}{h}\right)}\]

  • \(h\) \(\rightarrow\) largura de banda

  • \(K\) \(\rightarrow\) função de suavização

Kernel Gaussiano: \[k(x)=\dfrac{1}{\sqrt{2\pi}} exp(1/2 x^2)\]

4.3.1 Diferentes Funções Kernel

Vamos a uma demostração:

ao chamar a função demo() você vai ver um painel de controle como o abaixo

e uma gráfico de uma função kernel como abaixo. ultilise o controle deslisante mostrado pela seta e altere as opções.

  • Série Temporal: Leptospirose vs Clima

  • Exemplos de Kernel

  • Aplicando o Kernel em ST

4.3.3 Utilização do Kernel

  • Vantagens: simples, ótimo para análise exploratória.

  • Desvantagens: efeito de borda.

  • Muito sensı́vel à largura de banda.

  • Escolha automática de largura de banda pode não ser o desejável.

  • Pouco sensı́vel à forma da função, desde que suave.

4.4 Lowess (Locally Weighted Sum of Square)

  • Semelhante ao kernel, mas os valores são estimados a partir de uma regressão local ao invés da média ponderada.

  • A cada ponto do conjunto de dados um polinômio é ajustado utilizando um sub-conjunto através de mı́nimos quadrados ponderados de forma a dar maior peso aos pontos próximos.

  • O subconjunto dos dados é também denominado janela ou largura de banda ou parâmetro de suavização e controla flexibilidade da função de regressão – se a janela for igual ao total de pontos fica igual à regressão.

  • Quanto maior o tamanho da janela, maior o alisamento e vice-versa.

  • O grau do polinômio de cada regressão local em geral é baixo. Polinômio de primeiro grau é a regressão linear local; de segundo regressão quadrática.

  • A largura da janela é indicado por uma fração dos dados que varia de 0 a 1.

    • Exemplo: largura 0,1 significa que a janela tem largura que equivale a 10% do eixo horizontal;

    • Polinômio de grau 0 é a média móvel;

    • Se a janela for de 100% dos pontos = média.

Existem varias funções que implementam o Lowess no R temos dois grupos que implementa uma função de suavização como por exemplo a lowess() ou como modelo loess() .

4.4.1 Utilização do Lowess

  • Vantagens: simples ótimo para análise exploratória.

  • Desvantagens: sensı́vel a valores extremos.

  • Menos sensı́vel à borda.

4.4.2 Comparando

Kernel average smoother

Kernel average smoother

Local linear regression

Local linear regression

4.5 Splines

  • Splines são funções polinomiais que juntam nos nós, de forma suave, o que é garantido pela existência de \(1^a\) e \(2^a\) derivadas.

  • A escolha do parâmetro de suavização pode ser visual ou mais formal, quando a definição é dada pelo valor que minimiza o erro quadrático médio do ajuste, ou através de alguma forma de validação cruzada.

  • A função que minimiza regressão penalizada é uma spline cúbica natural com nós em valores distintos de \(x_i\).

  • Um problema de regressão penalizada: como encontrar a solução \(\hat{f}(x)\) que minimize:

\[\sum\left[y_i - f(x_i) \right]^2 + \tau \int f''(x)]^2 dx\] sendo \(\tau\) o parâmetro de alizamento:

  • Se \(\tau = 0 \Rightarrow \hat{f}(x)\) é interpolação simples

  • Se \(\tau\) é muito grande \(\Rightarrow \hat{f}(x)\) será tal que \(f''(x)\) seja zero em todos os pontos, ou seja, mínimos quadrados.

4.6 Exercícios Propostos

  1. Seja \(Z_t\) (temperaturaNY.csv) uma série temporal referente às médias anuais das temperaturas na cidade de Nova York durante os anos de 1912 e 1971. Utilize e discuta alguns métodos de transformação e/ou suavização para descrever a série.

  2. Faça o mesmo com a série de dengue no Vietnã (denguecases2.csv)

Verifique as series com atenção e veja como será a melhor maneira de ler e transformar o dato em ST lembre-se que no windows você vai precisar

4.7 Bibliografia sugerida

Faraway, J.J. Extending the Linear Model with R. Chapman & Hall/CRC Texts in Statistical Science Series, 2006.

Hastie, T.; Tibshirani, R. Generalised Additive Models. Chapman & Hall, 1990.

Wood, S.N. Generalized Additive Models: An Introduction with R. Chapman & Hall/CRC Texts in Statistical Science Series, 2006.

Venables, W.N. & Ripley, B.D. Modern Applied Statistics with S. (MASS) Fourth Edition 2002