Glidande medelvärde process is stationär

Tänk på den oändliga ordning MA process definierad av ytepsilonta (epsilon epsilon.), Där a är en konstant och epsilonterna är i. i.d. N (0, v) slumpmässig variabel. Vad är det bästa sättet att visa att yt är icke-stationär Jag vet att jag måste titta på egenskaperna polynomernas karakteristiska rötter och sedan bedöma huruvida de är utanför enhetens cirkel, men vad är det bästa sättet att närma sig detta problem Ska jag försöka skriva om den oändliga beställningen MA-processen som en ändlös ordning AR-process eller är det lättare att arbeta MA-processen frågad 19 okt 13 kl 21: 11 Vad är stationär autoregressiv (AR), glidande medelvärde (MA) och stationärt blandat (ARMA ) processer Stationär autoregressiv (AR) - process Stationära autoregressiva (AR) - processer har teoretiska autokorrelationsfunktioner (ACF) som sönderfall mot noll, istället för att skära ner till noll. Autokorrelationskoefficienterna kan alternera i tecken ofta, eller visa ett vågliknande mönster, men i alla fall svänger de av mot noll. Däremot har AR-processer med ordning p teoretiska partiella autokorrelationsfunktioner (PACF) som skär av till noll efter fördröjning p. (Laglängden för den slutliga PACF-spetsen är lika med AR-ordningen i processen, p.) Flyttande medelvärde (MA) - processen De teoretiska ACF-värdena för MA (glidande medelvärde) processer med order q avskurna till noll efter lag q, MA-ordern av processen. Men deras teoretiska PACF sönderfall mot noll. (Låglängden för den slutliga ACF-spetsen motsvarar MA-orderna i processen, q.) Stationär blandad (ARMA) process Stationär blandad (ARMA) - processer visar en blandning av AR - och MA-egenskaper. Både den teoretiska ACF och PACF svansar mot noll. Upphovsrätt 2016 Minitab Inc. Alla rättigheter reserverade. A Kort introduktion till Modern Time Series Definition En tidsserie är en slumpmässig funktion x t för ett argument t i en uppsättning T. Med andra ord är en tidsserie en familj av slumpmässiga variabler. x t-1. x t. x t1. som motsvarar alla element i uppsättningen T, där T är tänkt att vara en uppsägbar, oändlig uppsättning. Definition En observerad tidsserie t t e T o T anses vara en del av en realisering av en slumpmässig funktion x t. En oändlig uppsättning möjliga realisationer som kan ha observerats kallas ett ensemble. För att ställa saker mer noggrant är tidsserien (eller slumpmässig funktion) en reell funktion x (w, t) av de två variablerna w och t, ​​där wW och t T. Om vi ​​fixar värdet på w. vi har en verklig funktion x (t w) av tiden t, vilket är en realisering av tidsserierna. Om vi ​​fixar värdet på t, har vi en slumpmässig variabel x (w t). För en given tidpunkt finns en sannolikhetsfördelning över x. Således kan en slumpmässig funktion x (w, t) betraktas som antingen en familj av slumpmässiga variabler eller som en familj av realisationer. Definition Vi definierar fördelningsfunktionen för slumpmässig variabel w givet t 0 som P o) x (x). På samma sätt kan vi definiera gemensam fördelning för n slumpmässiga variabler Punkterna som skiljer tidsserieanalys från vanliga statistiska analyser är följande (1) Beroendet mellan observationer på olika kronologiska tidpunkter spelar en viktig roll. Med andra ord är ordningsföljden viktig. I vanlig statistisk analys antas att observationerna är ömsesidigt oberoende. (2) Domänen av t är oändlig. (3) Vi måste göra en inferens från en realisering. Förverkligandet av den slumpmässiga variabeln kan endast observeras en gång vid varje tidpunkt. I multivariatanalys har vi många observationer om ett begränsat antal variabler. Denna kritiska skillnad kräver att stationäritet antas. Definition Slumpmässig funktion x t sägs vara strikt stillastående om alla ändliga dimensionsfördelningsfunktioner som definierar x t förblir desamma även om hela gruppen av punkter t 1. t 2. tn förskjuts längs tidsaxeln. Det vill säga om för alla heltal t 1. t 2. t n och k. Grafiskt kan man föreställa sig en strikt stationär serie som inte bara har samma nivå i två olika intervaller, men också samma fördelningsfunktion, helt ner till de parametrar som definierar den. Antagandet av stationäritet gör våra liv enklare och billigare. Utan stationäritet skulle vi behöva prova processen ofta vid varje tidpunkt för att bygga upp en karaktärisering av distributionsfunktionerna i den tidigare definitionen. Stationäritet innebär att vi kan begränsa vår uppmärksamhet till några av de enklaste numeriska funktionerna, det vill säga distributionsmomentet. De centrala stunderna ges av definition (i) Medelvärdet av tidsserierna t är d. v.s. första ordningens ögonblick. (ii) Autokovariansfunktionen av t är d. v.s. det andra ögonblicket om medelvärdet. Om ts då har du variansen av x t. Vi kommer att använda för att ange autokovarians av en stationär serie, där k anger skillnaden mellan t och s. (iii) Autocorrelationsfunktionen (ACF) av t är Vi kommer att använda för att beteckna autokorrelationen för en stationär serie, där k anger skillnaden mellan t och s. (iv) Partiell autokorrelation (PACF). f kk. är korrelationen mellan z t och z tk efter att ha avlägsnat sitt ömsesidiga linjära beroende av de mellanliggande variablerna z t1. z t2. z tk-1. Ett enkelt sätt att beräkna den partiella autokorrelationen mellan z t och z tk är att köra de två regressionerna och sedan beräkna korrelationen mellan de två restvektorerna. Eller, efter mätning av variablerna som avvikelser från deras medel, kan den partiella autokorrelationen hittas som LS-regressionskoefficienten på z t i modellen där punkten över variabeln indikerar att den mäts som en avvikelse från dess medelvärde. (v) Yule-Walker-ekvationerna ger ett viktigt samband mellan de partiella autokorrelationerna och autokorrelationerna. Multiplicera båda sidor av ekvation 10 med z tk-j och ta förväntningar. Denna operation ger oss följande skillnadsekvation i autocovariances eller, när det gäller autokorrelationerna Denna till synes enkla representation är verkligen ett kraftfullt resultat. Namnlösa: För j1,2. k vi kan skriva hela systemet av ekvationer, kända som Yule-Walker ekvationer, Från linjär algebra vet du att matrisen av r s är av full rang. Därför är det möjligt att tillämpa Cramers regel successivt för k1,2. att lösa systemet för de partiella autokorrelationerna. De tre första är Vi har tre viktiga resultat på strikt stationära serier. Implikationen är att vi kan använda någon ändlig realisering av sekvensen för att uppskatta medelvärdet. För det andra. om t är strikt stillastående och E t 2 lt då Implikationen är att autokovariansen endast beror på skillnaden mellan t och s, inte deras kronologiska tidpunkt. Vi kunde använda några parintervaller i beräkningen av autokovariansen så länge som tiden mellan dem var konstant. Och vi kan använda någon ändlig realisering av data för att uppskatta autokonferensen. För det tredje ges autokorrelationsfunktionen vid sträng stationäritet. Implikationen är att autokorrelationen bara beror på skillnaden mellan t och s också, och igen kan de beräknas genom någon ändamålsenlig realisering av data. Om vårt mål är att uppskatta parametrar som är beskrivande av möjliga realisationer av tidsserierna, kanske strikt stationäritet är för restriktiv. Om exempelvis medelvärdena och covarianserna av x t är konstanta och oberoende av den kronologiska punkten i tiden, är det kanske inte viktigt för oss att distributionsfunktionen är densamma för olika tidsintervaller. Definition En slumpmässig funktion är stationär i bred mening (eller svagt stationär eller stationär i Khinchins mening eller kovarians stationär) om m 1 (t) m och m 11 (t, s). Stark stationäritet innebär inte i sig svag stationäritet. Svag stationäritet innebär inte strikt stationäritet. Stark stationäritet med E t 2 lt innebär svag stationäritet. Ergodiska teoremor är oroade över frågan om de nödvändiga och tillräckliga förutsättningarna för att ge upphov till en enda realisering av en tidsserie. I grund och botten kokar den sig ner för att antaga svag stationäritet. Teorem Om t är svagt stillastående med medelvärde m och kovariansfunktion, då är det för någon given e gt 0 och h gt 0 det finns ett antal T o så att för alla T gt T o. om och endast om detta nödvändiga och tillräckliga villkor är att autocovariances dör ut, i vilket fall provvärdet är en konsekvent estimator för populationens medelvärde. Corollary Om t är svagt stationärt med E tk xt 2 lt för någon t och E tk xtx tsk x ts är oberoende av t för något heltal s, då om och endast om där A följden av följd är antagandet att xtx tk är svagt stationär. Ergodisk teorem är inte mer än en lag av stora tal när observationerna är korrelerade. Man kan nu fråga om de praktiska konsekvenserna av stationäritet. Den vanligaste användningen av tidsserietekniker är att modellera makroekonomiska data, både teoretiska och atoretiska. Som ett exempel på den tidigare kan man ha en multiplikator-accelerator modell. För att modellen ska vara stationär måste parametrarna ha vissa värden. Ett test av modellen är då att samla relevanta data och uppskatta parametrarna. Om uppskattningarna inte överensstämmer med stationaritet, måste man ompröva antingen den teoretiska modellen eller statistisk modell eller båda. Vi har nu tillräckligt med maskiner för att börja prata om modellering av univariata tidsseriedata. Det finns fyra steg i processen. 1. bygga modeller från teoretisk och erfarenhetskunskap 2. identifiera modeller baserade på data (observerade serier) 3. montera modellerna (uppskatta parametrarna för modellen / modellerna) 4. kontrollera modellen Om det i fjärde steget vi inte är nöjd vi återgår till steg ett. Processen är iterativ tills ytterligare kontroll och efterlevnad ger ingen ytterligare förbättring av resultaten. Diagrammatiskt Definition En del enkla operationer inkluderar följande: Backshift-operatören Bx tx t-1 Framåtriktaren Fx tx t1 Skillnadsoperatören 1 - B xtxt - x t-1 Skillnadsoperatören beter sig på ett sätt som överensstämmer med konstanten i en oändlig serie . Det vill säga dess invers är gränsen för en oändlig summa. Namnlöst, -1 (1-B) -1 1 (1-B) 1BB 2. Integreringsoperatören S -1 Eftersom den är invers av skillnadsoperatören, tjänar integrationsoperatören att konstruera summan. MODELL BYGG I det här avsnittet erbjuder vi en kort genomgång av de vanligaste typerna av tidsseriemodeller. På grundval av den kunskapen om datagenererande processen väljer man en klass av modeller för identifiering och uppskattning från de möjligheter som följer. Definition Antag att Ex t m är oberoende av t. En modell som med egenskaperna kallas den autoregressiva modellen av order p, AR (p). Definition Om en tidsberoende variabel (stokastisk process) t uppfyller så sägs t att Markov-egenskapen uppfylls. På LHS är förhoppningen betingad av den oändliga historien om x t. På RHS är det villkorat endast en del av historien. Från definitionerna ses en AR (p) modell för att tillgodose Markov-fastigheten. Med hjälp av backshift-operatören kan vi skriva vår AR-modell som teorem En nödvändig och tillräcklig förutsättning för att AR (p) - modellen ska vara stationär är att alla polynomernas rötter ligger utanför enhetens cirkel. Exempel 1 Tänk på AR (1) Den enda roten av 1 - f 1 B 0 är B 1 f 1. Villkoren för stationäritet kräver det. Om så kommer den observerade serien att visa sig mycket frenetisk. T. ex. Tänk på vilken den vita brusperioden har en normal fördelning med nollvärde och en varians av en. Observationerna byter tecken med nästan varje observation. Om däremot den observerade serien blir mycket mjukare. I denna serie tenderar en observation att vara över 0 om dess föregångare var över noll. Variansen av e t är s e 2 för alla t. Variansen av x t. när det har noll betyder, eftersom serien är stationär kan vi skriva. Följaktligen är autokovariansfunktionen för en AR (1) - serie, förutsatt utan förlust av generality m 0 För att se hur det ser ut utifrån AR-parametrarna kommer vi att använda det faktum att vi kan skriva xt enligt följande Multiplicera med x tk och ta förväntningar Observera att autocovariances dör ut som k växer. Autokorrelationsfunktionen är autokovariansen dividerad med variansen av den vita brusperioden. Eller,. Med hjälp av tidigare Yule-Walker-formler för de partiella autokorrelationerna har vi för en AR (1) autokorrelationerna exponentialt dämpat och de partiella autokorrelationerna uppvisar en spik vid en lag och är noll därefter. Exempel 2 Tänk på AR (2) Det associerade polynomet i lagoperatören är. Rötterna kan hittas med hjälp av den kvadratiska formeln. Rötterna är när rötterna är riktiga och följaktligen kommer serien att minska exponentiellt på grund av en chock. När rötterna är komplexa och serien kommer att visas som en dämpad teckenvåg. Stationsarbetssatsen ställer följande villkor på AR-koefficienterna Autokovariansen för en AR (2) - process, med nollvärde, delas genom variansen av xt ger autokorrelationsfunktionen Eftersom vi kan skriva På samma sätt för andra och tredje autokorrelationer Den andra autokorrelationer löses för rekursivt. Deras mönster styrs av rötterna i den andra ordningens linjära skillnadsekvationen Om rötterna är verkliga kommer autokorrelationerna att minska exponentiellt. När rötterna är komplexa uppträder autokorrelationerna som en dämpad sinusvåg. Med hjälp av Yule-Walker-ekvationerna är de partiella autokorrelationerna igen, dämpar autokorrelationerna långsamt. Den delvisa autokorrelationen å andra sidan är ganska distinkt. Den har spikar på en och två lags och är noll därefter. Teori Om x t är en stationär AR (p) - process kan den skrivas som en linjär filtermodell. Det vill säga polynom i backshift-operatören kan inverteras och AR (p) skrivs istället som ett glidande medelvärde av oändlig ordning. Exempel Antag att z t är en AR (1) process med nollvärde. Vad som är sant för den aktuella perioden måste också vara sant för tidigare perioder. Således genom rekursiv substitution kan vi skriva Square båda sidor och ta förväntningar höger sida försvinner som k sedan f1. Därför sammanfattas summan till z t i kvadratisk medelvärde. Vi kan skriva om AR (p) modellen som ett linjärt filter som vi vet är stationära. Autokorrelationsfunktionen och partiell autokorrelation Allmänt antar att en stationär serie z t med medel noll är känd för att vara autoregressiv. Autokorrelationsfunktionen hos en AR (p) hittas genom att ta förväntningar på och dela igenom genom variansen av z t Detta berättar att r k är en linjär kombination av tidigare autokorrelationer. Vi kan använda detta vid tillämpning av Cramers regel till (i) för att lösa för f kk. I synnerhet kan vi se att detta linjära beroende beror på f kk 0 för k gt p. Denna särskiljningsegenskap för autoregressiva serier kommer att vara mycket användbar när det gäller identifiering av en okänd serie. Om du har antingen MathCAD eller MathCAD Explorer kan du experimentera interactivley med några för de AR (p) idéer som presenteras här. Flytta genomsnittsmodeller Tänk på en dynamisk modell där serien av intresse bara beror på en del av historien om den vita brusperioden. Diagrammatiskt kan detta representeras som definition Antag att t är en okorrelerad sekvens av i. i.d. slumpmässiga variabler med noll genomsnittlig och ändlig varians. Därefter ges ett glidande medelvärde för order q, MA (q), genom teoremetoden: En rörlig genomsnittsprocess är alltid stillastående. Bevis: I stället för att börja med ett generellt bevis gör vi det för ett visst fall. Antag att z t är MA (1). Då. Naturligtvis har en t noll medelvärde och ändlig varians. Medelvärdet av z t är alltid noll. Autocovariances kommer att ges av Du kan se att medelvärdet av den slumpmässiga variabeln inte beror på tid på något sätt. Du kan också se att autokovariansen bara beror på offset s, inte på var i serien vi börjar. Vi kan bevisa samma resultat mer generellt genom att börja med, vilket har den alternativa glidande genomsnittsrepresentationen. Tänk först på variansen av z t. Genom rekursiv substitution kan du visa att detta är lika med Summan som vi vet är en konvergent serie så att variansen är ändlig och oberoende av tiden. Kovarianerna är, till exempel, Du kan också se att auto covariances beror endast på de relativa punkterna i tiden, inte den kronologiska punkten i tiden. Vår slutsats från allt detta är att en MA () - process är stationär. För den allmänna MA (q) processen ges autokorrelationsfunktionen av Den partiella autokorrelationsfunktionen kommer att dö ut smidigt. Du kan se detta genom att invertera processen för att få en AR () - process. Om du har antingen MathCAD eller MathCAD Explorer kan du experimentera interaktivt med några av de MA (q) idéer som presenteras här. Mixed Autoregressive - Moving Average Models Definition Anta att t är en okorrelerad sekvens av i. i.d. slumpmässiga variabler med noll genomsnittlig och ändlig varians. Därefter ges en autoregressiv, glidande genomsnittlig orderordning (p, q), ARMA (p, q) av Rötterna hos den autoregressiva operatören måste alla ligga utanför enhetens cirkel. Antalet okända är pq2. P och q är uppenbara. De 2 innehåller processens nivå, m. och variansen av den vita brusperioden, sa 2. Antag att vi kombinerar våra AR - och MA-representationer så att modellen är och koefficienterna normaliseras så att bo 1. Då kallas denna representation en ARMA (p, q) om rötter av (1) alla ligger utanför enhetens cirkel. Antag att y t mäts som avvikelser från medelvärdet så att vi kan släppa en o. då kommer autokovariansfunktionen att härledas från om jgtq då MA-termerna faller ut i förväntan att ge. Det betyder att autokovariansfunktionen ser ut som en typisk AR för lags efter att q dör ut smidigt efter q, men vi kan inte säga hur 1,2,133, q kommer att se ut Vi kan också undersöka PACF för denna klass av modell. Modellen kan skrivas som Vi kan skriva detta som en MA (inf) - process som tyder på att PACF-systemen dö sakta ut. Med några aritmetiska kunde vi visa att detta händer först efter de första p-spikarna som AR-delen bidrar med. Empirisk lag I själva verket kan en stationär tidsserie väl representeras av p 2 och q 2. Om ditt företag ska ge en god approximation till verkligheten och godhet med passform är ditt kriterium, så är en förlorad modell att föredra. Om ditt intresse är prediktiv effektivitet föredras den parsimoniska modellen. Experimentera med ARMA-idéerna som presenteras ovan med ett MathCAD-arbetsblad. Autoregressiv Integrera Moving Average Models MA filter AR filter Integrera filter Ibland är processen eller serierna som vi försöker att modellera inte stationära i nivåer. Men det kan vara stillastående, säg första skillnader. Det vill säga, i sin ursprungliga form kanske autocovariances för serien kanske inte är oberoende av den kronologiska tidpunkten. Om vi ​​bygger en ny serie som är de första skillnaderna i originalserien, uppfyller denna nya serie definitionen av stationäritet. Detta är ofta fallet med ekonomiska data som är högt trender. Definition Antag att z t inte är stationär, men z t - z t-1 uppfyller definitionen av stationaritet. Vid, vid, den vita brusbegreppet har ändamål och varians. Vi kan skriva modellen eftersom det heter en ARIMA (p, d, q) modell. p identifierar AR-operatörens ordning, d identifierar strömmen på. q identifierar MA-operatörens order. Om roten av f (B) ligger utanför enhetens cirkel kan vi skriva om ARIMA (p, d, q) som ett linjärt filter. Dvs. det kan skrivas som en MA (). Vi reserverar diskussionen om detektering av enhetsrotsar för en annan del av föreläsningsanteckningarna. Tänk på ett dynamiskt system med x t som en ingångsserie och y t som en utgångsserie. Diagrammatiskt vi har Dessa modeller är en diskret analogi av linjära differentialekvationer. Vi antar följande relation där b anger en ren fördröjning. Minns det (1-B). Genom att göra denna substitution kan modellen skrivas. Om koefficientpolynomet på y t kan inverteras kan modellen skrivas som V (B) kallas impulsresponsfunktionen. Vi kommer att stöta på denna terminologi igen i vår senare diskussion om vektorautoregressiva. cointegration och felkorrigeringsmodeller. MODELL IDENTIFIKATION Efter att ha bestämt sig för en klass av modeller måste man nu identifiera ordningen för de processer som genererar data. Det vill säga, man måste göra bästa gissningar om AR-och MA-processernas ordning för att driva den stationära serien. En stationär serie kännetecknas helt av sina medelvärden och autocovariances. Av analytiska skäl arbetar vi vanligtvis med autokorrelationer och partiella autokorrelationer. Dessa två grundläggande verktyg har unika mönster för stationära AR - och MA-processer. Man kan beräkna provuppskattningar av autokorrelations - och partiella autokorrelationsfunktioner och jämföra dem med tabulerade resultat för standardmodeller. Provautokovariansfunktion Provautokorrelationsfunktion Provpartiella autokorrelationer kommer att vara Använda autokorrelationerna och partiella autokorrelationer är ganska enkla i princip. Antag att vi har en serie z t. med noll betyder, vilket är AR (1). Om vi ​​skulle köra regression av z t2 på z t1 och z t skulle vi förvänta oss att koefficienten på z t inte skilde sig från noll eftersom denna partiella autokorrelation borde vara noll. Å andra sidan bör autokorrelationerna för denna serie minska exponentiellt för att öka lags (se AR (1) - exemplet ovan). Antag att serien verkligen är ett rörligt medelvärde. Autokorrelationen borde vara noll överallt men vid första fördröjningen. Den partiella autokorrelationen borde dö ut exponentiellt. Även från vår mycket snabba trumma genom grunderna i tidsserieanalyser är det uppenbart att det finns en dualitet mellan AR och MA-processer. Denna dualitet kan sammanfattas i följande tabell.