Weak Convergence and Empirical Processes

with A. W. van der Vaart; March 1996

Review 7: Statistica Italien 46. Pier Luigi Conti, reviewer.

Vaart, Aad van der; Wellner, Jon A. Weak convergence and empirical processes. With applications to statistics. (English) [B] Springer Series in Statistics. New York, NY: Springer, xvi, 508 p. DM 74.00; oeS 540.20; sFr 65.50 (1996). [ISBN 0-387-94640-3]

Negli anni recenti si \'e avuto un considerevole sviluppo di tecniche statistiche non parametriche. Rientrano in questo ambito non solo i tradizionali problemi di stima di funzioni di densita o di regressione (o, piu in generale, quelli di stima di ``curve''), ma anche l'elaborazione di segnali, i metodi per modelli semiparametrici, le tecniche di ceconvoluzione, etc.. Questo sviluppo di nuovi problemi e metodi statistici, spesso studiati da un punto di vista asintotic, ha portato come conseguenza naturale l'emergere di nuove richieste sul versante probabilistico. Problemi statistici nuovi, in altre parole, non sempre ?ono affrontabili con tecniche probabilistiche di tipo "tradizionale". Questo e vero, in particolare, quando ci si occupa di problemi legati all'approssimazione asintotica di distribuzioni di stirnatori di ``curve'', che assumono i lore valori in opportuni spazi di funzioni, ovvero, in termini equivalenti, di convergenza di elementi aleatori a valori in spazi di funzioni. La teori della convergenza debole per elementi aleatori definiti in spazi metrici separabili e completi ha sostanzialmente ricevuco la sua sistemazione definitiva nell'ecclente volume di P. Billingsley (1968) ``Convergence of Probability Measures'' (Wiley, New York), che tuttora costituisce una pietra miliare sull'ar-gomento. Tuttavia, in molti casi di rilevante interresse (sia statistico che probabilistico) si e naturalmente portati a considerare elementi aleatori a valori in spazi metrici non separabili. Caso tipico, non certo esclusivo, e quello della funzione di ripartizione empirica, e del corrispondente processo empirico uniforme. Questo puo essere visto come una funzione aleatoria che assume valori nello spazio D[0,1] delle funzioni continue a detra el limite a sinsta (cadlag), ed e del tutto naturale il suo studio tramite la metrica della convergenza uniforme, ossia la ``distanza di Kolmogorov''. Sfortunatamente, lo spazio D[0,1] dotato di tale metrica risulta essere non separabile. Di conseguenza, il processo empirico uniforme non e Borel-misurabile, e quindi non e trattabile con gli strumenti ``tradizionali'' della convergenza debole. L'altrettanto ``tradizionale'' risposta e stat quella di rinunciare all (naturale)distanza di Kolmogorov, in favore della (innaturale) distanza di Skorokhod. Il prezzo di tale sostituzione e chiaramente quello di complicare enormemente l'intero apparato formale, tanto che nel libro (ad altissimo livello) di J. Jacod e A. N. Shiryaev ``Limit theorems for stochastic proceswses (1987; Springer, New York) si consigilia il lettore di omettere i dettagli relativi alla distanza di Skorokhod-Billingsley, proprio in vista della sua poca naturalezza e della sua non trascurabile difficolta d'uso. A partire dalla fine degli anni '60, di conseguenza, si sono registrati numerosi tentative di construire una differnte aleatori non Borel-misurabili. Il recente volume di van der Vaart e Wellner offre un eccellente approccio al problema. Esso e suddiviso in tre parti, intitolate rispettivamente ``Stochastic Convergence'', ``Empirical Proceses'', e ``Statistical Applications''. Nella prima parte viene presentata una teoria della convergenza debole, essenzialmente basata su recenti lavori di Hoffmann-Jorgensen, che: (I) permette di rinunciare, in larga misura, all'assunzione di Borel-misurabilita (quello che si richiede e una ``misurabilita asintotica'', ossia la Borel-misurabilita dell'elemento aleatorio limite) (II) si riduce alla teoria ``tradizionale'' nel caso di elementi aleatori Borel-misurabili. L'esposizione e chiara e ``autocontenuta'', e in larga parte e solta in maniera abbastanza simile a quella tradizionale. La maggiore variazione e dovuta al fatto che ci si basa sulla misura esterna e sul corrispondente ``integrale esterno'', e questo porta a sua volta, a variaioni nell'enunciato e nella dimostrazione di alcuni risultati chiave (la nozione di ``tightness'' e il teorema di Prokhorov, in primo luogo). Il risultato piu importnate e il teorema di continuita, contenuto nel Capitolo 1.11. Molto apprezazabile e ache l'dea di includere un analogo dei teorema di rappresentaziione di Skorokhod, che si revela utile in problemi di statistica asintotica. L seconda parte e dedicata a problemi di convergenza debole per processi empirici. Questi, generati inizialmente (alla fine degli anni '40) da problemi di statistica non parametrica, sono rapidamente diventati n soggetto autonomo di teoria della probabilita. Nel volume di van der Vaart e Wellner sono trattati processi empirici del tutto generali, a indice funzionale. Sulla base di una tradizione ormai consolidata, vengono inizialmente studiate leggi di grandi numeri per processi empirici, che costituiscono generalizzazioni del classico teorema di Glivenko-Cantelli sulla convergenza uniforme quasi certa della funzione di ripartizione empirica a quella teorica. In sequito viene studiata la convergenza debole di processi empirici a quella teorica. In sequito viene studiata la convergenza debole di processi empirici (teoremi di tipo-Donsker). L'intera trattazione si basa sull'idea (non certo nuova, ma assai chiaramente esposta e sviluppata) di utilizzare l'entrop[ia e la recnica di bracketing (o meglio, i cosidetti ``numeri di entropia uniforme'' e ``numeri de bracketing''). Le ipotesi di base su queste quantita sono verificate mediante un fondamentale strumento: le ``classi di Vapnik-Cervonenkis'', che costutiscono il modo ``naturale'' per indicizzare processi empirici. Esse vengono introdotte sia nel caso di classi di insiemi che in quello di classi di funzioni (di rilevante interesse per la statistica). Dai (Dal?) Risultati ottenuti non si possono dedurre, a parte alcune eccezioni, risultati ben noti sul teorema limite centrale per funzioni aleatorie a valori in spzi di Banach, fatto a cui si accenna brevemente nella Sezione 2.1.4. Infine, la terza parte e dedicata alle applicazioni statistiche degli argomenti sviluppari nelle prime due parti Tali applicazioni sono particolarmente importanti, e quji di seguito ne e dato un breve elenco. (I) Theoria asintotica per M-stimatori (a valori in spazi di funzioni (consistenza, distribuzione asintotica, velocita de convergenza): (II) Teoremi limite per versioni bootstrap di processi empirici. Questi sono particolarmente utili nello studio di distribuzioni limite di statistiche-test ( di bonta di adattamento, di indipendenza, ... ) e soprartutto nell'approssimazione dei corrispondenti quantili, non ottenibili, a parte pochissime eccezioni, per via analitica. (III) Metodo delta funzionale in condizioni di Hadamard-differenziabilita, in cui sono riportati molti risultati recenti sull'argomento. E anche inclusa una breve discussione sulla Frechet-differenziabilita e sulla sua utilita in problemi di velocita di convergenza. (IV) continuita di misure di probabilita, con applicazioni al problema del punto di cambiamento (change point problems). (V) Tecniche di convoluzione-deconvoluzione, e problemi minimax. Tra le possibili applicazioni non menzionare nel testo vi sono anche quelle alla consistenza di leggi a posteriori nella statistica Bayesiana non parametrica, che fanno ampio uso di tecniche basate sui numeri di bracketing e, piu in generale, di metodi usati nella teoria del processi empirici. A nostro avviso il maggior merito degli Autori e quello di aver raccolto in modo coerente nello stesso volume non solo gli aspetti piu moderni della teoria del processi empirici, ma anche le loro applicazioni alla statistica. In questo modo lo studio dei processi empirici, che negli unltimi quindici anni erano stati trattati a livello di ricerca come un soggetto probabilistico autonome, ``disidratato'' di ogni applicazione statistica, risulta meglio motivato, e piu appetibile per tutti coloro che vogliano dedicarsi allo studio della statistica matematica non parametrica. Per concludere, si tratta sicuramente di un libro di altissimo livellok necessario per tutti coloro che si dedicano alla ricera nel campo della statistica non parametrica. Pier Luigi Conti

Translation by Enrica Bellone

Recently, there has been a considerable development of non-parametric statistical techniques. This field includes not only the traditional problems of estimation of density or regression functions (or, more generally, those of "curve" estimation), but also signal processing, the methods for semiparametric models, deconvolution techniques, etc.. This development of new statistical problems and methods, often studied from an asymptotic point of view, has brought up, as a natural consequence, new needs on the probabilistic side. In other words, it is not always possible to approach new statistical problems with "traditional" probabilistic techniques. This is true, in particular, when one deals with problems linked to the asymptotic distribution of estimators of curves, which take on values in appropriate function spaces, or, equivalently, with the convergence of random elements that take on values in function spaces. The theory of weak convergence for random elements defined on complete and separable metric spaces has received its final organization in the excellent volume by P. Billingsley (1986) {\em Convergence of Probability Measures} (Wiley, New York), which still represents a mile stone on the topic. However, in many cases of (both statistical and probabilistic) interest, one would naturally consider random elements that take on values in non separable metric spaces. A typical case, definitely not the only one, is the case of the empirical distribution function and of the corresponding uniform empirical process. The latter can be seen as a random function that takes on values in the $D[0,1]$ space of right continuous - left limit functions and it is natural to study it through the metric of uniform convergence, i.e. the ``Kolmogorov distance''. Unfortunately, the $D[0,1]$ space with this metric is not separable. Consequently, the uniform empirical process is not Borel-measurable, thus it cannot be addressed with the ``traditional'' tools of weak convergence. The equally ``traditional'' answer has been to drop the (natural) Kolmogorov distance in favor of the (unnatural) Skorokhod distance. The price for this substitution is clearly a major complication of the entire formal apparatus, so that in the book by J. Jacod and A.N. Shiryaev {\em Limit Theorems for Stochastic Process} (1987; Springer, New York) the reader is advised to skip the details of the Skorokhod-Billingsley distance, since it is not natural and it is considerably difficult to use. Consequently, starting from the end of the '60's there have been numerous attempts at constructing a different theory of weak convergence that could deal also with non Borel-measurable random elements. The recent volume by Van der Vaart and Wellner offers an excellent approach to the problem. It is divided into three parts, titled {\em Stochastic Convergence}, {\em Empirical Process} and {\em Statistical Applications} respectively. The first part introduces a theory of weak convergence, essentially based on recent works by Hoffmann-Jorgensen, which:

The exposition is clear and ``self-contained'' and mostly developed according to the traditional manner. The biggest variation is due to the fact that the bases are the outer measure and the corresponding ``outer integral'' and this involves changes in the claim and proof of some key results (firstly the notion of tightness and Prokhorov theorem). The most important result is the contiguity theorem in Chapter 1.11. The idea of including an analogue of Skorokhod's representation theorem, which turns out useful in asymptotic statistics problems, is also very valuable. The second part is devoted to problems of weak convergence for empirical processes. These problems, initially generated (at the end of the '40's) by problems in non-parametric statistics, have rapidly become an autonomous subject (?) of probability theory. The volume by Van der Vaart and Wellner deals with completely general empirical processes, with functional index. On the basis of a now established tradition, it first studies the laws of large numbers for empirical processes, which are generalizations of the classical Glivenko-Cantelli theorem on almost sure convergence of the empirical distribution function to the theoretical one. Then, it studies the weak convergence of empirical processes (Donsker-type theorems). This entire work is based on the idea (definitely not new but very clearly exposed and developed) of using entropy and the bracketing technique (or better the so called ``uniform entropy numbers'' and ``bracketing numbers''). The main assumptions on these quantities are verified through a fundamental tool: the ``Vapnik-Cervonenkis classes'' which are the natural way of indexing empirical processes. They are introduced both in the case of classes of sets and in the case of classes of functions (of considerable interest for statistics). From the results obtained, one cannot derive, apart from some exceptions, well-known results on the central limit theorem for random functions that take on values in Banach spaces, as briefly mentioned in Section 2.1.4. Finally, the third part is devoted to statistical applications of the topics developed in the first two parts. Those applications are particularly important; a brief list of them follows.

Among the possible applications that are not mentioned in the book are those concerning the consistency of posterior distributions in non-parametric statistics. These applications make a large use of techniques based on bracketing numbers and, more generally, of methods typical of the empirical process theory. We think that the Authors' greatest achievement is the coherent collection in the same volume not only of the most modern aspects of the theory of empirical processes, but also of their applications to statistics. As a result, the study of empirical processes, which in the last 15 years have been addressed by research as an autonomous probabilistic subject alien to any statistical application, is better motivated and more appealing for anybody who wants to study non-parametric mathematical statistics. In conclusion, this is definitely a very high quality book, necessary for any researcher in the field of non-parametric statistics. \end{document}