Distributed learning for kernel mode–based regression.

Canadian Journal of Statistics. Jun2025, Vol. 53 Issue 2, p1-24. 24p.

*Statistical learning, *Approximation error, *Kernel functions, *Least squares, *Data analysis

We propose a parametric kernel mode–based regression built on the mode value, which provides robust and efficient estimators for datasets containing outliers or heavy‐tailed distributions. To address the challenges posed by massive datasets, we integrate this regression method with distributed statistical learning techniques, which greatly reduces the required amount of primary memory and simultaneously accommodates heterogeneity in the estimation process. By approximating the local kernel objective function with a least squares format, we are able to preserve compact statistics for each worker machine, facilitating the reconstruction of estimates for the entire dataset with minimal asymptotic approximation error. Additionally, we explore shrinkage estimation through local quadratic approximation, showcasing that the resulting estimator possesses the oracle property through an adaptive LASSO approach. The finite‐sample performance of the developed method is illustrated using simulations and real data analysis. [ABSTRACT FROM AUTHOR]

Résumé: L'auteur de ce travail propose une régression paramétrique basée sur la valeur modale d'un estimateur à noyau, permettant de construire des estimateurs robustes et efficaces pour les jeux de données contenant des valeurs aberrantes ou des distributions à queue lourde. Pour traiter les ensembles de données massifs, cette méthode est intégrée aux techniques d'apprentissage statistique distribué, réduisant ainsi la mémoire primaire requise tout en gérant l'hétérogénéité du processus d'estimation. En approximant la fonction objective locale du noyau par une méthode des moindres carrés, l'auteur parvient à conserver des statistiques compactes pour chaque machine, facilitant la reconstruction des estimations avec une erreur d'approximation asymptotique minimale. L'exploration de l'estimation par rétrécissement via une approximation quadratique locale démontre que l'estimateur résultant possède la propriété d'oracle grâce à une approche LASSO adaptative. Enfin, la performance de cette méthode est illustrée par des simulations et une analyse de données réelles. [ABSTRACT FROM AUTHOR]

Copyright of Canadian Journal of Statistics is the property of Wiley-Blackwell and its content may not be copied or emailed to multiple sites or posted to a listserv without the copyright holder's express written permission. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.)