El objetivo de la serie de entradas que comienza aquí es el de hacer un repaso por los fundamentos matemáticos que hay detrás del concepto de aprendizaje que nos encontramos habitualmente en áreas tan actuales como el Aprendizaje Estadístico o el Machine Learning (Aprendizaje Automático). Intentaremos presentar un marco base unificado a ambas teorías, de forma que se vea cómo cada una de ellas añade un conjunto de suposiciones adicionales a esta base (y algunas diferencias de enfoque propios de cada disciplina y los investigadores que las componen) e intentaremos, en la medida de lo posible, atacar nuestro objetivo con la ambiciosa pretensión de que el marco sea lo suficientemente general como para abarcar los distintos tipos de aprendizaje que se vienen considerando en la literatura.
En esta entrada presentaremos la motivación del problema de aprendizaje de forma muy general, y daremos el marco matemático (el de espacios de probabilidad) sobre el que montaremos el formalismo necesario para hablar de aprendizaje desde el punto de vista matemático.
Da comienzo la segunda temporada del Seminario (I+A)A (
Se habla mucho acerca de la tiranía a la que estamos sometidos en el mundo académico por el sistema de publicaciones existente, basado fundamentalmente en el monopolio de unas cuantas editoriales que gestionan la transmisión del conocimiento producido, pero no es la única tiranía relacionada con ellas... en esta entrada se indican algunas otras formas derivadas que, juntas, forman un triunvirato que, por desgracia, condiciona la forma en que se desarrolla la investigación actual.
El procedimiento utilizado para llevar a cabo el proceso de aprendizaje en una red neuronal se denomina entrenamiento. Aunque hay uno, el del Gradiente Descendiente, que popularmente se impone sobre los demás por su facilidad y extensión de uso, hay muchos otros que pueden resultar interesantes, presentando diferentes características y rendimiento que los pueden hacer más adecuados dependiendo de las características del problema concreto al que nos enfrentemos. En esta entrada haremos un breve recorrido por los algoritmos que hacen uso de aproximaciones numéricas basadas en propiedades diferenciales para conseguir optimizar (minimizar) la función de error. En concreto, nos centraremos en aquellos que realizan mejoras sobre el método del Gradiente Descendiente.
This NetLogo model is a toy tool to launch experiments for Complex Networks.
The moment one gives up symbolic manipulation as a major motive for using differential equations, one starts wondering whether one should still keep them as the starting point for numerical modeling. In fact, they lead to concrete numerical computation that is at least three levels removed from the physical world that they try to represent. That is, first (a) we stylize physics into differential equations, then (b) we force these equations into the mold of discrete space and time and truncate the resulting power series, so as to arrive at finite-difference equations, and finally, in order to commit the latter to algorithms, (c) we project real-valued variables onto finite computer words. At the end of the chain we find the computer -- again a physical system, isn't there a less roundabout way to make nature model itself? (
