samedi 30 juillet 2022

 https://fr.wikipedia.org/wiki/R%C3%A9gression_lin%C3%A9aire

 

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives.

On parle aussi de modèle linéaire ou de modèle de régression linéaire.

Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

En général, le modèle de régression linéaire désigne un modèle dans lequel l'espérance conditionnelle de y connaissant x est une fonction affine des paramètres. Cependant, on peut aussi considérer des modèles dans lesquels c'est la médiane conditionnelle de y connaissant x ou n'importe quel quantile de la distribution de y connaissant x qui est une fonction affine des paramètres1.

Le modèle de régression linéaire est souvent estimé par la méthode des moindres carrés mais il existe aussi de nombreuses autres méthodes pour estimer ce modèle. On peut par exemple estimer le modèle par maximum de vraisemblance ou encore par inférence bayésienne.

Bien qu'ils soient souvent présentés ensemble, le modèle linéaire et la méthode des moindres carrés ne désignent pas la même chose. Le modèle linéaire désigne une classe de modèles qui peuvent être estimés par un grand nombre de méthodes, et la méthode des moindres carrés désigne une méthode d'estimation. Elle peut être utilisée pour estimer différents types de modèles. 

 

https://www.youtube.com/watch?v=99N2Th67oso

 

Bayesian for kids!:l

https://www.youtube.com/watch?v=CcnLnKU26dg

 

 

 

 

 

vendredi 29 juillet 2022

 

 

Conversation sur Casus No:

 

Si tu as une vision dialectique (Hegel, entre autres) de l'Histoire humaine, une sinusoïde ne va pas (même "ascendante"), car elle garderait trop de "linéarité" - faisant se succéder des phases ascendantes et descendantes allant quand même de l'avant - tandis qu'en dialectique historique, le moment de la "crise" n'est pas juste un ralentissement ou une baisse, mais une vraie "régression", voire une "négation"- vrai "retour en arrière" ou annulation apparente complète du progrès accompli (c'est le moment où on désespère de l'humanité, qu'on se dit que décidément on n'a rien appris: la guerre, la crise économique, la barbarie "reviennent"!), que le Mouvement de l'Mistoire va cependant devoir "surmonter" et "intégrer", pour une nouveau "progrès" vers la "réalisation de l'esprit" - donc la courbe serait plutôt de cette sorte: une cycloïde trochoïde !

Plus ou moins allongée…


Image


Et je trouve un schéma qui colle assez bien: orienté vers le haut pour illustrer l'optimisme en le Progrès! - et avec des "boucles" qui se touchent pour montrer le "retour" permanent du "passé dans le présent" (le "régressif" étant souvent le "réactionnaire" - engendrant la "révolution" suivante, mais là c'est du Marx).

Image

Ah, et tant que j'y suis! :mrgreen: Et si on n'est pas vraiment "zoptimisse" :P , mais plutôt fataliste, ou "fixiste", donc qu'on refuse la notion de "Progrès", que sans être catastrophiste on a plutôt l'impression que "c'est toujours la même chose de toute façon", que ça ne progresse pas notamment sur le plan moral, que l'humanité se contente de brasser, dans le cercle étroit de son réel, quatre ou cinq obsessions ou idées de base, qui s'imposent un temps, prospèrent, puis dégénèrent ou passent de mode, puis reviennent comme si c'était du neuf, et qu'en fait on n'a rien appris, et pas changé depuis les romains ou la préhistoire? (là on serait plus proche de Nietzsche: une "histoire" vraiment cyclique, à la fois logique et vouée aux crises, mais récurrente, sans échappatoire - sauf individuel peut-être?). Bref, ça tombe bien: je propose alors cette figure d'hypotrochoïde! (jolie animation sur wikipedia)

https://fr.wikipedia.org/wiki/Hypotrocho%C3%AFde

Image


(C'est en gros emprunté à Paul Valery, qui pique l'idée à Nietzsche, et le sociologue Georg Simmel, que j'aime bien, appellait ça, vers 1920 : "la Tragédie de la Culture")

Le cercle bleu, c'est le "champ du possible", le réel quoi; la ligne rouge cycloïde, c'est la pensée humaine.
Quand la ligne rouge sort du cercle bleu, c'est quand la pensée humaine fait une percée dans un domaine, invente une idée, un concept innovant: alors cela devient une création culturelle, qui élargit (en apparence) le domaine du possible: c'est un moment "haut" de l'humanité (genre: Rome, renaissance Italienne, etc… - en fait, tout ce qui laisse une marque culturelle dans l'histoire).
Mais, hélas, tout ce qui a connu un sommet ensuite décline et dégénère: les gens se lassent, ça devient ringard, ou, pire, on se rend compte qu'en fait "ce n'était pas une si bonne idée que ça" (exemples: l'esclavage, l'usage du charbon, etc…). Alors la pensée va dans un "autre sens" à partir du donné, et croit alors inventer "complètement autre chose": c'est une autre pointe de l'étoile (exemple: manger du steak vs devenir vegan).
La "Tragédie" de tout ça, c'est que ça ne va durer qu'un temps, cette nouvelle "mode": on va avoir envie de "revenir en arrière", ou plutôt d'essayer cumuler les deux: c'est la 3ème pointe.
Comme ce sera insatisfaisant (incompatibilité du compromis!) bing, ça repart dans un autre sens (quatrième pointe, selon une logique "réactionnaire"!), mais comme le processus est épuisant, et que la pensée ne peut jamais longtemps se tenir "hors du cercle du réel", finalement on va revenir en gros au point de départ: revival, ou backlash, et surtout re-enfonçage de portes ouvertes: en fait, on "redécouvre la sagesse des anciens", ce genre d'âneries. :mrgreen:
Alors oui, pour compliquer, il y a eu parfois un petit décalage, mais pas un "progrès": c'est une boucle, où on sera passés par une série de thèses et d'antithèses, où les mêmes questions se reposent de façon répétitive et cyclique, le tout pour se retrouver en gros pas plus avancés…et toujours "renvoyés au réel" !

 

 

 

Jean Baudrillard, Coool Memories (1980-90), relu:

 

Le problème actuel de la classe politique, c'est qu'il ne s'agit plus de gouverner, mais d'entretenir l'hallucination du pouvoir, ce qui exige des talents très particuliers. Produire le pouvoir comme illusion, c'est comme de jongler avec des capitaux flottants, c'est comme de danser devant un miroir.

Et s'il n'y a plus de pouvoir, c'est que toute la société est passée du côté de la servitude volontaire. Cette mystérieuse figure, sur laquelle on s'est interrogé depuis le XVIe siècle, n'est plus un mystère désormais, puisqu'elle est devenue la règle générale. Mais d'une façon étrange : non plus comme volonté d'être serf, mais comme chacun devenu serf de sa propre volonté. Sommé de vouloir, de pouvoir, de savoir, d'agir, de réussir, chacun s'est plié à tout cela, et la visée du politique a parfaitement réussi : chacun de nous est devenu un système asservi, auto-asservi, ayant investi toute sa liberté dans la volonté folle de tirer le maximum de lui-même.

 

 

 

 

 

 

dimanche 13 février 2022

 Sur les bias de confirmation, le "bias du survivant":

 

https://fr.wikipedia.org/wiki/Biais_des_survivants?uselang=fr

 

Certain portrayals of disability, such as inspiration porn (where disabled people are able to do ordinary things) and supercrip stereotype (where disabled people do extraordinary things) could be inferred to mean barriers don't exist or that there are no special needs. The media portrayal of successful examples may be cherry picking; many of other people with similar conditions who do not get suitable employment, remain unnoticed. 

https://en.wikipedia.org/wiki/Survivorship_bias#In_studies_of_evolution

 

The push of the past is a type of survivorship bias associated with evolutionary diversification when extinction is possible. Groups that survive a long time are likely to have “got off to a flying start”,and this statistical bias creates an illusion of a true slow-down of diversification rate through time.  

https://en.wikipedia.org/wiki/Push_of_the_past

 

 Courbes de survivabilité:

 

 

 

In mathematics, ergodicity expresses the idea that a point of a moving system, either a dynamical system or a stochastic process, will eventually visit all parts of the space that the system moves in, in a uniform and random sense. This implies that the average behavior of the system can be deduced from the trajectory of a "typical" point. Equivalently, a sufficiently large collection of random samples from a process can represent the average statistical properties of the entire process. Ergodicity is a property of the system; it is a statement that the system cannot be reduced or factored into smaller components. Ergodic theory is the study of systems possessing ergodicity.

Ergodic systems occur in a broad range of systems in physics and in geometry. This can be roughly understood to be due to a common phenomenon: the motion of particles, that is, geodesics on a hyperbolic manifold are divergent; when that manifold is compact, that is, of finite size, those orbits return to the same general area, eventually filling the entire space.

Ergodic systems capture the common-sense, every-day notions of randomness, such that smoke might come to fill all of a smoke-filled room, or that a block of metal might eventually come to have the same temperature throughout, or that flips of a fair coin may come up heads and tails half the time. A stronger concept than ergodicity is that of mixing, which aims to mathematically describe the common-sense notions of mixing, such as mixing drinks or mixing cooking ingredients.

The proper mathematical formulation of ergodicity is founded on the formal definitions of measure theory and dynamical systems, and rather specifically on the notion of a measure-preserving dynamical system. The origins of ergodicity lie in statistical physics, where Ludwig Boltzmann formulated the ergodic hypothesis.



The Texas sharpshooter fallacy is an informal fallacy which is committed when differences in data are ignored, but similarities are overemphasized. From this reasoning, a false conclusion is inferred.[1] This fallacy is the philosophical or rhetorical application of the multiple comparisons problem (in statistics) and apophenia (in cognitive psychology). It is related to the clustering illusion, which is the tendency in human cognition to interpret patterns where none actually exist.

The name comes from a joke about a Texan who fires some gunshots at the side of a barn, then paints a shooting target centered on the tightest cluster of hits and claims to be a sharpshoote

 

Bayesian probability is an interpretation of the concept of probability, in which, instead of frequency or propensity of some phenomenon, probability is interpreted as reasonable expectationrepresenting a state of knowledgeor as quantification of a personal belief.

The Bayesian interpretation of probability can be seen as an extension of propositional logic that enables reasoning with hypotheses;that is, with propositions whose truth or falsity is unknown. In the Bayesian view, a probability is assigned to a hypothesis, whereas under frequentist inference, a hypothesis is typically tested without being assigned a probability.

Bayesian probability belongs to the category of evidential probabilities; to evaluate the probability of a hypothesis, the Bayesian probabilist specifies a prior probability. This, in turn, is then updated to a posterior probability in the light of new, relevant data (evidence).The Bayesian interpretation provides a standard set of procedures and formulae to perform this calculation.

The term Bayesian derives from the 18th-century mathematician and theologian Thomas Bayes, who provided the first mathematical treatment of a non-trivial problem of statistical data analysis using what is now known as Bayesian inference. Mathematician Pierre-Simon Laplace pioneered and popularized what is now called Bayesian probability.

 

The availability heuristic, also known as availability bias, is a mental shortcut that relies on immediate examples that come to a given person's mind when evaluating a specific topic, concept, method or decision. The availability heuristic operates on the notion that if something can be recalled, it must be important, or at least more important than alternative solutions which are not as readily recalled. Subsequently, under the availability heuristic, people tend to heavily weigh their judgments toward more recent information, making new opinions biased toward that latest news.

The availability of consequences associated with an action is positively related to perceptions of the magnitude of the consequences of that action. In other words, the easier it is to recall the consequences of something, the greater those consequences are often perceived to be. Most notably, people often rely on the content of their recall if its implications are not called into question by the difficulty that they experience in bringing the relevant material to mind.[4]