Projekt:IT Nomaden/Information

Measurement the Uncertain

i sind die Zustände des Systems, $p_{i}$ sind die subjektiven Wahrscheinlichkeiten mit der das Subjekt glaubt in diesem Zustand zu sein. Die Shannon Entropie aus der Informationstheorie ist dann:

$S=\sum _{i=1}^{N}p_{i}log(p_{i})$

$p_{i}$ ist Null, falls das Individuum mit Sicherheit weiß in dem Zustand i zu sein.

Die Zustände bilden den Möglichkeitsgrund der Wirklichkeit. Das Individuum kennt die Wahrscheinlichkeiten der Zustände i.A. nicht. Es kann aber die Unsicherheit verkleinern, falls es neue Informationen erhält.

Die Zustände bilden ein metaphysisches Weltsystem. Konkurrierende metaphysische sind ein Problem. Durch das Konzept der relativen Entropie handhaben wir dieses Problem. Es seien zwei Wahrscheinlichkeitsverteilungen der zwei metaphysischen Systeme P(x) und Q(x)

$D(P\parallel Q)=\sum _{x}P(x)log{\frac {P(x)}{Q(x)}}$

Die relative Entropie ist i.A.nicht symmetrisch,

$D(P\parallel Q)=D(Q\parallel P)=$

Beide Verteilungen P und Q sind erklärt über denselben Alphabet.

In der Evolutionstheorie erklären wir den Menschen als Subsystem innerhalb der Evolution, also sind auch Informationen ein Produkt der Evolution, das die Fitness des Subjektes verbessert.

Evolutionstheorie beschreibt nichtlineare Prozesse. Trotzdem werden wir hier eine Linearisierung vornehmen.

$I=S\cdot F(\zeta )=\sum _{i=1}^{N}p_{i}log(p_{i})\cdot F(\zeta )$

F ist die Fitneßfunktion. F soll folgende Forderungen erfüllen

• strebt gegen 0 falls die Fitness der Information gegen Null geht
• strebt gegen die Shannon Entropie falls die Fitness der Information gegen Unendlich geht
• negativ falls die Fitneß negativ wird

Diese Definition hat Vorteile, es ist ein objektiver Ausdruck für den Informationswert, keine subjektive Wahrscheinlichkeit.

Die Interaktionen mit der Umwelt sind nicht abhängig von der Verteilung.

Wir können auch negative Fitneß modellieren.

Wir erhalten einen qualitativen Faktor als freien Parameter für die Simulation kognitiver Prozesse.

Damit sollten sich kulturelle Ströme behandeln lassen.

$F(\zeta )=1-e^{-\zeta }$

Quelle

Adaption Measurement based on the Information Transfer

Quelle

$H=\sum _{i=1}^{N}p_{i}log(p_{i})$

$H=\sum _{i=1}^{n}\sum _{j=0}^{m}p(i,j)\cdot log(p(i,j))$

$I(X:Y)=H(X)+H(Y)-H(X,Y)$

$A((X:Y)_{t,p},(X:Y)_{t,q}=I(X:Y)_{t,p}-I(X:Y)_{t,q}$

Harley's Formel

$I=log(N)$

Informationsmege I

$I_{y}=I_{1}-I_{2}=log(N_{1})-log(N_{2})$

Wahrscheinlichkeit p statt N

$I=log({1 \over P})$

$I_{y}=log({P_{2} \over P_{1}})$

$A\in {x_{1},x_{2},...}$ mit x_i als Events

$B={y_{1},y_{2},...}$ Y meint die Zufallsvariable aus den Sätzen oder Mitteilungen aus B. Es gibt für jede Miteilung $y_{i}$ eine Teilmenge $A_{i}\subset A$ mit

Fish covering information formula:

$y_{i}$ "$=x_{i}\in A_{i}$" oder Fisch wird überdeckt von $A_{i}$.

$P(x_{i}\|y_{i})=P(x_{i}\|x_{i}\in A_{i})=P(x_{i}\|x_{i}\in A_{i}mitgeteilt)$

$P(x_{i}\|A_{j})=P(x_{i}\|x_{i}\in A_{j})=P(x_{i}\|x_{i}\in A_{j}wahr)$

$I(x_{i};y_{i})=log[P(x_{i}\|y_{i}/P(x_{i})]$