Stochastische Matrix/Verteilungsvektor/Bild ist Verteilungsvektor/Aufgabe/Lösung

Es sei

spaltenstochastisch, also und für alle und es sei ein Verteilungsvektor, also und . Wegen der Nichtnegativität aller Einträge hat auch der Bildvektor nichtnegative Einträge. Ferner ist