War erstmals von der Au im Hart die Rede. Bisher hatte sie als Lehen der Fraumünsterabtei den Leuten von Wipkingen gehört. Das Landstück war aber für die Wipkinger nur dann von Bedeutung, wenn es von ihrer Seite her mühelos über eine Brücke oder durch eine Furt erreichbar war. Dieser Übergang dürfte das Zürcher Rittergeschlecht der Manesse bewogen haben, dort einen festen Turm zu bauen.

Gleichzeitig bildete dieser Wehrbau auf dem linken Limmatufer den nördlichen Abschluss der Letzi, einer äusseren Stadtbefestigung, die sich bis zur Burg Friesenberg hinzog.

Die Manesse, die als erste bekannte Turmbesitzer überliefert sind, übernahmen möglicherweise die Aufgabe, den Limmatübergang zu bewachen. Ihm gehörten auch die Burg Manegg bei Leimbach sowie zwei Türme in der Stadt Zürich (Manesseturm, und das Steinhaus oben an der Kirchgasse.)

Beim Brunschen Umsturz von 1336 versprach der Turmbesitzer ausdrücklich, Turm und Brücke für niemand offen zu halten.

Zu Beginn des 15 Jh. gaben die Manesse den Turm im Hard auf. In Folge erscheinen verschiedene wohlhabende Zürcher Familien als Besitzer des Turms (Schwend, Escher und Schmid.)