Строительство внушительного замка Oberhaus (Верхний замок) началось в 1219 году, по распоряжению епископа Ульриха II. Замок поставили напротив Старого города на скалистом дунайском обрыве — горе Святого Георгия. Основные строения замка включают готические здания и часовню. Niederhaus (Нижний замок) соединен с Верхним галереей, спускающейся от многоугольной башни.
Строительство Нижнего замка началось в 1250 году на намывной косе между реками Инн и Ильз. Оба замка, с годами расширявшиеся и укреплявшиеся, символизировали власть церкви над городом. Это место очень часто рекомендуют посетить всем, кто бывает в Пассау. Но перед этим, убедитесь, что у вас установлен багажник thule на крышу, так как на нем очень удобно перевозить крупногабаритные предметы и вещи.
Теперь в Верхнем замке размещается исторический музей. На пути к башне обсерватории стоит «Дурак из Пассау» (Passauer Tolpel) — большая голова с глупым выражением лица. Это остаток статуи Святого Стефана (около 1370 года), упавшей с кафедрального собора во время Великого пожара 1662 года. Нижний замок, нынешний облик которого датируется 1444 годом, в 1890-1907 годах был домом для художника Фердинанды фон Вагнера. Вагнер наполнил его старинной мебелью и своими картинами. Теперь это частный дом, закрытый для посетителей.
