Наверное, главное дело в жизни фон Райтенау то, отчего монахи просто пошли «в разнос» и начали строчить ябеды во все инстанции. Несмотря на целибат (обет безбрачия, положенный по сану), епископ завёл семью с дочерью местного купца Саломеей Альт.
Конечно, учитывая сан «жениха», брак этот был не освящён и не узаконен. Священникам той поры запрещалось только жениться, а вот содержать любовниц — это хоть целый гарем, на сколько хватит денег и здоровья. Назывались эти сожительницы изящным словом «конкубины». Вот только дети от таких связей считались незаконнорожденными, со всеми вытекавшими тогда последствиями. А их у Вольфа и Саломеи за 25 лет совместной жизни народилось аж 15 душ (выжило 10). Но епископ оказался трепетно любящим отцом и супругом, и позаботился обезопасить будущее своей семьи. Он добился, чтобы император Рудольф II подписал жалованную грамоту на пожизненное наследуемое дворянство Саломее и всем детям. А чтобы клерикальные монахи не докучали семье, он повелел на правом берегу Зальцаха (тогда это — за городом) выстроить дворец и разбить вокруг него сад. Назвал он его «Альтенау» — в честь своей любимой. Ну, и чтобы уж совсем осадить ретивых монахов и указать «кто есть кто», повелел снести в городе все башни, с которых мог бы просматриваться внутренний двор этого дворца и сад.
В Мирабель замок был переименован при печальных обстоятельствах: в 1612 году племянник князя-архиепископа (по другим данным — двоюродный брат) Маркус Ситтикус фон Хоэнемс (1612−1619) отстранил его от власти и отправил в крепость Хоэнзальцбург, где тот содержался в строгом одиночном заключении до самой своей смерти в 1617 году.
Умирая, архиепископ произнёс: «amor est principium doloris» (любовь есть страданий начало (лат.)
Маркус Ситтикус фон Хоэнем изгоняет Саломею с детьми из Зальцбурга и дворец становится постоянной резиденцией Зальцбургского архиепископа. Чтобы искоренить память о «позорных» деяниях своего родственника, Маркус Ситтикус приказал переименовать замок в Дворец Мирабель (от итал. «mirabile» — удивительный, чудесный).