Im Zusammenhang mit dem regen, seit dem Tode König Ludwigs II. von Bayern möglichen Besuch von Schloss Neuschwanstein und dem deshalb rasch zunehmenden Touristenstrom sah die Aktienbrauerei Kempten eine Gelegenheit, ein neues Haus für den gehobenen Bedarf zu erstellen. Der normale Gast reiste damals mit der Bahn von Biessenhofen an, und er sollte schon vom Bahnhof aus die prächtige mit Erkern und Rundtürmen versehene Westfassade des neuen Hauses sehen können.
- Wir sind der Geschichte vorausgeeilt! -
Die Planung für den neuen Bau erstellte der von München nach Füssen übergesiedelte, als Bauleiter in Hohenschwangau tätige Architekt Rudolf Leinweber. Das Projekt sollte dem Standard der Hohenschwangauer Häuser nicht nachstehen.
Vor Baubeginn musste ein Teil des Kastaniengartens geopfert und der hölzerne Stadel über dem Keller abgebaut werden. Nach guter Tradition wurde dieser Stadel als Schützenheim auf dem Ziegelberg wieder aufgebaut. Der extrem tief gelegene Bierkeller wurde erhalten, obwohl ein Teil der neuen Fundamente schräg über ihn hinweggebaut werden musste. Er diente bis 1954 als Bier- und Weinkeller. Als damals die Sebastianstraße zur Bundesstraße ausgebaut und über den Lech weitergeführt wurde, musste der Keller mit Kies aufgefüllt werden.
Im Jahre 1904 war der Bau mit seinen wundervollen Jugendstilfassaden mit Erkern, Türmchen und Windfahnen vollendet. Die Räume wurden bereits mit Dampfheizung temperiert und auf jeder Etage gab es - welch Luxus - Wasserklosett und Bad. Während die Gasträume im Erdgeschoß mit Gaslicht beleuchtet waren, gab es in allen Hotelzimmern elektrisches Licht.
Erster Direktor des damals als Gasthof klassifizierten Hauses war der international erfahrene (Waldorf Astoria, New York) Josef Schneider, der den »Hirschen« im Jahre 1911 von der Aktienbrauerei kaufte. Im Jahre 1916 heiratete Josef Schneider die verwitwete Sophie Bletschacher vom renommierten »Bamberger Hof« in München, die ihre beiden Söhne Fritz und Max mit nach Füssen brachte.