Eine Schützenscheibe im Aufenthaltsraum des Jugendhaus Walchensee zeigt ein Porträt des bayerischen Märchenkönigs Ludwigs II. In seinem Auftrag wurde das ehemals königlich bayerische Forsthaus Einsiedl im Jahre 1880 errichtet.
Der Walchensee und die umliegenden Wälder waren zu dieser Zeit im Besitz des Hauses Wittelsbach. Für die Jagd und die Holzwirtschaft wurden am See insgesamt drei Forsthäuser gebaut – in Altlach, in Niedernach und in Einsiedl. König Ludwig II. machte bei seinen Besuchen auf dem Altlacher Hochkopf regelmäßig Halt im damaligen Forsthaus Altlach und nutzte die Wiese vor dem Haus für Kabinettssitzungen im Freien. In diesem Rahmen kam er auch direkt an „seinem“ Forsthaus Einsiedl vorbei – ob er dabei seinen königlich bayerischen Forstmeister begrüßte, ist jedoch nicht überliefert.
Unruhig wurde es im Forsthaus Einsiedl in den letzten Tagen des 2. Weltkriegs. Am 24. April 1945 wurden die letzten Reserven der Deutschen Reichsbank dort aufbewahrt, bevor sie auf dem gegenüberliegenden Berg, dem Steinriegl, vergraben wurden – 365 Säcke mit je 2 Goldbarren, 4 Kisten mit Gold, 2 Säcke mit Goldmünzen, 6 Kisten mit dänischen Münzen sowie 94 Säcke mit weiteren Fremdwährungen, vor allem US-Dollars, Schweizer Franken, Britische Pfund und andere. Am 06. Juni 1945 wurde das Versteck von den Alliierten entdeckt; es fehlten 100 Goldbarren, die US-Dollars und die Schweizer Franken. Nach dem Krieg waren bis 1948 Angehörige der US-Armee im Forsthaus Einsiedl einquartiert.
In den 1950er Jahren wurde das Forsthaus gründlich renoviert, zusätzlich wurde im 1. Obergeschoss ein Forstbüro (jetzt Matratzenlager) eingebaut. Ab 1975 wurde das Erdgeschoss vom Staatsforst als separate Ferienwohnung vermietet. 1995 verließ der letzte Förster das Haus. Im November 1999 wurde das Forsthaus Einsiedl unter Denkmalschutz gestellt, kurz bevor die Sanierungs- und Umbauarbeiten zum Jugendhaus begannen. Seit Januar 2000 ist das Haus an den Verein Jugendhaus Walchensee e. V. verpachtet und es kehrte wieder Leben in die historischen Gemäuer ein. Unzählige Jugendgruppen und Vereine – insbesondere aus dem bayerischen Sportschützenbund – machen seitdem regelmäßig Aufenthalt am Walchensee und nutzen das ehemalige Forsthaus Einsiedl für die überfachliche Jugendarbeit.