Als die ersten Bauarbeiter im Jahr 1910 mit dem Bau der Direktorenvillen für das Rasselsteinwerk auf dem Weißen Berg begannen, blickte das Eisenwerk auf dem Rasselstein bereits auf eine 150-jährige unternehmerische Geschichte zurück. Das eisen und Hammerwerk an der Wied, das Heinrich Wilhelm Remy 1760 vom Grafen zu Wied gepachtet hatte, hatte sich innerhalb dieser Zeit zum industriellen Motor des Neuwieder Beckens und mit 1400 Mitarbeitern zum größten Arbeitgeber der Region entwickelt. Vom Rasselstein waren in der Vergangenheit schon wichtige technische Impulse ausgegangen: Hier wurden 1769 die ersten deutschen Stahlbleche gewalzt, 1824 ging das erste Puddelstahlwerk in Betrieb, 1835 wurden die Schienen für die erste Eisenbahnstrecke von Nürnberg nach Fürth gewalzt und 1883 wurde hier erstmals in Deutschland eine Klein-Bessemer-Birne angestochen.
Die Rasselsteiner Eisenwerks-Gesellschaft hatte kontinuierlich metallverarbeitende Werke in das Neuwieder Becken nachgezogen und damit einen bescheidenen Wohlstand in die bis dahin vorwiegend landwirtschaftliche Region gebracht. Rasselstein selbst hatte bis dahin selbst viele Höhen und Tiefen durchlaufen. Erst seit der Gründung des „Weißblechs-Verkaufscomptoires“ 1862 in Köln und der Errichtung von Einfuhr-Schutzzöllen in der Bismarckzeit waren die Produktion und der Absatz rasant gestiegen. Das Weißblechverkaufscomtoir war ein Verkaufskartell von sechs Weißblech-Herstellern zur Abstellung des gegenseitigen Wettbewerbs und zur Ausschaltung der ausländischen, meist englischen Konkurrenz. Dass gleichzeitig die Preise für Weißblech genauso dramatisch fielen, war für die innovationsfreudigen Rasselsteiner nur eine Herausforderung zur zielstrebigen Modernisierung und damit zur Sicherung des Unternehmens. Zusätzlich erlebte des Rasselstein durch den Wegfall der englischen Konkurrenz in den Jahren vor dem Ersten Weltkrieg einen weiteren Aufschwung. Als 1911 Segendorf und Niederbieber zu einer politischen Gemeinde vereint wurden, begann eine rege Bebauungszeit. Die Familie Remy, die sich ihrer Verantwortung gegenüber den Mitarbeitern des Rasselsteins stets in besonderer Weise bewusst war, errichteten damals eine Siedlung von Werkswohnungen des Rasselsteiner Eisenwerks. Etwa zeitgleich beginnt man mit dem Bau der drei Direktorenvillen auf dem Weißen Berg.
Geplant wurden sie von dem Architekten Herrn Herrmann, einem Anhänger der Kölner Schule, deren Mitglieder eine bessere Baukultur anstrebten und bewusst an die überlieferten heimische Bauweise anknüpften. Die Verwendung gebietstypischer Materialien (Basalt) und die Freude an traditionellen handwerklichen Details kennzeichnen den damals beliebten Heimatstil genauso wie die Anlehnung an regionale, meist barocke Vorbilder. Die Bauten des Heimatstils setzen bewusst auf traditionelles Bauen, wollen aber gleichzeitig schlicht und funktional wirken. Die Villa am Weißen Berg stellt ein seltenes regionales Zeugnis herrschaftlicher Architektur im beginnenden 20. Jahrhundert dar und demonstriert eindrucksvoll das geistige und künstlerische Schaffen, das handwerkliche und technische Können der Zeit. Besonders die am Jugendstil ausgerichtete Innenausstattung – Stuckdecken, hohe Wandvertäfelungen, Freitreppe, kupferne Decken- und Wandleuchten, Türen und der marmorne Kaminsims – zeigen vom hohen Anspruch des Erbauer.
Wer die Villen im Einzelnen bewohnt hat, lässt sich heute kaum noch nachvollziehen. bis zum Ende des Zweiten Weltkrieges waren alle drei Villen noch in Privatbesitz. Das Anwesen Weißer Berg 3 bewohnte damals die Familie Remy, das Anwesen Hans Böckler Strasse 26 Otto Wolff, der ab 1916 die Geschicke des Rasselsteins bestimmte. Die heutige Tagungsvilla bewohnte bis 1951 Clara Magdalena Peucer, eine Remy – Nachfolgerin aus der Krumfuß, zusammen mit ihrer Tante Auguste Amalie Elisabeth Krumfuß und der Haushälterin Fräulein Heinemann. Fräulein Peucer, erinnern sich Nachbarn, liebte Musik und konnte wunderbar Klavier spielen. Wann immer man an dem Anwesen vorbeiging, habe man sie Klavier spielen hören, selbst als sie kaum noch sehen und keine Noten mehr habe lesen können. Fräulein Krumfuß soll sehr sparsam gewesen sein und ihre Sparsamkeit auch manchmal zum eigenen Schaden übertrieben haben. so sei die betagte Dame im Dunkeln die Treppe hinaufgestiegen, weil sie Licht sparen wollte. Sie sei gestürzt und habe sich ein Bein gebrochen. In der Kastanienallee hielt Fräulein Krumfuß Schafe, die sie dort auf der Wiese anpflockte und den Innenhof und den Garten bevölkerten freilaufende Hühner. “Da haben wir als Kinder manchmal nicht nur die Kastanien gesammelt, sondern auch die Eier – bevor das Fräulein Krumfuß mit Ihrem Körbchen die Runde machte. Aber das durfte das Fräulein Krumfuß natürlich nicht wissen“, erinnert sich ein Ur-Weißenberger.
Während des Krieges wurde die Villa für die Niederbieberer Bürger ein Luftschutzkeller eingerichtet und auch häufig genutzt. Den Krieg hat das Haus ohne größere Schäden überstanden. Obwohl der Rasselstein bombardiert wurde, gingen hier nur ein paar Scheiben zu Bruch. In allen drei Villen hatte man während des Krieges ausgebombte Familien untergebracht. Gegen Kriegsende bezogen für ein paar Wochen amerikanische Soldaten Quartier, die Offiziere im Hause, die Mannschaften in Zelten im Außenbereich. Ihnen folgten nach der Festlegung der Besatzungszonen französische Truppen, die hier ihre Kommandantur einrichteten, die sie 1948 erst wieder räumten. 1951 ging das Haus in den Besitz der Arbeiterwohlfahrt über. Fräulein Peucer, sagen die einen, habe das Haus auf ihre alten Tage nicht mehr halten können und es aufgrund ihres sozialen Engagements der Arbeiterwohlfahrt für eine kleine Summe überlassen. eine andere Geschichte erzählt, dass Fräulein Peucer enteignet worden sei und die Villa so an die AWO überging. Eines ist jedoch Fakt, Fräulein Peucer hat den Rest ihres Lebens im Pförtnerhäuschen gelebt und eine kleine Rente von der Arbeiterwohlfahrt bekommen.