Das Gelände des heutigen Garten Kölsch, der alte „Hechtgraben“, wurde erst im frühen 19. Jahrhundert allmählich trockengelegt. Um 1860 errichtete der Hof- und Physikatsarzt Dr. Ludwig Westernacher (1811-1884) direkt an der Stadtmauer von 1353 als Nebengebäude zu seinem Anwesen (Auf dem Damm 2) ein Wohnhaus im spätklassizistischen Stil. Als Kenner der heimischen und fremden Flora hat er im angrenzenden Garten vermutlich auch Wildpflanzen und Heilkräuter kultiviert.

Im Erbgang gelangte der Besitz an seinen Schwiegersohn, den ysenburgischen Rentamtmann Louis Kölsch und dann an dessen Tochter Edith Kölsch.

Frau Kölsch war eine außergewöhnliche, vielseitig interessierte Frau, deren ganze Liebe ihrem Garten galt. Hier pflanzte sie fast ausschließlich Stauden, das sind mehrjährige, krautige Pflanzen mit ausdauernden Wurzeln oder Rhizomen. Sie treiben in jedem Frühjahr neu aus und sterben meist im Herbst ab (Ausnahme: z.B. Christrose).

Von zahlreichen Reisen durch Europa brachte sie immer wieder Pflanzen und Samen mit und pflanzte sie anschließend in ihrem Garten ein. Die Bepflanzung erfolgte nicht nach einem bestimmten Prinzip, sondern relativ zufällig. Ihr Garten stand jederzeit für Besucher offen, für das botanische Fachgespräch ebenso wie für den Schwatz mit Freunden und Nachbarn. Edith Kölsch war mit manchem Künstler gut bekannt, Namen wie der Kölner Bildhauer Gerhard Marcks oder der Berliner Maler Werner Heldt sind darunter. Eine lange Freundschaft verband sie in besonderer Weise mit Johann Heinrich Höhl, einem Schüler Max Beckmanns.

Edith Kölsch starb 1985 im Alter von 91 Jahren. Haus und Garten hatte sie schon zu Lebzeiten gegen eine kleine Leibrente und Wohnrecht auf Lebenszeit der Stadt Büdingen vermacht, wohl auch in der Hoffnung ihr Lebenswerk in irgend einer Form für die Zukunft zu sichern. Dazu ist es zunächst nicht gekommen. Ihr Wohnhaus wurde 1996/97 abgerissen, da man versäumt hatte, es unter Denkmalschutz zu stellen.

Zwar wurde nach ihrem Tode von Freunden und interessierten Bürgern eine Diskussion über das weitere Schicksal des Gartens angeregt, die aber auf politischer Ebene nicht aufgegriffen wurde. Immerhin wurde 1987 beim Senckenberg-Institut Frankfurt eine Erfassung und Bewertung des Bestandes nebst einem Entwicklungskonzept für den Garten in Auftrag gegeben.