Der Turm in der Nähe des Flusses Bóbr wurde nach 1491 von Georg Zedlitz gebaut, einem Ritter, der einen großen Teil von Rakovice Wielkie erbte. Ein ähnliches Gebäude errichtete der zweite Erbe - Zygmunt Zedlitz, der zu einer ähnlichen Zeit im Nachbardorf Radłówka ein wehrhaftes Herrenhaus mit einem Turm errichtete, das heute als Schloss in Radłówka bekannt ist. Im Dorf Rakowice Wielkie, das am Bach Rakówka liegt, gab es mindestens seit dem späten Mittelalter zwei Gutshöfe - den des Herzogs und den der Stadt, und die Wohntürme waren der Sitz ihrer Verwalter. Der ältere gehörte zur Stadt Lwówek Śląski, daher ein anderer Name für den Ritterturm in Rakowice Wielkie - der Stadtturm.
Das Denkmal wurde in der Nachkriegszeit vor der totalen Zerstörung dadurch bewahrt, dass es sich in einem Lagergebäude befand, dank dessen es durch oberflächliche Reparaturen und kleinere Renovierungen geschützt wurde.
