Pieter Gerritse van der Speck was rentmeester van de Leidse parochiekerken. Hij liet op een binnentuin achter zijn woonhuis acht huisjes bouwen. Bij zijn overlijden in 1645 werd volgens zijn testament het hofje gesticht.

Het was bedoeld voor oudere mensen en weduwen. Na 1977 kwamen er studenten te wonen.

Pieter Gerrits van der Speck huwde in 1607 met Adriaantje Pieters van Eijck, de weduwe van Jan Cortenbosch.