Hij was ook, samen met zijn zuster Anna Baersdorp, stichter van het Brouchoven hofje.

In 1631 werd dit aan de Papengracht gesticht.

De bewoners van dit hofje moesten hetzelfde geloof aanhangen als de stichter, bovendien kreeg familie altijd de voorkeur.

In de regentenkamer hingen portretten van Jacob, zijn zuster en van zijn vrouw Emmerentia Banning. Deze vrouw stichtte later het klein Sionshofje.