Het museum
Geschiedenis van het pand
Een prachtig pand aan de Herengracht
De geschiedenis van het pand aan de Herengracht 573 begint in het jaar 1664.
Cornelis de Graeff, diverse keren burgemeester, is samen met drie andere heren, eigenaar van een aantal stadserven die in 1664 volgens een akkoord in het bijzijn van een notaris worden verdeeld. In dit akkoord wordt ook bepaald dat de vier eigenaren zouden bouwen 'tot één hoogte, onder één facial en onder één lijst'. Deze eenvormigheid is tot op heden behouden en deze is uniek in de grachtengordel.
Cornelis de Graeff overlijdt in 1664 en zijn zoon Pieter de Graeff laat het pand bouwen waarvoor metselaar Thomas Munster op 17 april 1664 de eerste steen legt. Pieter de Graeff was stadsbestuurder (schepen) in 1668 en zwager van de bekende raadspensionaris Johan de Witt. Aan het einde van de 17de eeuw worden in de kleine stijlkamer de plafondschilderingen aangebracht. Deze plafondschildering is rond 1682 gemaakt door Paulus de Fouchier (1643-1717). De plafondschildering bestaat uit vijf vakken. In het midden is de Amsterdamse Stedenmaagd te zien en daaromheen de werelddelen Europa, Azië, Afrika en Amerika.
Kleinzoon Gerrit de Graeff, schepen in 1739, heeft het pand eveneens bewoond. Hij stond bekend om zijn rijkdom en berucht om zijn gierigheid. In de eerste helft van de 18de eeuw vindt een omvangrijke verbouwing van het pand plaats. In de grote stijlkamer zijn toen de plafondschilderingen en het schoorsteenstuk aangebracht en in de kleine stijlkamer de rijk gedecoreerde schoorsteen.
Jonkvrouw Jeltje de Bosch Kemper, die omstreeks 1850 hier woonde, schreef in haar dagboek over de dodelijke saaiheid in haar leven. Een meisje van haar stand werkte niet en nadat zij de school had verlaten, zat ze alleen maar thuis. In die jaren groeide bij haar een verschrikkelijke woede en zij rukte zich uit haar keurslijf. Zij schreef vlammende artikelen waarin ze het recht van vrouwen op betaald werk verdedigde en samen met geestverwanten richtte zij de Amsterdamsche Huishoudschool op. De kost verdienen met huishouden is eerbaar, vond ze.
De laatste bewoner Maria van Eik heeft het pand in 1893 voor 44.000 gulden (ongeveer 20.000 euro) gekocht en zij woonde er tot haar dood in 1906. In 1907 is het pand verkocht aan de Hollandsche Brand Assurantie Sociëteit en sindsdien hebben diverse bedrijven zich hier gevestigd. Sinds 2007 is Tassenmuseum Hendrikje in dit pand gevestigd.

