Das Jüdische Historische Institut hat seinen Sitz in der ehemaligen Judaistischen Hauptbibliothek, die 1936 nach achtjähriger Bauzeit fertig gestellt wurde. Der Entwurf des dreistöckigen Gebäudes mit Bibliotheksräumen, Lesesaal und großen, hellen Ausstellungs- und Vortragssälen stammte von Edward Zachariasz Eber, einem damals bekannten Warschauer Architekten. Die gegenüber liegende Synagoge wurde 1876 - 1878 von Leandro Marconi errichtet.
Die Bibliothek beherbergte an die 30.000 Bände. Der Großteil davon ging unwiederbringlich verloren, nachdem der Bestand von den deutschen Besatzern beschlagnahmt und mitgenommen wurde. Die einzig geduldete Jüdische Organisation während der Besatzungszeit, die "Jüdische Selbsthilfe", zog nun in das Gebäude.
Vom 16. November 1940 bis zum März 1942 befand sich das Gebäude innerhalb des Ghettos und wurde zu einer wichtigen Anlaufstelle für kulturelle und soziale Belange.
Mitglieder der Gruppe „Oneg Shabbat“ („Freude des Sabbats“) um den Historiker Emanuel Ringelblum trafen sich hier im Geheimen, um das Leben und Sterben der polnischen Juden im Zweiten Weltkrieg zu dokumentieren.
Im April 1942 wurde eine Gruppe von 2000 jüdischen Deportierten aus Deutschland in diesem Gebäude einquartiert. Ein paar Monate später teilten sie das Schicksal der Warschauer Juden und wurden im Vernichtungslager Treblinka ermordet.
Als das Ghettogelände verkleinert wurde und die Tłomackie Straße sich nun außerhalb der Mauern befand, dienten die Synagoge und die Bibliothek den Nazis als Lagerstätte für geraubte Möbel. Am 16. Mai 1943 sprengte der SS- Brigadeführer Jürgen Stroop die Synagoge und legte Feuer im Bibliotheksgebäude. Die Spuren des Brandes sind am Boden der großen Eingangshalle noch heute sichtbar.

1946 übergab die Warschauer Stadtverwaltung die Ruine dem Zentralkomitee der Juden in Polen zur eigenen Verwendung. Nach einer grundlegenden Renovierung, finanziert durch das American Joint Distribution Committee, zog die Zentrale Jüdische Historische Kommission in das Gebäude ein und widmete sich dem Erhalt der Erinnerungen der polnischen Juden und der Sicherung von Spuren der jüdischen Kultur. 1947 wurde die Kommission in „Jüdisches Historisches Institut“ – JHI umbenannt. Der vielleicht kostbarste Besitz des JHI ist das Ringelblumarchiv, das aus den Ruinen des Warschauer Ghettos 1946 und 1950 geborgen wurde.
Das Gebäude erlebte die Zerstörung der Warschauer Jüdischen Gemeinde sowie auch die Versuche ebendiese nach 1945 wiederzubeleben und steht somit für das Fortbestehen und das Bewahren jüdischer Kultur.