Бердичів вперше згадується в описі Житомирського замку за 1545 рік як власність Тишкевича. В інвентарі маєтків Тишкевичів, складеного у жовтні 1593 року наводяться дані щодо будівництва на березі р. Гнилоп’яті замку: «Вежа над воротами збудована.
Городень шість. Городище частоколом обставлене. Навколо замочку передмістя частоколом укріплено». Замок ймовірно збудовано на місці давнього укріплення – городища, можливо періоду Київської Русі. У 1627 році київський воєвода Януш Тишкевич заснував монастир «босих кармелітів», згодом подарував йому чудотворний образ Божої Матері, який здавна зберігався в будинку його предків. В 1630 році Януш Тишкевич дарує замок католицькому ордену «босих кармелітів» під розташування кляштора та в основу монастирського господарства.
Януш Тишкевич — воєвода та генеральний староста київського краю. Володів м. Бердичів в першій половині XVII століття
Ікона Матері Божої Бердичівської.
Малюнок Антонія Олежинського (Antoni Oleszczynski), 1845 р.
Ікона Матері Божої Бердичівської. Малюнок Цеглінського.
В 1634 році бердичівські «босі кармеліти» закладають дольний (підземний) Маріїнський костел, будують торгівельні склади, крамниці та інші господарські будівлі, поширюють мури фортеці. Монастирські будівлі, обнесені валом з підйомним мостом і гарматами, представляли собою добре укріплену фортецю, в якій постійно знаходився гарнізон для захисту монастиря від нападів татар та козаків. Фортеці дається назва «фортеця найсвентшей Марії панни».
У 1740-і-1750-і рр. реконструйовано фортифікаційні споруди кляштору відповідно до нових вимог оборони при застосуванні вогнепальної зброї та до змін у тактиці наступу: посилено фортечні мури, створено бастіони, покращено конструкцію рову та перекидного моста. У південній частині подвір’я Кармелітського монастиря (при фортечному мурі) 1830р. зведено двоповерхову кам’яну будівлю в архітектурних формах класицизму з 4-колонним портиком, завершиним фронтоном. В будівлі було розміщено пансіонат монастирської школи, для служителів культу в якій навчалось в шести класах 160 учнів. Вони вивчали філософію, богослов'я, латинську, німецьку, французьку, італійську, російську мови, фізику, геометрію, історію і архітектуру.
План фортеці, 1817 р.
Наприкінці 19 – початку 20ст. будівля використовувалася як будинок настоятеля, з квартирою священника для керівництва парафії. У 1866 році в Бердичів прибув з військами російський генерал-губернатор. Були вигнані монахи, конфісковані будівлі монастиря для потреб державних установ (поліції, пожарної дружини, військової установи), а частину будівель передано місцевим купцям під склади товарів. У 1901 році членом археологічного товариства А.В. Палібінимов була представлена доповідна про стан монастиря і костьолу, що було результатом огляду цих споруд. Загальне враження від огляду – всі будинки знаходяться в найгіршому вигляді, як зовні так і в середині.
Монастир кармелітів босих. Фотографія 1910-их років.
Стан будівель монастиря, 1912 р
В період з 1909 по 1914 рр. проводиться капітальний ремонт костьолу за ескізами архітектора Шиллера. Але Громадянська війна 1917-1921 рр. в черговий раз завдає значної шкоди спорудам монастиря: у 1919 році в башті розташовувався командний пункт більшовицьких загонів на чолі з Миколою Щорсом. Після закінчення громадянської війни, на основі збережених монастирських раритетів, у фортецізасновується історичний музей. 1928 р. територія монастиря оголошується історико-архітектурним заповідником, а 1930 р. у ньому додатково
засновується „краєзнавчий музей революції” та антирелігійний
„музей історії католицизму”.
Свято Матері Божої Бердичівської, урочисте винесення ікони з храму, 1918 р.
Вхід до антирелігійного музею та історії кляштору Босих Кармелітів та католицизму, 1929 р.
Під час Другої світової війни фортеця і монастир були майже повністю зруйновані. Костьол був зруйнований на 40%. Музей старого кляштора та католицизму було розміщено в п'яти кімнатах та двох коридорах корпуса монастирських келій. В 1954 році Бердичівський історичний музей припинив своє існування. З 1958 по 1983 роки в приміщенні було розташоване професійно-технічне училище №3.
22 серпня 2003 року було відкрито нове приміщення музею історії міста Бердичева в стінах Будинку настоятеля на території кляштору Босих кармелітів.
В двоповерховому приміщенні та на другому поверсі підвалу розмістились десять експозиційних залів: етнографії, історії міста, Великої Вітчизняної війни, видатних людей краю, воїнів інтернаціоналістів, освіти м. Бердичева, історії медицини міста, виставкова зала, дві зали, присвячені сучасному життю міста.
Стан споруд монастиря Босих Кармелітів після звільнення міста від загарбників, 1944 р
