Когда К.С. Петров-Водкин шестнадцатилетним юношей отправился покорять вершины искусства в столичный Петербург, в своем первом послании на родину он обратился к матери: «Милая мама, прошу – храни письма!». И Анна Пантелеевна бережно сохранила его письма и открытки, более сорока лет приходившие в Хвалынск из Петербурга, Москвы, Мюнхена, Лондона, Рима, Парижа, Алжира, Тифлиса, Самарканда и множества других мест, где побывал в течение своей творческой жизни художник. Мама сберегла также его ранние рисунки и этюды.

Жена художника Мария Фёдоровна клятвенно пообещала мужу позаботиться о его творческом наследии. Кузьма Сергеевич ушёл из жизни 15 февраля 1939 года, летом этого же года Мария Фёдоровна с дочерью Еленой поехали в Хвалынск, чтобы рассказать матери художника о его последних днях и похоронах. Необходимо было также побеспокоиться о сохранности писем и ранних работ, так как Анна Пантелеевна была уже в преклонном возрасте, ей было более восьмидесяти лет.

В эти годы в доме, купленном Кузьмой Сергеевичем в 1905 году, с матерью художника жила семья её младшего племянника Шуры. Сам же Александр Иванович Трофимов в 1937 году был арестован по обвинению в антисоветской агитации, приговорен к десяти годам заключения и отбывал наказание в Ухтомском лагере. У Александра и его жены Валентины родилось четверо детей, из них выжили двое - дочь Елена (1926) и сын Анатолий (1936).

Мария Фёдоровна и Елена Кузьминична во время своего приезда летом 1939 года прожили в Хвалынске целый месяц, помогли в уборке дома, отдохнули среди любимой ими природы. Уезжая, Мария Фёдоровна оставила Анне Пантелеевне деньги и обещала помогать и дальше, как всегда делал её сын.

Но мать художника не привыкла сидеть сложа руки, женщины держали небольшое хозяйство, Валентина Ивановна работала, Анна Пантелеевна нянчила внучат. В 1939 году в их доме проживал квартирант Ступин.

Анна Пантелеевна умерла 11 марта 1941 года. Она похоронена на хвалынском кладбище, было известно место захоронения, где в 1988 году по инициативе сотрудников картинной галереи им. К.С. Петрова-Водкина и художников-участников хвалынских пленэров установлен памятник и оградка.

О том, что было дальше с домом Петровых-Водкиных в Хвалынске, рассказала дочь художника Елена Кузьминична в своих воспоминаниях «Прикосновение к душе». В доме по-прежнему жила жена Александра Трофимова Валентина с детьми. Он стал спасительной гаванью для Марии Фёдоровны и Елены Кузьминичны Петровых-Водкиных, которым после страшных испытаний первой блокадной зимы в Ленинграде, смертельной опасности проезда «по дороге жизни» на Ладоге весной 1942 года, нескольких месяцев трудного пути удалось добраться до Хвалынска. Как они были счастливы обрести, наконец, приют в доме, где всё напоминало о самом дорогом для них человеке, который сумел позаботиться о них даже после своего ухода из жизни!

Мария Фёдоровна с дочерью поселились в передней половине дома. Вскоре Елена стала работать на маслобойном заводе, где познакомилась с главным инженером этого завода и вышла за него замуж. Проживала молодая семья также в доме Петровых-Водкиных. Материально жить было по-прежнему трудно. Мария Фёдоровна не получала пенсию, она думала о возвращении в Ленинград, как только появится возможность. Поэтому Мария Фёдоровна приняла решение продать перешедший им с дочерью по праву наследования дом с условием проживания в его части до конца войны. Валентина Трофимова с детьми уехала к сестре в Чебоксары. А новой владелицей дома с 12 июля 1943 года стала хвалынская жительница Стекольникова Надежда Николаевна. Спустя три недели 4 августа 1943 года в Хвалынске у Елены Кузьминичны родилась дочь Александра – первая внучка Кузьмы Сергеевича Петрова-Водкина. Первые месяцы её жизни также связаны с домом, где теперь располагается мемориальный музей художника.

Когда в 1944 году началась реэвакуация, Мария Фёдоровна, Елена Кузьминична и Александра уехали в Ленинградскую область на станцию Большие Ижоры, а когда появилась возможность, возвратились в Ленинград. Мария Фёдоровна простится с Хвалынском навсегда, а Елене Кузьминичне и Александре ещё предстоят встречи с городом их великого предка.

А дому уготованы были свои испытания в виде частой смены хозяев. 7 июня 1948 года владелица делит дом на две половины и продаёт частями между двумя новыми владельцами. Заднюю часть дома покупает Чалышев Денис Васильевич, а переднюю – Самоходкина Елена Васильевна.

Передняя часть дома покупается у Самоходкиной Е.В. 14 июня 1949 года Терновой Анной Яковлевной, но через год, 26 июня 1950 года, продается ею супругам Жилкиным Михаилу Николаевичу и Марии Григорьевне. В этом же году, чуть ранее 23 мая 1950 года продает свою половину Чалышев Д.В. Микшуну Сергею Алексеевичу, а последний вскоре, 20 октября 1950 года, продает её Усову Кузьме Евдокимовичу за 12,5 тысяч рублей.

26 июня 1985 года у Усовых заднюю половину дома покупает Ермолаев Евгений Дмитриевич за 8 тысяч рублей.

Часть дома, выходящая на улицу Ленина, 9 июня 1979 года приобретается у Жилкина М.Н. Пряниковой Раисой Ивановной за 9 тысяч рублей. Через год, 10 октября 1980 года, Пряниковы продают свою часть дома Масленниковой Нине Васильевне за 9 тысяч рублей. Здесь проживает сын Нины Васильевны Масленников Анатолий Михайлович со своей семьей.

Решением исполнительного комитета Совета народных депутатов города Хвалынска от 19 июля 1990 года за №278 дом был передан Хвалынскому краеведческому музею для создания в нём художественно-мемориального музея К.С. Петрова-Водкина. По договору с бывшими жильцами дома Горисполком предоставил Ермолаеву Е.Д. благоустроенную двухкомнатную квартиру и денежную компенсацию в размере 20 тысяч рублей, Масленникову А.М. – благоустроенную трехкомнатную квартиру и 20 тысяч рублей, Масленниковой Н.В. – благоустроенную однокомнатную квартиру. Всё это стало возможным только после письма дочери художника Елены Кузьминичны Генеральному секретарю ЦК КПСС М.С. Горбачёву.

Несмотря на столь частую смене хозяев, дом сохранил основные черты своего внешнего облика, хотя его внутренняя планировка претерпела изменения в связи с делением его на две части, ему предстояла реставрация, которая затянулась на пять лет.