1935年，青楼一女子恳求37岁的张伯驹：“带我走吧！我还是清白之身！”张伯驹递给掌柜一沓钱，没想到掌柜却冷笑道：“带她走？没门！” 张伯驹没再说话，收起钱，转身离开“天香阁”。几天后，他亲自登门拜访时任陆军第十三师臧卓师长，用一卷宋人书画与之换人。 这事张伯驹没对外提过，他怕潘素受人指点。那幅画，是他在北京琉璃厂花了大半积蓄才买下的《米芾题跋书札》。 潘素被接出那日，左手小指弯曲异常，张伯驹知道那是临行前臧卓以枪托所伤。他也没问一句，只在她进屋时亲自递上一杯热茶。 在那之后，两人并未立刻成婚，张伯驹安排她住进自家东花园的小屋，只说有空可以临帖习画。他发现潘素对笔墨极为敏感，落笔有骨，不似常人初学时的犹豫。 他便请来溥儒、张大千几位故交评画，潘素照样应对得体，逐渐在京城小范围声名渐起。 1937年日军进逼北平，张伯驹听闻展子虔的《游春图》将被一外商购走，立即以重金购下。为了筹款，他不得不变卖祖宅“张园”。 张伯驹说，房子可以再买，画一旦出国，便是断脉。 那段时间，潘素每日临画至深夜，把自己关在画室，桌上只点一盏油灯。张伯驹偶尔推门进去，见她画到指节发白，提笔却不曾颤抖。他知她也在以自己的方式还这个恩。 1943年，张伯驹在重庆遭绑架，对方索金甚巨。潘素典尽首饰，还变卖自己的山水册页。几位文化界友人劝她把张伯驹收藏的一部分拿出来抵押，被她回绝。 她说：“他命可抵，我却无权动他心头所爱。” 张伯驹归来后，见家中几近空荡，只剩字画原处未动。 1956年，张伯驹决定将自己所藏书画全部无偿捐给国家，包括《游春图》《平复帖》《中秋帖》与多件唐宋名迹。潘素支持，他俩一笔一画清点装箱，自己用毛笔写了封长信：“文物为民族血脉所系，藏之国家，永为子孙。” 那卷曾用以换得潘素自由的米芾题跋，如今也在北京故宫展厅陈列。她站在玻璃柜前看了很久，张伯驹问她：“还记得当年？”她点点头，只说一句：“现在它回家了。” 这件事，张伯驹从未拿出来当作“情义”标榜，他在一封私信中写：“我识人，不因身世。我护人，不计代价。” 这不是浪漫，是担当。 予所收蓄，不为己有，乃为国家。张伯驹和潘素用半生，把这句话写实了。
