当年到香港后，杜月笙的地位一落千丈,又不能像上海一样大把大把地挣钱，日子过的很不好,心情也很差,整天呆在家里喝茶听收音机看看报纸，再或是向小老婆孟小冬学唱京剧。
1951年4月初，在香港的国民党特务传话给杜月笙说，中国正准备与香港的英国交涉，打算把他押回上海，在清算“四一二”政变大会上批斗，同时大陆特工已经潜入香港，如交涉不成时，就将他就地处决。 杜月笙信以为真，极度恐惧，寝食不安，终积忧成疾患了严重的神经衰弱和心脏病。当年7月，他中风偏瘫却拒绝治疗，8月16日下午，这位曾称雄于上海滩的大亨在极度恐惧中永远地闭上了眼睛。