晚年倾轧

杨坚好猜忌苛察，容易听信谗言，到了晚年更是滥杀大臣，虞庆则、史万岁等功臣故旧先后被杀，此外，法制逐渐遭到破坏，用法“不复依准科律”，颁布诸如“盗一钱以上皆弃市”、“三人共盗一瓜，事发即死”之类的苛刻刑法，百姓惶恐。

杨坚还热衷廷杖，“每于殿廷打人，一日之中，或至数四”。同时，杨坚晚年颇受诸子的困扰。先是软禁三子秦王杨俊;接着在开皇二十年(600年)，将长子太子杨勇贬为庶人，改立次子杨广为太子;又于仁寿二年(602年)，将四子蜀王杨秀贬为庶人。

离奇去世

独孤皇后去世后，宣华夫人陈氏、容华夫人蔡氏都受到杨坚的宠爱。

仁寿四年(604年)，杨坚患病住在仁寿宫，尚书左仆射杨素、兵部尚书柳述、黄门侍郎元岩都进入仁寿宫侍病。杨坚召杨广入内居崐住在大宝殿。

杨广考虑到如果杨坚去世，必须预先作好防备措施，他亲手写了一封信封好，派人送出来询问杨素。杨素把情况一条条写下来回复杨广。宫人误把回信送到了杨坚的寝宫，杨坚看后极为愤怒。

天刚亮，宣华夫人出去更衣，被杨广所逼迫。宣华夫人拒绝了他才得以脱身。她回到文帝的寝宫，杨坚奇怪她神色不对，问什么原因，宣华夫人流着泪说：“太子无礼!”杨坚愤怒，捶着床说：“这个畜生!怎么可以将国家大事交付给他!独孤误了我!”

于是他叫来柳述、元岩说：“召见我的儿子!”柳述等人要叫杨广来。杨坚说：“是杨勇。”柳述、元岩出了杨坚的寝宫，起草敕书。杨素闻知此事，告诉了杨广。杨广假传杨坚的旨意将柳述、元岩逮捕，关进大理狱。

他们迅速调来东宫的裨将兵士来宿卫仁寿宫，宫门禁止出入，并派宇文述、郭衍进入调度指挥;命令右庶子张衡进入仁寿宫侍侯杨坚。后宫的人员全被赶到别的房间去。

随后，杨坚在大宝殿驾崩，在位23年，终年64岁，庙号高祖，谥号文皇帝，葬于泰陵(今天陕西省杨陵区城西5公里处)。