公元278年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。羊祜生前，喜游岘山，襄阳各界便在山上为他建庙和立碑，按时祭祀。每逢来到此处，都忍不住失声落泪，后人遂把此碑称为“堕泪碑”。荆州人为了避羊祜的名讳，还把房屋的“户”都改叫“门”。
羊祜曾经对自己的儿子说过这样的话：“人臣树私则背公，是大惑也。”在给堂弟羊琇的信中他这样说：“疏广是吾师也”。应该说，这就是他的肺腑之言，他的一生也正是这样做的。可以说，羊祜的“不合时宜”，为的都是国，都是民，而唯独没有他自己。正因为如此，他死后才会那么深入人心、那么让人怀念。
