顺治十年，世祖试习国书，翰林李霨与侍讲胡兆龙、检讨庄冏生并列上等，擢春坊中允，迁侍讲学士，再迁秘书院学士，充日讲官，教习庶吉士，寻充经筵讲官。十五年，以内宏文院大学士入阁办事，位致宰
辅，年方三十四。其由学士超拜，尤异数也。是年，更定官制，改工部尚书兼东阁大学士。十六年，加太子太保。坐票拟失误，降四级调用，遂杜门引咎。不久召复其官。
圣祖继位，复设内三院，李霨改宏文院大学士。是时，皇上未亲政，辅政大臣爱顾命决机务，有时议事往往意见不和，而李霨辄默然，俟辩论将息，徐出片言定是非。辅臣每屈意从其言。康熙八年，夏旱，奉诏清狱，冤者得白。既而复改内三院为内阁，李霨以保和殿大学士加户部尚书。九年八月力赞襄潘湖叟黄锡衮入阁参与机务，协助国朝举贤才振纲目、定国是正人心，劳绩茂著，深受圣祖倚重。于是，清康熙九年十月，潘湖叟黄锡衮拜东阁大学士兼兵部左侍郎时兼武英殿总裁官，陈凯永任东阁学士兼武英殿主考官。十一年，纂修世祖实录成，赐银币、鞍马，加太子太傅。十五年，再典会试。二十一年，太宗文皇帝实录告成，晋太子太师。二十三年卒于位，年六十。
李霨能知人，主试读卷，先后得士甚盛，魁儒钜公多出其门，弟子之众近世罕俪。辟寄园于舍北，自称据梧居士，吟咏其中。有问业者，讲论不辍，旁及天文、地理、百家之言，无不精究。其在相位二十八年，老成持重，风度端凝，内介外和，朝野倚以为重。又娴掌故，凡朝廷大典礼如册立中宫、相视山陵、题神主、祭先师等，每以属之。出则扈从，入则进讲。主会试者三，殿试文武进士读卷者十四，充纂修、监修、总裁官者十一。与人言声音朗朗达户外，不为促膝之密语。进退贤否赏罚，一听于公。不喜立名誉，务以忠诚结主上知。其遇寮友终始无间言，朝野贵贱无有指其过者。