隋弘农华阴人，字处道。少好学有大志。初仕北周，平北齐有功，累官车骑大将军，加上开府。从杨坚定天下。率水军伐陈，镇压荆州、江南叛隋势力，以功高封越国公，与高颎共掌朝政。素多权略智诈，亲戚故吏布列清显。朝臣有违忤者，皆阴中除之。晋王杨广与之深相结交。素参与广夺宗阴谋，谗废太子勇、蜀王秀。文帝病笃，矫诏执柳述，杀勇。炀帝立，以平杨谅叛功，拜太子太师，封楚国公。帝外示殊礼，内实猜忌。卒谥景武。