杨坚出生时也有许多传说。史载,杨坚的母亲吕氏,在西魏大统七年(541 年)六月的一天夜里,生杨坚于冯翔般若寺(在今陕西高陵),当时紫气满院。
杨坚14 岁时,被京兆尹薛善征用为功曹。15 岁时,因为功勋被授为散骑常侍、车骑大将军、仪同三司,封成纪县公。16 岁,升任骠骑大将军,加官开府。周太祖见后叹道:“此儿风骨,不像是燕赵一带人!”明帝继位,晋封大兴郡公。明帝曾派善于相面者赵昭看他,赵昭伪称:“不过做柱国罢了。”之后偷偷地对杨坚说:“公应为天下君主,但要经过大诛杀才能平定天下,请牢记我的话。”
宇文护掌政后,特别忌恨杨坚,多次要陷害他,因大将军侯伏、侯寿等人的救护而免于难。其后,杨坚继承父爵为隋国公。武帝娶了杨坚的长女为皇太子妃后,更加礼遇和器重杨坚。齐王宇文宪对武帝说:“杨坚相貌不凡,臣每次看到他,都手足无措,恐怕他不会甘为人下,请早日剪除他。”武帝说:“他只能为将而已。”内史王轨急切地对武帝说:“皇太子不会成为国家君王,杨坚貌有反相。”武帝不高兴,说:“如果天命注定此人这样,我们又能怎样呢?”杨坚听到这些话后很恐惧,从此便韬光养晦、深自隐匿,以免引起别人的猜疑和注 意。