『上宮聖徳法王帝説』より聖徳太子の子。母は蘇我馬子の娘・刀自古郎女（とじこのいらつめ）で大臣・蘇我入鹿とは従兄弟に当たる家系です。

推古天皇の病死後の後継者争いで、有力候補となりましたが、蘇我氏が推す舒明天皇が即位。山背大兄王が皇位から外されたのは、そのタイミングでは彼自身まだ若かったことや、蘇我氏系の天皇が続くことに対する反感への配慮などが背景にあったのではないかと考えられています。

舒明天皇の死後には、舒明天皇の皇后であった皇極天皇が中継ぎ的に即位します。その皇極天皇のあとをどうしていくかについて、入鹿としては、舒明天皇と蘇我氏の娘との間にうまれた古人大兄皇子を考えており、その後も皇位に未練のある山背大兄王の存在が疎ましくなった入鹿によって、山背大兄王は643年に滅ぼされました。

しかし、結局のところ、645年6月の乙巳の変によって蘇我本家は滅亡。さらに同年9月に後ろ盾を失った古人大兄皇子も謀反を企てていると密告されて、中大兄皇子によって攻め殺されましたとさ。