在杨白冰的青少年时期，日本陆续策划了九一八事变以及华北五省自治事件，蚕食中华大地，这让杨白冰从小就渴望拿起武器赶走侵略者。1938年，抗日战争全面爆发后的第二年，18岁的杨白冰奔赴革命圣地延安，作为进步青年，开始在我党的带领下投身抗日救国的时代浪潮当中。
作为知识分子，刚到延安时，杨白冰被安排进入陕北公学学习，不久后他又被分配到抗日军政大学继续学习，但是，满腔热血的杨白冰渴望走上前线，拿起武器对付日本侵略者。在杨白冰的主动要求下，1939年3月，他被分配到八路军129师，担任了政治部组织部青年干事等职务，到前线宣传抗日，号召有志青年抗日救国，为抗日战争的胜利贡献了自己的力量。
解放战争时期，杨白冰担任了晋冀鲁豫军区政治部组织部科长等职务，参与了挺进大别山的军事行动。此后杨白冰所在的部队又陆续改编为中原野战军以及第二野战军，杨白冰也继续在部队中从事政治工作以及后勤工作，参加了淮海战役以及渡江战役等大型战役，见证了新中国的诞生。
建国后，杨白冰跟随二野进军西南，1949年12月，四川解放，杨白冰也留在了西南军区，陆续担任了西南军区政治部青年部副部长、成都军区政治部组织部部长等职务。十年特殊时期，杨白冰受到过错误批判，被关押起来，直到1975年才恢复自由，被安排到成都军区的第二招待所工作。
1979年，杨白冰获得平反，此后他奉命前往北京军区，担任了北京军区的政治部副主任以及副政委等职务。1985年，杨白冰被任命为北京军区政委，成为大军区正职将领，1987年，杨白冰又被调到解放军总政治部，担任了总政治部的主任。1988年，解放军恢复军衔时，时年68岁的杨白冰被授予上将军衔，成为当年参加授衔的十七位上将之一。
授衔之后，杨白冰继续被重用，1989年，69岁的杨白冰被任命为中央军委秘书长，并主持中央军委的日常工作。杨白冰一共担任了三年时间的军委秘书长，1992年，时年72岁的杨白冰不再担任军队的职务。1997年，77岁的杨白冰卸任政治局委员，选择退休。晚年的杨白冰主要生活在北京，于2013年因病去世，享年93岁。
值得一提的是，杨白冰有一个哥哥，名叫杨尚昆，杨尚昆也是很早就开始参加革命，算是弟弟的引路人。建国后，杨尚昆陆续担任了军委副秘书长、军委秘书长等职务，并在1988年当选为国家主席，成为正国级领导。