Las complicaciones durante el nacimiento de Stallone obligaron a los obstetras de su madre a utilizar dos pares de fórceps durante el parto, cortando accidentalmente un nervio en el proceso.[17][18] Esto provocó una parálisis del lado inferior izquierdo de su rostro (incluidas partes de su labio, lengua y barbilla) que le dio su característica mirada gruñona y dificultad para hablar.[18][19] Como resultado, sufrió acoso escolar en su infancia, con lo que se enfrentó metiéndose en el culturismo y la actuación.[20] Pasó parte de su infancia en hogares de acogida y en internados, y se reunió y regresó con su familia a Maryland cuando tenía cinco años. A principios de la década de 1950, su padre trasladó a la familia a Washington, DC, natal de su madre, para abrir una escuela de belleza. En 1954, su madre abrió un gimnasio para mujeres llamado Barbella’s. Inicialmente se quedó con su padre después del divorcio de sus padres cuando tenía 11 años, pero se unió a su madre, que se había vuelto a casar, en Filadelfia cuando tenía 15 años.
