Nació en Sugadaira, una ciudad perteneciente a la Prefectura de Niigata.

Kato se sintió atraídos por la gimnasia a muy temprada edad.

Su preparador y maestro fue Akitomo Kaneto, miembro del equipo japonés que terminó quinto en los Juegos Olímpicos de Helsinki'52.

Cuado Kato llegó a Ciudad de México en 1968 para su debú olímpico, la presión de tener que defender la medalla de oro japonesa en la prueba general, ganada cuatro años antes por Yukio Endo, representó una dura carga sobre sus hombros.

En México'86 fue una lucha entre Sawao Kato y el ruso Mikhail Voronin.

En las barras asimétricas, Voronin consiguió 19,5 puntos, mientras Kato obtenía 19,45. En las barras paralelas, Voronin volvió a superar a Kato, esta vez por una décima de punto, y siguió imponiéndose en todos los ejercicios hasta los dos últimos. Kato se trepó a las anillas y ganó el bronce. A continuación, en un ejercicio casi perfecto de suelo, se adelantó a Voronin ganando la prueba general con 115,90 frente a 115,85. Kato se llevó la medalla de oro en suelo y ayudó a Japón a conseguir e título por equipos.

En 1972, en los Juegos Olímpicos de Munich, kato repetiría hazaña al proclamarse campeón en la general individual, convirtiéndose en el tercer gimnasta de la historia que ganaba el título en dos Juegos Olímpicos consecutivos.

Kato nunca ganó un Campeonato del Mundo de Gimnasia, aunque el heroico esfuerzo que realizó en 1974 en Varna (Bulgaria) dejó asombrados a los espectadores. Mientras hacía el ejercicio en las barras paralelas se cayó rompiéndose el hombro. Durante minutos quedó tendido sobre la colchoneta, sosteniéndose el hombro. Frotándose talco en las manos, intentó ocultar la lesión a su entrenador y consiguió terminar el ejercicio.

En 1976, en Montreal, fue su última participación olímpica con 30 años. Perdió la medalla de oro en la general individual ante el ruso Nikolay Andrianov por tan solo un punto, 116,65 a 115,65.