Von einem arianischen König nach Konstantinopel geschickt, um für dessen Glaubensbrüder zu sprechen, kehrte er verdächtig zurück und starb im Kerker.
523 gewählt, leitete er die römische Kirche in einem Italien, das Theoderich beherrschte, ostgotischer König und Arianer, der die Katholiken bis dahin in Ruhe gelassen hatte. Das Gleichgewicht zerbrach, als Kaiser Justin in Konstantinopel Maßnahmen gegen die Arianer des Reiches ergriff. Theoderich zwang den Papst, eine Gesandtschaft zu führen, um sie aufheben zu lassen — ein Bischof von Rom, entsandt, um für die Sache des Arianismus zu sprechen, ein Vorgang ohne Beispiel. Johannes wurde in Konstantinopel mit außerordentlichen Ehren empfangen, krönte den Kaiser und erlangte einen Teil des Erbetenen, nicht aber die Rückgabe der eingezogenen Kirchen. Theoderich, der vor allem einen von einem rivalisierenden Kaiser allzu gut aufgenommenen Papst sah, ließ ihn bei der Rückkehr in Ravenna festsetzen. Dort starb er 526 entkräftet im Kerker. Die Kirche ehrt ihn als Märtyrer. Sein Gedenktag ist der 18. Mai.
Dargestellt als gefangener Papst oder wie er den Kaiser Justin in Konstantinopel krönt.