Janowi przyszło żyć w czasach trudnych – przełomu epok, gdy na gruzach zachodniej części imperium powstawały i upadały państwa założone przez barbarzyńców. W Italii Teodoryk Wielki, król Ostrogotów, po pokonaniu wojsk Odoakera założył potężne państwo. Pierwsze lata jego panowania upływały we względnym spokoju, jednak z czasem powstały niesnaski między ariańskimi Ostrogotami a katolickimi Rzymianami. Sytuację tę zaognił dekret cesarza Justyna I, który na podległym mu obszarze przywrócił prawa wymierzone przeciw heretykom. Decyzja ta zaciążyła na całym pontyfikacie papieża Jana I.

Gdy 13 sierpnia 523 r. Jan zasiadł na tronie Piotrowym, był człowiekiem schorowanym i w mocno zaawansowanym wieku. Słabości te jednak nie przeszkodziły mu w realizowaniu posługi pasterskiej. Jan został wybrany z nadzieją na doprowadzenie do całkowitego pojednania między Zachodem a Bizancjum. Tym samym kontynuował misję zainicjowaną przez swojego poprzednika – papieża Hormizdasa, który podjął działania w celu zażegnania schizmy akacjańskiej. Cesarz Justyn, sprzyjający ortodoksji, przystąpił do zwalczania heretyckich doktryn. Ustanowione przez niego prawa dotknęły przede wszystkim Gotów mieszkających w granicach Bizancjum, którzy w większości wyznawali arianizm.

Działania cesarza spotkały się z dezaprobatą Teodoryka, który ponieważ sam był Gotem i arianinem, starał się wspomóc swoich ziomków. Przymusił on Jana I, aby ten udał się do Konstantynopola w celu złagodzenia cesarskiego prawa wyznaniowego. Misja ta była nie do przyjęcia dla papieża, wszak król oczekiwał od niego obrony heretyków. Odmowa udziału w delegacji mogła skutkować represjami wobec wiernych na Zachodzie, dlatego papież przystał na królewskie polecenie, lecz nie miał zamiaru bronić heretyków przed cesarzem. Delegacja z Janem na czele wjechała do Konstantynopola z końcem 525 r.; była to pierwsza wizyta papieża w stolicy Bizancjum. Został on przyjęty z pełnymi honorami, pokłon oddał mu nawet cesarz, a kilka miesięcy później w czasie uroczystości wielkanocnych posadzono go na wyższym tronie niż patriarchę Konstantynopola, by w ten sposób okazać następcy św. Piotra należny szacunek.

Misja nie spełniła wszystkich żądań Teodoryka, co król wykorzystał jako pretekst do zarzucenia Janowi zdrady. Papieża wtrącono do więzienia, gdzie wkrótce zmarł. Wierni uznali Jana za męczennika. Niespełna rok wcześniej ofiarą spiskowej paranoi Teodoryka padł także bliski przyjaciel Jana Boecjusz, słynny filozof, mąż stanu i teolog, któremu monarcha zarzucił sprzymierzenie się z Konstantynopolem.

Jan, za radą scytyjskiego mnicha Dionizego Małego, wprowadził sposób liczenia czasu od narodzin Jezusa oraz aleksandryjską metodę obliczania daty Wielkanocy, która przyjęła się na Zachodzie.