Ο Ιωάννης Τρωγλίτης είναι ένας από τους σχετικά άγνωστους στρατηγούς της περιόδου του Ιουστινιανού. θεωρείται πως γεννήθηκε στη Μακεδονία, μάλλον στην περιοχή των Σερρών, ή στη Θράκη. Πιστεύεται πως με τον Βελισάριο είχε σχέσεις από την παιδική ηλικία και ήταν μέλος της πρώτης μονάδας επίλεκτων Βουκελάριων ιππέων που οργάνωσε ο μεγάλος στρατηγός.
Δεν είναι γνωστή η ημερομηνία γέννησής του. Ωστόσο καθώς οι πηγές τον αναφέρουν συνομήλικο του Βελισάριου θα πρέπει να γεννήθηκε μεταξύ του 500 και 505 μ.Χ. Ακολούθησε τον Βελισάριο στην πρώτη του εκστρατεία στον Δούναβη και κατόπιν στην εκστρατεία κατά των Σασσανιδών Περσών στη Μεσοποταμία. Ήταν παρών στην περίφημη μάχη του Δάρας, ενώ ακολούθησε τον ένδοξο στρατηγό και στη Ιταλία στο πόλεμο κατά των Γότθων.
Στη βόρεια Αφρική, όπου και έμελλε να δοξαστεί, μετέβη επίσης μαζί με τον Βελισάριο. Διαδραμάτισε καταλυτικό ρόλο στις μάχες του Δεκίμου και του Τρικάμαρου, επικεφαλής των επίλεκτων Βουκελάριων. Στην πρώτη μάχη μάλιστα, με μόλις 288 άνδρες καταδίωξε τους βάρβαρους Γερμανούς Βανδάλους μέχρι τα τείχη της Καρχηδόνας. Ο Ιωάννης αναφέρεται από τον ιστορικό Προκόπιο ως Ιωάννης αδελφός του Πάππου.
Οι περισσότερες πληροφορίες που υπάρχουν για τον Ιωάννη προέρχονται από το επικό ποίημα «Ιωάννης ή Περί του Λιβυκού Πολέμου», του Φλάβιου Κόρριπου. Εκεί αναφέρεται πως ο πατέρας του ονομαζόταν Ευάνθης. Επίσης αναφέρεται πως είχε έναν γιο, τον Πέτρο, ενώ ήταν νυμφευμένος με την κόρη ενός βασιλιά. Κάποιοι υποστήριξαν ότι είχε νυμφευθεί την κόρη του ανεψιού του Ιουστινιανού. Μάλλον όμως αυτό δεν ευσταθεί και θεωρείται πιθανότερο η σύζυγός του να ήταν κόρη κάποιου βάρβαρου ηγεμόνα.
Όπως αναφέρθηκε ο Ιωάννης έφτασε στη βόρεια Αφρική μαζί με τον Βελισάριο το 533 μ.Χ. Παρέμεινε εκεί και μετά την αποχώρηση του τελευταίου το επόμενο έτος και ήταν ένας από τους υποστρατήγους του διοικητή της επαρχίας Σολόμωνα στον πόλεμο κατά των Νουμιδών το 534-535 έχοντας προαχθεί σε δούκα, στρατιωτικό διοικητή δηλαδή, της επαρχίας της Τριπολίτιδος ή, σύμφωνα με άλλες πηγές, του Βυζακίου.
Από τη θέση αυτή κατάφερε να αντιμετωπίσει επιδρομές διαφόρων φυλών της περιοχής ενώ συμμετείχε και στον αγώνα κατά του επαναστάτη Γότθου μισθοφόρου στρατηγού Στότζα. Με την επιστροφή του Βελισάριου στη βόρειο Αφρική πολέμησε παρά το πλευρό του μεγάλου στρατηγού στη μάχη της Μαμπρέσα, το 536, όταν με μόλις 2.000 οι δύο φίλοι στρατηγοί νίκησαν τους τετραπλάσιους, τουλάχιστον, άνδρες του Στότζα.
Ακολούθως πολέμησε υπό τον στρατηγό Γερμανό, ανεψιό του Ιουστινιανού και διακρίθηκε στη σημαντική νίκη των βυζαντινών δυνάμεων στο Σκάλας Βέτερε, το 537. Στη μάχη αυτή διοίκησε τη δεξιά πτέρυγα του στρατεύματος. Ο Προκόπιος αναφέρει πως η επίθεση που εξαπέλυσε αποκρούστηκε και υποχρεώθηκε σε υποχώρηση, χάνοντας μάλιστα και ένα λάβαρο. Ωστόσο η πληροφορία αυτή ελέγχεται καθώς η μάχη έληξε με θρίαμβο των βυζαντινών όπλων. Πιθανόν η υποχώρηση του Ιωάννη να αποτελούσε τέχνασμα. Το επόμενο έτος νίκησε τους στασιαστές στη μάχη του Αουτέντι στην επαρχία του Βυζακίου.
Αμέσως μετά όμως μετατέθηκε στην Ανατολή. Εκεί το 541 ανέλαβε τη θέση του δούκα της Μεσοποταμίας, στην πλέον νευραλγική περιοχή των συνόρων με τους προαιώνιους εχθρούς Σασσανίδες Πέρσες. Κατάφερε μάλιστα να συλλάβει πρέσβη των Οστρογότθων της Ιταλίας προς τον Πέρση βασιλιά που είχε αποσταλεί με σκοπό την σύναψη συμμαχίας Οστρογότθων και Περσών ώστε οι Σασσανίδες να επιτεθούν από τα ανατολικά την ώρα που σημαντικές αυτοκρατορικές δυνάμεις ήταν αγκιστρωμένες στην Ιταλία.
Όταν τελικά ο νέος πόλεμος με τους Πέρσες ξέσπασε ο Ιωάννης επέτυχε μια σειρά από νίκες. Κοντά στη Νίσιβι νίκησε την περσική στρατιά του στρατηγού Ναμπίντι ενώ στη Θεοδοσιούπολη, με μια εμπνευσμένη νυκτερινή επίθεση, συνέτριψε την περσική στρατιά που πολιορκούσαν την πόλη. Κατόπιν πέτυχε μια ακόμα συντριπτική νίκη έναντι των Περσών που πολιορκούσαν την πόλη Δάρας και αιχμαλώτισε τον στρατηγό Μιρ Μερόη, αναφέρει ο Κόρριπος.
Κατόπιν στάλθηκε στη Βόρεια Αφρική όπου κατάφερε να συντρίψει τους Νουμίδες. Ο Ιωάννης παρέμεινε στρατιωτικός διοικητής των επαρχιών που έσωσε μέχρι το τέλος της ζωής του και αργότερα μοιράστηκε και την πολιτική διοίκηση με τον έπαρχο Αθανάσιο.
Φρόντισε για την ανακατασκευή των οχυρώσεων σε όλη την περιοχή, αναδιοργάνωσε την στρατιωτική και πολιτική διοίκηση και φέρθηκε συνετά στους Νουμίδες ώστε να μη δοθεί αφορμή για νέες εξεγέρσεις. Σύμφωνα με τον σύγχρονο ιστορικό Τζον Μπιούρι ο Ιωάννης Τρωγλίτης ήταν ο τρίτος, μετά τον Βελισάριο και τον Σολόμωνα, ήρωας της επιχείρησης ανάκτησης της βόρειας Αφρικής από την Αυτοκρατορία.
Το αυτό υποστήριξε και ο σύγχρονός του βιογράφος, ουσιαστικά, ο Κόρριπος. Υπό τη διοίκησή του επικρατούσε τέτοια τάξη και ησυχία ώστε όταν οι Οστρογότθοι του Τοτίλα αντεπιτέθηκαν στην Ιταλία ο Ιωάννης ήταν δυνατό να στείλει στο σύνολο σχεδόν των αυτοκρατορικών στρατευμάτων του προς αντιμετώπισή τους, χωρίς να φοβάται εξεγέρσεις.
Δεν είναι γνωστό πότε ακριβώς πέθανε Ιωάννης, πάντως αυτό συνέβη σίγουρα μετά το 552 μ.Χ. Το έργο του όμως άντεξε και μετά τον θάνατό του και η ειρήνη στην περιοχή διατηρήθηκε για καιρό.