Γεννήθηκε στὴ Δρόβιανη τῆς Β. Ἠπείρου τὸ 1903 μ.Χ. (καὶ ὄχι τὸ 1905 μ.Χ., ὅπως ἀπὸ λάθος εἶναι γραμμένο στὰ ἀρχεῖα) καὶ τὸ κοσμικό του ὄνομα ἦταν Ἀναστάσιος - Ἀθανάσιος Γρέκας. Ἀπὸ τὸν πατέρα του, Ἰωάννη, πῆρε τὴν αὐστηρότητα πρὸς τὸν ἑαυτό του καὶ ἀπὸ τὴ μητέρα του, Ἀθηνᾶ, τὴ βαθιά, ἄδολη καὶ ἀνυπόκριτη θρησκευτικὴ εὐλάβεια. Σύχναζε στὴν ἐκκλησία τοῦ χωριοῦ του καὶ στὰ ἐξωκλήσια τῶν βουνῶν. Εἶχε ἐπίδοση στὰ γράμματα, γιατί ἦταν εὐφυὴς καὶ εἶχε καλῆ μνήμη. Τὴ βασική του μόρφωση ἔλαβε στὸν Πειραιᾶ καὶ τὴν Ἀθήνα, ὅπου γνώρισε καὶ τὸν Ἅγιο Νεκτάριο Πενταπόλεως (βλέπε 9 Νοεμβρίου). Ἀπὸ τὸν Πειραιᾶ ἔφυγε μὲ πλοῖο γιὰ τὸ Ἅγιον Ὅρος στὶς 15 Αὐγούστου 1923 μ.Χ.
Μετέβη στὴν Καλύβη τοῦ Τίμιου Προδρόμου στὴ σκήτη τῆς Μικρᾶς Ἁγίας Ἄννης ὑπὸ τὸν Γέροντα Μελέτιο Ἰωαννίδη. Περὶ τοῦ τόπου μονασμοῦ του γράφει ἀργότερα ὁ ἴδιος: «Εἰς τὴν ΒΑ ὑπώρειαν τοῦ ἀγιωνύμου καὶ οὐρανογείτονος Ἄθωνος, ἐν τῇ ἡγιασμένῃ τούτου ἐρήμῳ ἐπὶ φαραγγώδους κλιτύος, εὑρίσκεται ἡ Ἱερὰ Σκήτη τῆς Μικρᾶς Ἁγίας Ἄννης. Αὕτη ἀποτελεῖται ἐκ δέκα ἀσκητικῶν καλυβῶν ἢ ἡσυχαστηρίων, ἔνθα ἀρνησίκοσμοι καὶ λιτοδίαιτοι μονασταί, ἀσκούμενοι τὸν καλὸν τῆς κατὰ Χριστὸν ζωῆς ἀγῶνα, καλλιεργοῦσιν ἐμπόνως τὸ γλυκύτατον μέλι τῆς ἀσκητικῆς ἀρετῆς καὶ οὐρανίου φιλοσοφίας». Μετὰ ἕνα ἔτος εὐδόκιμης δοκιμῆς κείρεται μοναχός, στὶς 20 Ὀκτωβρίου τοῦ 1924 μ.Χ. κατὰ τὴν διάρκεια τῆς ἀγρυπνίας στὴ μνήμη τοῦ ἁγίου Γερασίμου Κεφαλληνίας.
Μετὰ μία πενταετία ἀναχωρεῖ ὁ Γέροντάς του γιὰ τὸν κόσμο καὶ μένει μόνος στὴν ἔρημο. Ἡ παρουσία τοῦ Θεοῦ τοῦ γίνεται πιὸ αἰσθητὴ τότε. Μόνη παρηγοριά του ἡ προσευχὴ καὶ ἡ μελέτη. Μελετοῦσε συνέχεια, ἀχόρταγα, προσεκτικά. Μετὰ μία εἰκοσαετία ἀπέκτησε μία μικρὴ συνοδεία καλῶν πατέρων. Ὁ μακάριος Γέροντας δίδασκε καὶ μὲ τὴ σιωπὴ καὶ μὲ τὸν λόγο του. Τὴ σιωπὴ θεωροῦσε «μητέρα σοφωτάτων ἐννοιῶν». Ὁ λόγος ἦταν πάντα προσεγμένος, ὡραῖος, διδακτικὸς καὶ ψυχωφελής. Οἱ φιλοξενούμενοι κατεγοητεύοντο ἀπὸ τὴ συνομιλία μαζί του. Ἔλεγε: «Ὁ ἅγιος Γρηγόριος ὁ Παλαμᾶς λέγει ὅτι το μόνον τὸ ὁποῖον ἀδυνατεῖ νὰ πράξει ὁ Παντοδύναμος Θεὸς εἶναι το νὰ ἑνωθεῖ μὲ τὸν ἀκάθαρτον ἄνθρωπον. Εἰς αὐτὸ ἀδυνατεῖ».
Ἐκεῖ ὅμως ποὺ ἀναδείχθηκε κι ἔγινε παντοῦ γνωστὸς εἶναι ἡ ὑμνογραφία του. Νὰ πὼς περιγράφει τὴν ἀρχὴ τοῦ ἔργου του περὶ τὸ 1926 μ.Χ.: «Ὅταν συνέταξα τὸν πρῶτο κανόνα τῆς Παναγίας, τὸν εἶδε ὁ μακαρίτης ὁ Γέροντας ὁ δικός μου· ἤξερε λίγα γράμματα. Πολὺ ὡραῖος εἶπε. Τὸν πῆγα στὸν Καλλίνικο στὰ Κατουνάκια. Ἦταν ἔγκλειστος σαράντα χρόνια, μὲ νοερὰ προσευχή, μὲ θεῖο φωτισμὸ καὶ τὸν συμβουλευόμουν. Λίγα γράμματα γνώριζε, ἀλλὰ εἶχε πεῖρα μεγάλη καὶ χάρη Θεοῦ. Ἄλλωστε «ἐρώτησον τοὺς πρεσβυτέρους σου καὶ ἐροῦσι σέ». Λέει ὁ Καλλίνικος, «εἶναι ἄριστος ὁ κανών, ἀλλὰ ἕνα σοῦ λέω: ταπείνωση, ταπεινοφροσύνη. Πρόσεχε καλὰ μὴν σὲ πολεμήσει ὁ διάβολος». Ὑμνογραφεὶ κατόπιν ἐπισταμένης μελέτης καὶ πολλῆς προσευχῆς. Λέγει πάλι ὁ ἴδιος: «Ὅ,τι κάνω τὸ ὀφείλω εἰς τὴν προσευχήν. Πρὸ τῆς ἐργασίας θὰ κάνω μίαν προσευχὴν ἔνθερμον, αὐτοσχέδιον μέν, ἀλλὰ θερμοτάτην, ἡ ὁποία ἐνεργεῖ καὶ ἐπενεργεῖ καὶ φέρει ὅ,τι ἀποτέλεσμα ὡραῖον φέρνει. Προσευχή, τὸ πᾶν. Μὴ στηριζόμαστε στὴν ἐξωτερικὴν σοφίαν· στὰ μέτρα. Εἶναι ἕνας ψυχρὸς λόγος. Ὁ ψυχρὸς αὐτὸς λόγος πρέπει νὰ γίνει ζωντανός. Καὶ ζωντανὸς θὰ γίνει μόνον διὰ τῆς προσευχῆς». Τὸ πλούσιο ὑμνογραφικό του ἔργο ὑπολογίζεται σὲ περισσότερες ἀπὸ 2000 ἱερὲς ἀκολουθίες. Πολλοὶ πολλὰ ἔγραψαν περὶ αὐτοῦ καὶ τοῦ ἔργου του καὶ πολλοὶ τὸν τίμησαν καὶ τὸν βράβευσαν γι’ αὐτό, τὸν σπουδαῖο αὐτὸν Ὑμνογράφο τῆς Μεγάλης τοῦ Χριστοῦ Ἐκκλησίας.
Ὅπως διηγοῦνται οἱ ὑποτακτικοὶ τοῦ εἶχε παρακαλέσει τὴν Παναγία νὰ ἔχει τὰ λογικὰ τοῦ ἕως τέλους γιὰ νὰ μὴν κουράσει κανένα. Πράγματι εἶχε διαύγεια μέχρι τὴν τελευταία ἀναπνοή του. Εἶπε τρεῖς φορές: «Ἅγιε Νεκτάριε, βοήθει μοὶ» καὶ ἐξέπνευσε. Μία γλυκύτητα ἦταν ζωγραφισμένη στὸ πρόσωπό του, νόμιζες πὼς κοιμόταν γαληνά. Ἀνεπαύθη στὶς 7 Δεκεμβρίου 1991 μ.Χ. Ὁ βιογράφος του Γέροντας Θεόκλητος Διονυσιάτης τὸν χαρακτηρίζει· σεμνὸ καὶ ἄριστο ὑμνογράφο, σπάνια προσωπικότητα καὶ ἀληθινὸ ἄνθρωπο τοῦ Θεοῦ. Ὁ ἀρχιμανδρίτης Γεώργιος Χρυσοστόμου λέει ὅτι ὁ Γέροντας ἦταν ἐξέχουσα μορφὴ τοῦ ἁγιορειτικοῦ μοναχισμοῦ, κορυφαῖα, διάσημη, χαρισματικὴ καὶ μοναδική. Ἔφυγε μὲ τ’ ὄνομα τοῦ θαυματουργοῦ ἁγίου Νεκταρίου στὰ χείλη του, στὸν ὁποῖο εἶχε συνθέσει μία ἀπὸ τὶς ὡραιότερες ἱερὲς ἀκολουθίες του.
Στὶς 10 Ἰανουαρίου 2023 μ.Χ. ἡ Ἁγία καὶ Ἱερὰ Σύνοδος τοῦ Οἰκουμενικοῦ Πατριαρχείου ἀποφάσισε τὴν κατάταξη τοῦ Ὁσίου Γερασίμου Μικραγιαννανίτη στὸ Ἁγιολόγιο τῆς Ὀρθόδοξης Ἐκκλησίας.
