Ο Όσιος Γερόντιος ήταν ηγούμενος της παλιάς Μονής των Βουλευτηρίων του Αγίου Όρους. Αλλά επειδή η Μονή αυτή ήταν παραλιακή και δεχόταν πολλές επιδρομές βαρβάρων, εγκαταλείφθηκε από τους μοναχούς, που πήγαν σ' άλλα δυσπρόσιτα μέρη του Αγίου Όρους. Έτσι και ο όσιος Γερόντιος, μαζί με έναν υποτακτικό του, εγκαταστάθηκε στο πάνω μέρος της Σκήτης της Αγίας Άννας, όπου έκτισε ησυχαστήριο με εκκλησία στο όνομα του Αγίου Παντελεήμονα. Έτσι ο Όσιος Γερόντιος είναι ο πρώτος, που δημιούργησε τη Σκήτη της Αγίας Άννας. Εκεί κοντά μάλιστα, ο Όσιος δια αποκαλύψεως της Παναγίας, βρήκε νερό (ενώ ο τόπος εκεί ήταν εντελώς άνυδρος), που και σήμερα αναβλύζει και οι μοναχοί το χρησιμοποιούν σαν άγιασμα.
Ο Όσιος Γερόντιος έζησε μια υπερθαύμαστη ζωή και κοιμήθηκε σε μεγάλη ηλικία. Συνδέονταν με πνευματική φιλία με τον Όσιο Μάξιμο τον Καυσοκαλύβη , καθώς φαίνεται στον βίο του. Η σκήτη που ίδρυσε ανέδειξε περί τους δεκαπέντε γνωστούς αγίους και πολλούς μεγάλης αρετής πατέρες. Ασματική ακολουθία συνέθεσε ο μοναχός Γεράσιμος Μικραγιαννανίτης.