Ήταν γόνος σημαντικής πολιτικής οικογένειας, με απώτερη καταγωγή από τη Βαρβίτσα Λακωνίας (από κει και το επώνυμο Βαρβιτσιώτης), που έχει εκπροσώπους στη Βουλή των Ελλήνων από τις πρώτες δεκαετίες της ιστορίας του σύγχρονου ελληνικού κράτους.

Γεννήθηκε στην Αθήνα στις 2 Αυγούστου του 1933.

Φοίτησε στο Πειραματικό Σχολείο Πανεπιστημίου Αθηνών. Σπούδασε νομικά στο Πανεπιστήμιο Αθηνών και στη συνέχεια στο Πανεπιστήμιο του Φράιμπουργκ της τότε Δυτικής Γερμανίας, με ειδίκευση στο Εταιρικό Δίκαιο.

Με την επιστροφή του στην Αθήνα άρχισε να δικηγορεί και το 1960 αναγορεύτηκε διδάκτωρ της Νομικής Σχολής του Πανεπιστημίου Αθηνών, κατόπιν εισηγήσεως του καθηγητή Κωνσταντίνου Ρόκα.

Την εποχή εκείνη γνωρίζεται τυχαία με τον Κωνσταντίνο Καραμανλή, γνώριμο του πατέρα του Μιλτιάδη Βαρβιτσιώτη, που είχε διατελέσει βουλευτής του Λαϊκού Κόμματος, ο οποίος και του ανέθεσε να συντάξει σχετικές εισηγήσεις προς κυβερνητικούς παράγοντες, ενώ λίγο αργότερα τον ορίζει υποψήφιο βουλευτή της ΕΡΕ στη Β΄ Περιφέρεια Αθηνών.