Ο Α.Ο. Καβάλα ιδρύθηκε στις 24 Σεπτεμβρίου 1965 από τη συγχώνευση τριών τοπικών συλλόγων: του Ηρακλή Καβάλας, των Φιλίππων Καβάλας και της Α.Ε.Κ. Καβάλας. Το έμβλημα του συλλόγου, μια αρχαία τριήρης, επιλέχθηκε για να αντικατοπτρίζει τη ναυτική παράδοση της πόλης, με τα κουπιά να συμβολίζουν τους παίκτες, τα πανιά τη διοίκηση και τον άνεμο τους φιλάθλους. Ο σύλλογος είναι γνωστός στους φιλάθλους με δύο προσωνύμια, «Γαλάζιοι Αργοναύτες» και «Ελαφρά Ταξιαρχία του Βορρά», και έζησε τη χρυσή του εποχή τη δεκαετία του 1970, όταν πέρασε δώδεκα χρόνια στην ανώτατη κατηγορία της Ελλάδας μεταξύ 1969 και 1982.