Der Grieche Diomedes soll die Stadt unter dem Namen Kanousion gegründet haben. Es finden sich Reste einer Stadtmauer aus dem 4. Jh.v.Chr. Im 2. Jh. entwickelte sich Canosa zu einer wichtigen Stadt an der Via Traiana, im Jahre 318 wurde es römische Garnisonsstadt. Aus dieser Zeit finden sich noch heute ein Triumphbogen und eine altrömische Brücke. Die Normannen erweiterten im 11. Jahrhundert das Kastell und bauten die Kathedrale San Sabino. Später war die Stadt dem Staufer Friederich II. stets treu ergeben und hielt auch gegen die römischen Päpste zu ihm. In den späteren Jahren beherrschten verschiedene Adelsgeschlechter die Stadt, auch die Spanier übten hier ihre Herrschaft aus. Mehrere Erdbeben richteten große Verwüstungen an.

Die Kathedrale San Sabino ist die einzige Kathedrale in ganz Apulien, die fünf Kuppeln hat. Im Innern finden sich ein wunderschön gearbeiteter Bischofsthron und die älteste Marmorkanzel Apuliens, deren Lesepult ein großer, sehr plastisch wirkender Adler ziert. Im rechten Seitenschiff ist die 1111 gefertigte Bronzetüre des Grabmals von Bohemund I. (1051–1111), dem ältesten Sohn Robert Guiskards, aufgestellt. Bohemund war ein sehr kriegerischer Herrscher, dem während eines Kreuzzugs auch die Einnahme von Antiochia gelang. Die arabische Kultur muss ihn beeindruckt haben, denn sein Grabmal – es findet sich außerhalb an die Kirche angebaut – ist nach dem Vorbild syrischer Grabdenkmäler entstanden: ein Kubus mit Tambour und runder Kuppel. Und auch die Bronzetür weist arabische Reliefs, kufische Schriften und arabische Scheiben-Muster auf.

Interessant ist das Ipogei Lagrasta, ein Hypogäum mit griechisch-makedonischen Grabkammern aus dem 3. und 4. Jh.v.Chr. Es fanden sich darin vergoldete Bronzebetten und wertvolle Grabbeigaben, die heute im Archäologischen Nationalmuseum von Taranto aufbewahrt werden.
Lange blieb Canosa seinen griechischen Wurzeln verbunden: Noch im 1. Jh. n. Ch. sprach man griechisch und prägte griechisch beschriftete Münzen