Η έννοια του παραγώγου, που συνδέεται με τον ρυθμό μεταβολής και την εφαπτομένη γραμμή, έχει τις ρίζες της στην αρχαιότητα. Οι Έλληνες μαθηματικοί, όπως ο Ευκλείδης, ο Αρχιμήδης και ο Απολλώνιος της Περγάμου, έθεσαν τα πρώτα θεμέλια.
Ο Αρχιμήδης (287–212 π.Χ.), ιδίως, ξεχώρισε με τη μέθοδο των αδιαίρετων, υπολογίζοντας εμβαδά καμπύλων επιφανειών, όπως η παραβολή, και όγκους στερεών, όπως η σφαίρα, με τρόπο που προϊδέαζε για τις αρχές του λογισμού. Παράλληλα, ο Απολλώνιος μελέτησε τις ιδιότητες των κωνικών τομών, πλησιάζοντας την έννοια της κλίσης.
Στην Ινδία, ο Bhāskara II (1114–1185) συνέβαλε σημαντικά με μαθηματικές μεθόδους που περιλάμβαναν στοιχεία διαφορικού λογισμού. Για παράδειγμα, υπολόγισε τη στιγμιαία ταχύτητα κίνησης πλανητών και διατύπωσε ιδέες που θυμίζουν το θεώρημα του Rolle, δείχνοντας ότι η παράγωγος μηδενίζεται σε σημεία μέγιστου ή ελάχιστου.
Κατά τον Μεσαίωνα, η ισλαμική μαθηματική παράδοση πρόσφερε νέες προοπτικές. Ο Sharaf al-Dīn al-Tūsī (1135–1213) ανέλυσε κυβικά πολυώνυμα και τα μέγιστά τους, χρησιμοποιώντας γεωμετρικές και αλγεβρικές τεχνικές που προσομοίαζαν τη διαδικασία της διαφοροποίησης. Οι εργασίες του αποτέλεσαν γέφυρα μεταξύ της αρχαίας και της σύγχρονης μαθηματικής σκέψης.
Η αποφασιστική στροφή ήρθε τον 17ο αιώνα με τον Isaac Newton (1643–1727) και τον Gottfried Wilhelm Leibniz (1646–1716), οι οποίοι θεωρούνται οι θεμελιωτές του σύγχρονου λογισμού. Ο Newton ανέπτυξε τη μέθοδο των ροών (fluxions), εμπνευσμένη από φυσικά φαινόμενα, όπως η κίνηση των πλανητών, και την εφάρμοσε στη μηχανική. Ο Leibniz, από την άλλη, εισήγαγε έναν ευφυή συμβολισμό (dx/dy), που διευκόλυνε τη μαθηματική ανάλυση και παραμένει στάνταρ μέχρι σήμερα. Οι δύο αυτοί γίγαντες βασίστηκαν σε προηγούμενες συνεισφορές, όπως τις γεωμετρικές μεθόδους του Pierre de Fermat για εφαπτομένες, την αναλυτική γεωμετρία του René Descartes και τις σειρές του John Wallis. Η διαμάχη τους για την πατρότητα του λογισμού υπήρξε θυελλώδης, αλλά ενίσχυσε την ανάπτυξη του πεδίου.
Τον 19ο αιώνα, η μαθηματική αυστηρότητα έγινε προτεραιότητα. Ο Augustin-Louis Cauchy (1789–1857) εισήγαγε την έννοια του ορίου με σαφήνεια, ο Bernhard Riemann (1826–1866) εμβάθυνε τη θεωρία της ολοκλήρωσης, και ο Karl Weierstrass (1815–1897) έδωσε αυστηρές αποδείξεις, απομακρύνοντας τον λογισμό από τη διαισθητική του βάση. Η διαφοροποίηση επεκτάθηκε στον πολυδιάστατο Ευκλείδειο χώρο και στις μιγαδικές συναρτήσεις, ανοίγοντας νέους ορίζοντες στη μαθηματική ανάλυση.
Ο 20ός αιώνας έφερε επαναστατικές εξελίξεις. Η ολοκλήρωση Lebesgue, που προτάθηκε από τον Henri Lebesgue (1875–1941), διευκρίνισε τη σχέση μεταξύ παραγώγων και ολοκληρωμάτων, επιτρέποντας την ανάλυση πιο πολύπλοκων συναρτήσεων. Παράλληλα, ο Laurent Schwartz (1915–2002) ανέπτυξε τη θεωρία των κατανομών, επεκτείνοντας την έννοια της παραγώγου σε γενικευμένες συναρτήσεις. Αυτή η καινοτομία βρήκε εφαρμογές στην κβαντομηχανική, όπου οι απότομες αλλαγές στις συναρτήσεις απαιτούν προηγμένες μαθηματικές τεχνικές, καθώς και στη μελέτη των μερικών διαφορικών εξισώσεων.