La fantastique histoire se déroule à Londres, en Angleterre dans les années 1930. Michael Banks a bien grandi et il vit toujours dans sa maison d'enfance.

Mais maintenant, il a fait trois enfants, Annabel, John et le petit Georgie. Sa soeur Jeanne vit aussi avec eux depuis que Mme Banks, la femme de Michael, est décédé l'année précédente. Mais, entre le tuyau de la cuisine qui saute tous les jours, les enfants à gérer (surtout Georgie) et le manque d'argent qui leur retirera peut-être la maison, Michael ne sait plus quoi faire et est dépassé. Il fait donc un emprunt à  William Weatherall Wilkins, le directeur de la banque qui lui envoie finalement ses associés pour dire au père Banks qu'il perdra sa maison s'il ne rembourse pas le prêt avant le vendredi qui vient.

Micheal et Jeanne se souviennent qu'avant de mourir, leur père leur a laissé des actions à la banque qui pourraient leur permettre de rembourser ou de couvrir l'emprunt. Le frère et la soeur cherchent dans toute la maison le certificat d'emprunt. Pendant la recherche, Michael retrouve le cerf-volant que Jeanne et lui avaient fabriqué avec leur père et qu'il avaient mis quelque part en l'oubliant. Le père Banks décide de s'en débarasser car ils n'en ont pas besoin. 

Bien après, quand les enfants sont allés se balader dans le parc en allant faire les courses, Georgie trouve alors le cerf-volant et essaie de l'attraper. Mais il s'envole et menace de faire disparaître le petit garçon. Jack, un allumeur de réverbères, l'attrape et fait revenir le cerf-volant. Et qui est accroché au cerf-volant ? Mary Poppins. 

Elle annonce alors qu'elle gardera les enfants pendant que leur père et leur tante travaillent (elle sait bien qu'ils ont des difficultés à garder la maison). Annabel et John ne sont pas d'accord car ils trouvent qu'ils sont bien capables de se garder eux-mêmes. 

Les enfants sont tellement sûrs qu'ils peuvent aider leur père à garder la maison qu'ils essaient de réparer un ancien bol en porcelaine appartenant à leur mère. Mary Poppins les aide et avec Jack, ils vivent plein d'aventures fantastiques en commençant tout d'abord par se rendre au "pays de la porcelaine".

Finalement, Wilfins devient un loup dans le fameux monde et Georgie est enlevé par lui et ses associés. Le soir, avant de se coucher, les trois frères et soeurs racontent leur "rêve" à Mary Poppins, persuadés que ce n'en est pas un. Mary leur avoue gentiment qu'elle ne pourra pas rester éternellement avec eux. Elle leur chante une chanson et ils s'endorment, bercés.

Le lendemain, aidés de Jack, les quatre se rendent à la banque car Michael a oublié sa sacoche. Georgie surprend alors Mr Wilkins faire un plan avec ses associés pour prendre la maison Banks. Lorsque Michael le surprend, il s'énerve, prend sa sacoche et ordonne à Mary Poppins de ramener les enfants.

Le vendredi, minuit approche, les Banks se préparent à devoir quitter la maison pour déménager et aller vivre chez Jeanne, qui habite dans un appartement pas très loin de la maison.

Georgie rentre dans la maison en criant qu'il a oublié son cerf-volant et revient. Michael dit à son fils qu'ils le répareront ensemble, qu'ils auront tout le temps qu'il leur faut. En l'examinant un peu plus, il se rend compte que Georgie a racommodé le cerf-volant comme il pouvait avec le certificat d'actions qu'il leur manquait justement pour garder la maison. 

Vite, il est presque minuit ! Jeanne et Michael se précipitent à la banque pendant que les enfants, Mary Poppins, Jack et les autres allumeurs de réverbères vont remonter le temps de Big Ben de cinq minutes.

Jeanne et Michael arrivent pile au bon moment mais Mr Wilkins refuse de leur rendre la maison car il manque un bout du certificat. L'oncle du banquier arrive et chasse son neveu. Il dit au père Banks qu'il a plusieurs actions dans la banque depuis que le père de Jeanne et de Michael a donné des pences avec ses enfants des années auparavant.

Quand ils rentrent chez eux, tous, la maison a récupéré tous ses anciens meubles comme par magie. Le lendemain, ils se rendent à la foire avec Hélène et passent devant une marchande de ballons qui leurs assurent que s'ils choisissent le bon, ils pourront voler dans les airs. Michael et Jeanne y vont en premier et ils se rappellent tous des merveilleux moments passés avec Mary Poppins et qu'elle était réellement magique. 

Mary Poppins prend le dernier ballon prévu pour elle et se rend compte qu'elle doit alors partir et laisser les enfants grandir en paix sans une nounou tant qu'ils ont leurs parents. Alors la famille la remercie tandis qu'elle s'envole vers de nouvelles aventures.