Les Magiciens Gandalf et Saroumane (ainsi que Radagast) sont "immortels" (au même titre que les Elfes), étant de nature divine (ce qui n'est pas le cas des Elfes). C'est-à-dire qu'ils ne meurent pas de vieillesse, ni de maladie.
Ayant adopté des "formes corporelles" (pour ne pas trop rentrer dans les détails), ils peuvent se faire tuer, par contre (ce qui est le cas de Saroumane et de Gandalf).
Quant à ta phrase prononcée par Gandalf dans le film, elle peut s'expliquer par le fait que les Istari (tes "Magiciens") sont arrivés en Terre du Milieu vers l'an 1000 IIIA comme il est dit dans les Appendices du livre. L'action se déroulant principalement en 3018-3019, cela fait environ 2000 ans qu'ils "foulent cette terre". (soit 300 vies d'hommes, environ, si l'on veut).
Quant à "le temps me manque", c'est probablement juste dans le sens "Sauron devient chaque jour plus menaçant", et pas dans le sens "je vais bientôt mourir".
Voilà
Je laisse les plus érudits compléter, j'ai peur d'entrer dans les détails et d'expliquer mal :p