Merci pour cette question ! C'est suffisamment rare aujourd'hui d'avoir des discussions sérieuses sur le forum pour être signalé 
D'abord, je dirais qu'il faut replacer ces textes dans leur contexte d'écriture, et faire appel à la suspension de la crédulité du lecteur. En effet, c'est après avoir écrit le Hobbit que Tolkien l'a inscrit dans la logique du Seigneur des Anneaux. Le premier obéissait à une logique d'aventure unique où il n'est pas question de Sauron, et il est significatif que le texte de la rencontre entre Thorïn et Gandalf se trouve dans les Appendices, où elle contribue à faire des deux oeuvres un cycle, à faire du Hobbit non plus une aventure mais un élément dans la stratégie de Gandalf. Tolkien y consacre plusieurs versions (les autres publiées dans les CLI), signe de l'importance qu'il accordait à la cohérence de son action en tant qu'Istar ; comme il n'y revient pas par la suite, il a sans doute été satisfait de la version publiée. D'un point de vue externe, c'est évidemment une explication a posteriori, elle peut n'épouser qu'imparfaitement la logique du premier roman (notamment, par exemple, quant aux moyens employés). Donc suspension de la crédulité : cette explication est nécessaire à la logique de l'univers et doit être crue, sinon l'édifice ne tient plus.
Pour les deux remarques que tu émets, a priori recevables, il faut tout de même considérer que l'explication de Tolkien n'est cependant pas du tout incohérente et relève même peut-être d'une logique importante.
D'abord, la rencontre entre Thorïn et Gandalf est marquée par la chance ("A chance-meeting, as we say in Middle-earth." App. A). Dans le contexte du Seigneur des Anneaux, et dans la bouche de Gandalf, il est permis de considérer que cette expression renvoie à une intervention supérieure, très probablement à Eru lui-même. Cf. la façon dont Gandalf commente la découverte de l'anneau par Bilbo dans l'Ombre du passé (I can put it no plainer than by saying that Bilbo was meant to find the Ring, and not by its maker. In which case you also were meantto have it. And that maybe an encouraging thought"). La rencontre avec Thorïn serait donc en quelque sorte "touchée par la grâce" parce qu'elle est la première étape vers la victoire. Cela appartient donc au domaine de la "foi" (en effet sur le papier Smaug partait gagnant). Mais Gandalf obéit au mantra de Tolkien : l'espoir sans garantie : une compagnie de Neuf Marcheurs est peut-être dérisoire devant le menace rationnelle, comme l'observent Saruman et Denethor, mais ce n'est pas rien, car quelqu'un les regarde peut-être d'en haut. Aussi, même si la compagnie des Nains semble de bien faible envergure, il faut tenter sa chance ("comme on dit en Terre du Milieu" : là où on a parfois oublié à qui la chance peut être due).
Sur Smaug, c'est plus simple pour moi : Sauron est connu pour avoir forgé de multiples alliances, et à l'appui de cela vient une remarque des Appendices B indiquant que le Balrog de la Moria aurait même pu être réveillé par Sauron ("Or released from prison; it may well be that it had already been awakened by the malice of Sauron"). On n'en sait pas plus, et les mêmes questions (qu'y aurait gagné le Balrog, se serait-il soumis, etc.) se posent qu'avec Smaug ou même Shelob, que Sauron connaissait. Pour moi c'est un indice suffisant quant au fait qu'un personnage comme le dragon aurait pu, lui aussi, être inscrit dans la stratégie de Sauron.
D'abord, je dirais qu'il faut replacer ces textes dans leur contexte d'écriture, et faire appel à la suspension de la crédulité du lecteur. En effet, c'est après avoir écrit le Hobbit que Tolkien l'a inscrit dans la logique du Seigneur des Anneaux. Le premier obéissait à une logique d'aventure unique où il n'est pas question de Sauron, et il est significatif que le texte de la rencontre entre Thorïn et Gandalf se trouve dans les Appendices, où elle contribue à faire des deux oeuvres un cycle, à faire du Hobbit non plus une aventure mais un élément dans la stratégie de Gandalf. Tolkien y consacre plusieurs versions (les autres publiées dans les CLI), signe de l'importance qu'il accordait à la cohérence de son action en tant qu'Istar ; comme il n'y revient pas par la suite, il a sans doute été satisfait de la version publiée. D'un point de vue externe, c'est évidemment une explication a posteriori, elle peut n'épouser qu'imparfaitement la logique du premier roman (notamment, par exemple, quant aux moyens employés). Donc suspension de la crédulité : cette explication est nécessaire à la logique de l'univers et doit être crue, sinon l'édifice ne tient plus.
Pour les deux remarques que tu émets, a priori recevables, il faut tout de même considérer que l'explication de Tolkien n'est cependant pas du tout incohérente et relève même peut-être d'une logique importante.
D'abord, la rencontre entre Thorïn et Gandalf est marquée par la chance ("A chance-meeting, as we say in Middle-earth." App. A). Dans le contexte du Seigneur des Anneaux, et dans la bouche de Gandalf, il est permis de considérer que cette expression renvoie à une intervention supérieure, très probablement à Eru lui-même. Cf. la façon dont Gandalf commente la découverte de l'anneau par Bilbo dans l'Ombre du passé (I can put it no plainer than by saying that Bilbo was meant to find the Ring, and not by its maker. In which case you also were meantto have it. And that maybe an encouraging thought"). La rencontre avec Thorïn serait donc en quelque sorte "touchée par la grâce" parce qu'elle est la première étape vers la victoire. Cela appartient donc au domaine de la "foi" (en effet sur le papier Smaug partait gagnant). Mais Gandalf obéit au mantra de Tolkien : l'espoir sans garantie : une compagnie de Neuf Marcheurs est peut-être dérisoire devant le menace rationnelle, comme l'observent Saruman et Denethor, mais ce n'est pas rien, car quelqu'un les regarde peut-être d'en haut. Aussi, même si la compagnie des Nains semble de bien faible envergure, il faut tenter sa chance ("comme on dit en Terre du Milieu" : là où on a parfois oublié à qui la chance peut être due).
Sur Smaug, c'est plus simple pour moi : Sauron est connu pour avoir forgé de multiples alliances, et à l'appui de cela vient une remarque des Appendices B indiquant que le Balrog de la Moria aurait même pu être réveillé par Sauron ("Or released from prison; it may well be that it had already been awakened by the malice of Sauron"). On n'en sait pas plus, et les mêmes questions (qu'y aurait gagné le Balrog, se serait-il soumis, etc.) se posent qu'avec Smaug ou même Shelob, que Sauron connaissait. Pour moi c'est un indice suffisant quant au fait qu'un personnage comme le dragon aurait pu, lui aussi, être inscrit dans la stratégie de Sauron.