October 27, 2017 ai

Entretien avec Doina Precup

Dans le cadre du sommet en Deep Learning Re-Work tenu dernièrement à Montréal, nous avons eu le privilège de rencontrer Doina Precup, professeure en science informatique à McGill, experte en Deep Reinforcement Learning (apprentissage par renforcement) et nouvelle directrice du laboratoire DeepMind à Montréal. Elle a généreusement répondu à nos questions en présence de Sylvie Gendreau des Cahiers de l’imaginaire.

Vous connaissez Demis Hassabis depuis les débuts de DeepMind, n’est-ce pas ?

Oui, je connais le fondateur de DeepMind depuis plusieurs années. C’est une entreprise qui est vraiment concentrée sur l’intelligence artificielle et sur l’apprentissage par renforcement.

Une compagnie très inspirante qui a beaucoup de succès notamment avec AlphaGo et le DQN appliqué au jeu Atari.

Je crois que ce succès a vraiment galvanisé la communauté scientifique ainsi que les entreprises. Il y a quelque chose de vraiment intéressant qui se passe dans cette recherche et qui montre que l’on peut aller encore plus loin.

Dans un article du Berkeley Artificial Intelligence Research Blog, il est expliqué que l’on peut pratiquement reformuler tout problème en apprentissage en profondeur avec une approche en apprentissage par renforcement. Votre domaine de recherche, l’apprentissage par renforcement, va être appelé à se développer dans les prochaines années. C’est peut-être l’une des raisons pour laquelle DeepMind a recruté le professeur Richard Sutton de l’Alberta, expert en la matière. C’est un domaine qui change la donne.

Dans la communauté de recherche, l’apprentissage par renforcement est peut-être le domaine dans lequel on va obtenir les plus grands gains dans les cinq prochaines années.

Il va y avoir un impact social à ces gains-là. DeepMind a dernièrement créé une communauté éthique. Va-t-il y avoir des ramifications à Montréal ?

DeepMind vient d’annoncer un effort dans cette direction avec la création d’un groupe de recherche sur l’éthique et sur l’impact social de l’intelligence artificielle. Il y a aussi des efforts qui sont déjà faits à Montréal en ce sens. Au début novembre, il y aura un forum sur l’IA responsable, organisé par l’université de Montréal et j’y serai panéliste. Il y aura beaucoup de gens de différentes orientations qui vont discuter de ce sujet. La communauté des sciences sociales, les économistes et les gens qui ont une expertise en éthique et droit doivent s’impliquer dans ce débat. À Montréal, on est bien placé pour répondre à ces questions-là, car la communauté se préoccupe beaucoup de l’impact humain et a de bonnes intentions. C’est dans un certain sens, le lieu parfait pour faire avancer les idées sur l’éthique et l’IA.

Vous avez parlé, dans votre présentation, de créer plus d’entreprises en IA au Québec. Pourriez-vous développer un peu plus sur ce sujet ?

Nous avons un merveilleux écosystème à Montréal avec de grandes entreprises en IA, de petites entreprises et des universités. Il y a aussi maintenant MILA, qui est un bel institut qui vient de se former. Donc, les parties de l’écosystème sont déjà toutes réunies. Or, on peut cultiver encore plus cet écosystème. C’est important d’avoir des entreprises québécoises qui comprennent bien le contexte social ainsi que le contexte économique. Ces entreprises doivent également avoir une vision qui va au-delà du Québec pour obtenir une présence plus générale dans le contexte global.

Comment attirer et retenir le talent en IA au Québec ?

Je crois que la présence d’organisations qui font de l’intelligence artificielle et de la recherche va attirer le talent. Les gens qui sont actuellement aux États-Unis et en Europe vont vouloir venir ici, parce qu’il y a beaucoup de possibilités pour faire avancer une carrière. Je crois que l’on a aussi besoin de beaucoup de positions de professeur à l’université. Nous avons beaucoup d’étudiants, mais nous en avons besoin d’encore plus pour soutenir l’écosystème. J’estime que pour le long terme, nous avons besoin de faire plus de programmes de training à l’université, pas seulement pour les étudiants diplômés. Par exemple, il y a, à McGill, beaucoup d’étudiants dans le programme de deuxième cycle qui veulent s’impliquer davantage et aller plus loin. Mais nous n’avons pas toujours les cours et les ressources pour les former.

Quelle est la responsabilité sociale des entreprises en IA qui pourraient faire perdre des emplois ?

Je crois que les entreprises doivent penser aux implications de leurs actions. Mais, de mon point de vue, on perdra peut-être certains emplois, mais on créera aussi beaucoup d’autres. Il faut penser à ce qui va être nouveau, ce qui va être excitant et tenter de créer des emplois plus créatifs. Des entreprises qui pensent à des solutions d’intelligence artificielle automatisée vont sûrement envisager d’autres façons de faire des choses qui seront peut-être plus intéressantes que ce qui se passe maintenant.

Nick Bostrom, dans Superintelligence : Paths, Dangers, Strategies, explique qu’une entreprise qui aurait une avance trop importante en intelligence artificielle pourrait être un risque existentiel pour l’Humanité. Comment éviter un monopole en IA ?

Aujourd’hui, la communauté de l’apprentissage en profondeur est vraiment ouverte. Toutes les grandes entreprises publient les résultats de recherche et il y a beaucoup d’Open Software. On a fait une grande partie du progrès peut-être du fait qu’il y a beaucoup de programmes ouverts pour tout le monde. La communauté a une éthique de recherche qui est vraiment transparente. Je crois que ça va continuer dans cette direction et nous protéger du monopole.

Vous avez l’intention de créer un cours pour former les praticiens en IA. Pourriez-vous nous en parler davantage ?

Nous avons un projet de programme de maîtrise professionnelle qui sera initié par MILA et organisé dans les universités comme l’université de Montréal et l’université McGill. L’idée est de proposer des cours et des pratiques avec diverses entreprises pour que les étudiants soient impliqués dans les travaux d’entreprise afin de comprendre un peu mieux l’intelligence artificielle dans le domaine pratique. Nous avons déjà des cours de maîtrise dans cette direction, mais je crois que ça va se développer dans un programme un peu plus formel au cours des prochaines années.

Quelles sont les prochaines avancées en IA et comment l’université McGill participe-t-elle à cette recherche ?

J’estime que dans l’apprentissage par renforcement, il y a encore beaucoup de questions qui sont ouvertes, notamment sur le développement des représentations qui sont un peu plus abstraites. Nous sommes actuellement très bons avec des jeux, comme le jeu Atari, ou pour regarder des images et prendre des décisions. Mais c’est le premier niveau. Or, pour avoir une intelligence plus comparable aux humains, on a besoin de concepts, d’objets et de penser à la modélisation du monde physique à plusieurs niveaux. C’est un domaine vraiment ouvert que j’espère faire avancer. L’apprentissage en profondeur fonctionne maintenant avec beaucoup de données. Si nous avons beaucoup d’images, beaucoup de textes, cela fonctionne bien. Mais dans certains domaines d’application, comme la médecine, l’on n’a pas toujours beaucoup de données. Il y a souvent un certain nombre de patients qui ont une maladie et il ne peut pas y en avoir plus. Il y a des domaines qui sont plus développés en raison du nombre de données disponibles. Or, en développant de nouvelles techniques en apprentissage en profondeur, on va avoir des avancées, des percées, dans cette direction-là aussi.

Sur quels algorithmes travaillez-vous en apprentissage par renforcement ?

Il y a toujours plusieurs orientations de recherche. Mais celle qui me stimule le plus est l’abstraction temporelle. C’est l’idée de concevoir des bonnes actions et des modèles qui ont différentes résolutions temporelles et de les utiliser de manière efficace. C’est une question à laquelle j’ai commencé à réfléchir pendant mes recherches doctorale sous la direction de Richard Sutton. Mais durant la dernière année, avec mes étudiants à McGill, nous avons vraiment fait des progrès par rapport aux méthode qui peuvent concevoir l’expansion temporelle dont on a besoin. C’est un domaine que j’espère développer, car cela est vraiment prometteur.

Vous avez donc plusieurs échelles temporelles et un mécanisme d’attention qui permettrait de choisir les échelles temporelles les plus importantes pour le problème, c’est bien cela ?

C’est un peu comme un mécanisme d’attention, mais c’est différent parce que l’on fait surtout attention au but que le système doit avoir.

Yoshua Bengio, dans The Consciousness Prior, prend une entrée (input), comme des pixels, mais au lieu de penser à des pixels comme observation, l’algorithme va considérer cela comme un état et il va prendre une abstraction de cela avec beaucoup moins de dimensions (une conscience avec moins de dimensions). Le mécanisme d’attention sera appliqué à cette représentation. Pensez-vous l’utiliser pour l’apprentissage par renforcement?

Ça pourrait être applicable. Mais dans les systèmes d’apprentissage par renforcement, les données changent tout le temps, car les agents font des apprentissages. Donc, la distribution des données change tout le temps. Je ne sais pas si c’est vraiment robuste à ce type de changement. Si c’est le cas, alors on pourrait l’appliquer.

Nous remercions chaleureusement Doina Precup pour cet entretien.

Pour en savoir plus sur DeepMind : https://deepmind.com/

Sur le RLLAB de McGill : http://rl.cs.mcgill.ca/

Pour parler à un être humain

Contactez-nous!