La startup d'IA Cohere lance un laboratoire de recherche à but non lucratif – TechCrunch

La startup d’IA Cohere lance un laboratoire de recherche à but non lucratif – TechCrunch

Cohere, une startup créant de grands modèles de langage pour rivaliser avec ceux d’OpenAI, a annoncé aujourd’hui le lancement d’un laboratoire de recherche à but non lucratif : Cohere For AI. Dirigé par Sara Hooker, ancienne de Google, Cohere déclare que Cohere For AI s’efforcera de résoudre certains des défis les plus difficiles de l’industrie en contribuant à la «recherche fondamentale» de la communauté open source.

Nous sommes vraiment ravis de diriger un nouveau laboratoire de recherche sur l’IA à but non lucratif alors que nous continuons à élargir comment et où la recherche est effectuée. Il y a tellement de choses à découvrir, et notre objectif sera de collaborer ouvertement et de contribuer à la recherche fondamentale », a déclaré Hooker à TechCrunch par e-mail. « Dans le même temps, un élément clé de notre travail consistera à élargir la communauté et à aider à former la prochaine génération de talents, en créant de nouveaux points d’entrée pour travailler sur la recherche fondamentale. “

La communauté de l’IA s’inquiète depuis longtemps du manque de financement réservé à la recherche sur l’IA en dehors des riches entreprises. Une étude a révélé que les liens avec les entreprises – qu’il s’agisse de financement ou d’affiliation – dans la recherche sur l’IA ont considérablement augmenté de 2008 à 2019. Une autre étude a montré que la société mère de Google Alphabet, ainsi qu’Amazon et Microsoft, avaient embauché 52 professeurs d’IA titulaires entre 2004 et 2018, retirant ces futurs enseignants du travail académique et à but non lucratif.

La concentration du pouvoir au sein des entreprises présente un certain nombre d’inconvénients évidents, mais l’un des plus alarmants est qu’elle tend à sous-estimer des valeurs telles que la bienfaisance, la justice et l’inclusion du côté de la recherche. Un certain nombre d’experts, s’adressant à Wired pour un article de 2020, soulignent que les projets d’IA des entreprises ont conduit à une “fixation non scientifique” sur des projets uniquement possibles pour les personnes ayant accès à de puissants centres de données. Quel que soit le domaine, le travail au sein des entreprises est souvent étroitement surveillé et met des années à voir le jour, si jamais il le fait.

Notre programme est centré sur l’avancement des progrès sur les questions d’apprentissage automatique parallèlement à la recherche axée sur la communauté », a déclaré Hooker. “Nous voulons également avoir un programme de recherche proactif afin de pouvoir identifier les principaux défis avant qu’ils ne deviennent des problèmes que nous devons résoudre rétroactivement. Nous nous concentrons sur une variété de disciplines différentes pour travailler sur l’atténuation des biais, par exemple, et un élément essentiel de la recherche concerne la sécurité de l’IA et l’utilisation robuste des modèles.

Un autre élément central que Cohere For AI espère développer est l’accès aux ressources de calcul, a déclaré Hooker, aidant spécifiquement les chercheurs à mieux utiliser les modèles «de pointe» pour aider à développer leur travail. Le rôle de l’accès informatique évolue, comme l’illustrent les tendances des modèles de langage (c’est-à-dire les systèmes d’IA qui comprennent et génèrent du texte). Il y a quelques années seulement, la création d’un modèle de langage hautement sophistiqué nécessitait des ressources de calcul massives. Mais maintenant, grâce aux percées académiques et au travail de la communauté open source, les barrières à l’entrée sont bien plus faibles qu’auparavant.

Route vers le non-profit

Soutenu par des sommités de l’IA, dont le codirecteur du laboratoire d’IA de l’UC Berkeley, Pieter Abbeel, Cohere a été fondé en 2019 par une équipe chevronnée qui comprend Aidan Gomez, Ivan Zhang et Nick Frosst. Gomez est co-auteur de l’article académique “Attention Is All You Need”, qui a présenté au monde une architecture de modèle d’IA fondamentale appelée Transformer. (Parmi d’autres systèmes de haut niveau, le GPT-3 et le Codex d’OpenAI sont basés sur l’architecture Transformer.) Zhang, aux côtés de Gomez, a contribué à For.ai, un collectif de recherche en IA ouverte impliquant des scientifiques et des ingénieurs des données.

“For.ai a été conçu pour aider les passionnés en début de carrière à mieux interagir avec des chercheurs plus expérimentés”, a déclaré Hooker. « De nombreux membres fondateurs ont poursuivi des études doctorales ou travaillé dans des laboratoires universitaires ou industriels. À l’époque, For.ai était l’un des premiers groupes de recherche communautaires à soutenir des chercheurs indépendants du monde entier. Maintenant, l’équipe Cohere et ses supporters sont ravis de réintroduire le concept original mais avec plus de ressources construites à partir de Cohere.

Selon Hooker, Cohere For AI offrira aux scientifiques des données des moyens de «se rencontrer et de collaborer» grâce à des opportunités de recherche de mentorat, à un engagement avec des conférences traditionnelles et à des contributions à des revues de recherche. Cela passera en partie par la promotion de la gestion des pratiques scientifiques open source et la publication «responsable» du code, ainsi que par la soutenir les efforts qui encouragent la « communication scientifique » à travers différents supports, comme les articles de blog.

“WNous voulons vraiment faire de Cohere For AI un laboratoire de recherche ambitieux qui contribue à la communauté de la recherche, mais qui cherche également à mieux impliquer un ensemble diversifié de voix. Nous voulons aider à changer où, comment et par qui la recherche est effectuée », a déclaré Hooker.

Malgré ses objectifs ambitieux, Cohere For AI – que Cohere financera lui-même – est susceptible d’inviter le scepticisme des chercheurs méfiants à l’égard des liens commerciaux de Cohere. Cohere a levé 170 millions de dollars à ce jour auprès de sociétés de capital-risque institutionnelles, dont Tiger Global Management et Index Ventures, et a un certain nombre d’associations avec Google. Fei-Fei Li, scientifique en chef de Google Cloud AI, et Geoffrey Hinton, un collègue de Google, ont été les premiers partisans de Cohere, et Gomez et Frosst travaillaient auparavant chez Google Brain, l’une des divisions de recherche sur l’IA de Google. Cohere a également un partenariat avec Google pour former de grands modèles de langage sur l’infrastructure matérielle dédiée de l’entreprise.

Google a notoirement dissous un conseil consultatif sur l’IA en 2019, une semaine seulement après sa formation. Et en 2020, l’entreprise a licencié Timnit Gebru, chercheur en intelligence artificielle de premier plan, dans ce qu’elle a qualifié de représailles pour avoir envoyé à des collègues un e-mail critiquant les pratiques managériales de Google. Google a par la suite licencié une autre éthicienne, Margaret Mitchell, qui avait publiquement dénoncé la gestion de la situation par l’entreprise, et une troisième, Satrajit Chatterjee, après avoir co-écrit un article remettant en question le travail de Google dans les systèmes de conception de puces alimentés par l’IA.

Pavé de bonnes intentions

D’une manière générale, les initiatives à but non lucratif pour financer la recherche sur l’IA ont été mitigées.

Parmi les réussites figure l’Allen Institute for AI (AI2), fondé par feu le cofondateur de Microsoft, Paul Allen, qui cherche à réaliser des percées scientifiques en construisant des systèmes d’IA dotés de capacités de raisonnement. Bien qu’il ne soit pas strictement à but non lucratif, Anthropic, lancé par d’anciens dirigeants d’OpenAI, a levé plus d’un demi-milliard de dollars en recherchant des systèmes d’IA “fiables, interprétables et orientables”.

Mais pour chaque AI2 et Anthropic, il y a un OpenAI, qui a commencé comme une organisation à but non lucratif avant de passer à un profit plafonné et d’accepter un investissement de 1 milliard de dollars de Microsoft. Pendant ce temps, l’ancien président de Google Eric Schmidt a récemment annoncé un fonds de 125 millions de dollars pour la recherche sur l’IA a suscité une nouvelle controverse après que Politico a rapporté que Schmidt exerce une influence inhabituellement forte sur le Bureau de la politique scientifique et technologique de la Maison Blanche. (L’un des premiers récipiendaires, le professeur de Berkeley Rediet Abebe, a demandé que son nom soit retiré de l’examen.)

Cependant, certains collectifs plus récents se sont révélés prometteurs, notamment Gebru’s Distributed AI Research, une organisation mondiale à but non lucratif pour la recherche sur l’IA. Des projets comme BigScience de Hugging Face et EleutherAI sont d’autres exemples solides de ce qui peut être réalisé en IA au-delà des limites de l’influence des entreprises.

“En fin de compte, c’est à nous de prouver que Cohere For AI ne s’aventurera pas au fil du temps”, a déclaré Hooker. « Bien que Cohere For AI s’appuiera sur Cohere pour les ressources et le financement, une séparation distincte a été créée entre les deux pour préserver son indépendance en tant que laboratoire de recherche. Cette séparation est cruciale pour qu’elle puisse continuer à contribuer et à servir la communauté au sens large en tant qu’entité indépendante. Cohere For AI est structuré comme une organisation à but non lucratif et a été intentionnellement conçu pour collaborer ouvertement avec de nombreuses organisations différentes. Son travail sera open source pour permettre un meilleur accès à la communauté au sens large.

Leave a Comment

Your email address will not be published.