L'IA au service du manga et de l'animation : eldorado ou illusion ? (3/5)

Utile, amusant, futile ou catastrophique... Le "machine learning" excite la curiosité et la créativité des éditeurs de mangas et des producteurs d'animation. Dans le troisième volet de notre enquête, nous nous sommes intéressés aux diverses incursions de l'IA en support des équipes de productions des éditeurs nippons.

Episode #3: L'IA au service de la production

Si la création d'un manga est l'étape primordiale dans l'écosystème du divertissement japonais, elle n'est pas la seule à attirer les chercheurs en intelligence artificielle. Plusieurs corps de métiers hors du domaine créatif profitent déjà des avancées technologiques - et d'autres y songent.

Les sociétés Kodansha, Shogakukan et Shueisha se sont associées en mai 2021 à la compagnie Marubeni pour développer une IA chargée d'améliorer le processus de distribution. Ces dernières années, le taux de retours de manga est monté jusqu'à 40%, ce qui représente des coûts très forts, et constitue indéniablement un axe d'amélioration. Même si le marché du manga ne cesse de grimper ces dernières années (aussi bien au Japon qu'à l'export), les éditeurs ont à l'œil d'autres voyants que celui du chiffre d'affaires ou du nombre de mangas vendus et œuvres à améliorer leur efficacité et in fine leur marges à chaque étapes.

Dans le nouveau système assisté par l'IA, en cours de développement, les librairies partenaires seront équipées de lecteurs RFID. Chaque manga se verra attribué une puce, avec un identifiant électronique unique. Ceci permettra de gérer les stocks en temps réel et d'améliorer les réassorts, sans avoir à centraliser les demandes. Un trop plein dans une librairie X pourra même être utilisé pour re-stocker la librairie Y. Il sera possible à terme de déclencher des phases de réimpressions à la demande en se basant sur des algorithmes dits prédictifs. Par exemple en identifiant des lieux précurseurs de tendances et anticiper une vague d'achats d'un manga et le réimprimer avant qu'il ne soit épuisé. Ou réagir sur une tendance de vente glissante sur 2 ou 3 jours au lieu d'attendre les chiffres hebdomadaires ou mensuels pour garantir une meilleure réactivité.

En 2018, l'éditeur Square Enix a signé un partenariat avec le laboratoire de recherche l'université de Chuo, qui couvre entre autres les sujets de la traduction et de l'intelligence artificielle. Partenariat étendu en 2021 au laboratoire Matsuo de l'université de Tokyo pour des recherches sur le deep learning. Depuis,la marge brute explose, impossible de connaître l'impact de ces partenariats, mais ils ne sont probablement pas nuls.

De plus, le marché étranger n'est plus anecdotique pour les ventes de mangas. Or, ce dernier est depuis peu pris d'assaut par le webtoon. La vague coréenne, hallyu, a déferlé et surpris par son succès les éditeurs nippons. Face à ce phénomène de webtoons tout en couleurs - et pour conquérir une autre typologie de lecteurs - de plus en plus de mangas bénéficient d'une version colorisée. La comédie romantique The Quintessential Quintuplet, gros succès sur l'archipel nippon, édité en France chez Pika édition, sort dans cette nouvelle version colorisée par un professionnel. Mais si la rentabilité semble garantie pour un hit, elle est moins certaine pour un titre plus confidentiel. Dès lors, des solutions de colorisation automatisée via Machine Learning attisent les convoitises des éditeurs.

Sur un modèle 100% automatisé comme l'outil manga-colorization de Maksim Golyadkin et Ilya Makarov, " ça clignote un peu, ce n'est pas hyper harmonieux au niveau des teintes et il va être dur de lui faire prendre en compte des éléments hors cases ou pas dans le dessin. Mais le résultat, sans intervention humaine, est impressionnant", analyse le coloriste professionnel Yoann Guillo.

Des solutions d'assistance avancées sont toutefois très performantes, comme le logiciel communautaire Kryta, ou des travaux de recherches de l'université de Hong Kong permettent aux coloristes de gagner énormément de temps en appliquant une couleur manuellement à toute une " zone" de l'image à partir d'un simple coup de pinceau. En effet, l'IA à appris à interpréter les sections d'un dessin, et même à distinguer l'intensité du trait pour appliquer des teintes plus ou moins riches. Cette dernière peut même tenir compte du nombre de traits ou des types de trames. " Des solutions comme Kryta, moins complète que Photoshop, permettent de dégrossir le travail avant d'attaquer la phase d'orfèvrerie sous Photoshop", conclut Yoann Guillo.

L'IA est aussi pratique pour sélectionner automatiquement du contenu parmi le riche catalogue dont disposent les grandes maisons d'éditions japonaises. La Shueisha vient de publier trois artbooks regroupant exclusivement des portraits des personnages de One Piece. La particularité de ces livres réside dans le fait qu'une IA a été entraînée par "machine learning" pour reconnaître et extraire les visages des personnages créés par Eiichiro Oda. Les 60 premiers tomes du célèbre manga ont été analysés pour isoler 74 121 visages et leurs expressions. Un travail titanesque qui aurait fait pleurer plus d'un graphiste!

Cette première compilation permet d'apprécier à sa juste valeur non seulement l'évolution du trait d'Oda mais aussi la richesse des émotions qu'il illustre via ses personnages. L'éditeur en a profité pour divulguer que l'auteur avait dessiné de sa main plus de 100 000 personnages originaux au cours des 25 premières années de publication de la saga One Piece. Un chiffre à donner le vertige…

Au-delà de cet exemple de trois artbooks, en partie générée grâce à une IA, il y a plusieurs autres types de livre qui pourraient bénéficier de tels algorithmes. Les guides books ou les agendas scolaires sont deux exemples qui s'imposent, tant leur création demande un travail conséquent de recherche et qualification du contenu des mangas. Une grande partie de ces processus pourraient gagner à être automatisés en partie grâce à du machine learning bien entraîné.

Un autre domaine dans lequel l'IA se révèle étonnamment utile est celui… de la censure. La majorité des éditeurs ont lancé leur application de lecture de manga sur smartphones ou tablettes. Seul bémol: ces applications sont en général restreintes au marché japonais, voire coréen. Mais le marché international représentant dorénavant pour certains éditeurs près de 30% de leurs revenus, impossible de se couper de cette manne potentielle. Ils sont de plus en plus nombreux à mettre en ligne de nouvelles applications pour rendre leur catalogue accessible aux lecteurs étrangers. Le plus souvent en anglais, certaines supportent parfois le français (comme Manga Plus de l'éditeur Shueisha). Des éditeurs ont choisi d'appliquer des censures via "machine learning" sur les planches de manga qui pourraient provoquer le rejet de l'application dans certains pays où la législation est très stricte afin de garder une diffusion mondiale de leurs applications. Pour l'instant, ces algorithmes de reconnaissances de zones à censurer sont un peu trop véhéments aussi bien dans le contenu que dans la forme (grosse bande noire). Les éditeurs vont surement revoir les algorithmes voir peut être supprimer l'application dans certains pays.

Des algorithmes prédictifs devraient aussi être déployés pour suivre et analyser les tendances du marché. Par exemple, en monitorant les thématiques des ventes des Light Novels, pour affiner les analyses sur les titres à adapter en manga ou en anime au plus vite. Idem en ce qui concerne la veille concurrentielle.

Enfin, pour la curation d'un contenu disponible, depuis 2017 l'éditeur Kodansha s'est rapproché du pure player Digital Garage, spécialisé dans le contenu généré par les utilisateurs. Ensemble, ils ont développé un système de "machine learning" qui observe et apprend les tendances des utilisatrices via les réseaux sociaux pour accompagner les équipes éditoriales de magazines féminins à proposer un contenu personnalisé aux lectrices qui aiment la mode, la beauté, le lifestyle, l'aménagement intérieur - ou plus largement le divertissement.

Autre marché culturel japonais en flux tendu: l'animation. Peut être même encore plus désespéré que celui du manga, tant les conditions de travail sont dures pour une gratification salariale rarement au niveau des efforts. Dans le prochain volet de notre enquête nous verrons où et dans quelles conditions le "machine learning" est à l'étude dans cet univers impitoyable…