L'IA au service du manga et de l'animation : eldorado ou illusion ? (5/5)

Utile, amusant, futile ou catastrophique... Le "machine learning" excite la curiosité et la créativité des éditeurs de mangas et des producteurs d'animation. Dans le cinquième et dernier volet de notre enquête, nous nous sommes intéressés aux services que l'intelligence artificielle rend ou s'apprête à rendre aux fans de mangas et d'animation.

Episode #5: L'IA : au bonheur des fans ?   

Public de geeks par excellence, les fans de mangas et d'animation japonaise sont très au fait des derniers progrès technologiques. Mieux ils y contribuent activement. De nombreux projets indépendants ont ainsi vu le jour ces dernières années avec des débouchés inimaginables il y a encore peu.

Prenons l'exemple du cosplay, l'art de se costumer en personnage de sa licence préférée. Il n'y a pas de guide à proprement parler pour réaliser le costume d'untel ou unetelle. Pire: sur un dessin de manga en 2D, on n'a pas forcément tous les angles de vue.  Difficile de réaliser un patron de costume si l'on ne visualise pas l'ensemble de ce dernier.

Dans le papier de recherche "Anime-to-Real Clothing: Cosplay Costume Generation via Image-to-Image Translation",  les chercheurs Koya Tango et Marie Katsura de l'université Doshisha et Hayato Maki et Ryosuke Goto de l'Institut de technologie Goto ZOZO ont mis en place un protocole d'IA capable d'interpréter des scènes d'animation pour générer des rendus de costumes réalistes à la volée, et même identifier des objets assimilables (par exemple une ceinture, une bourse en cuir, etc.), facilitant ainsi la création de patrons. Pour Toshihiro Miura, rédacteur en chef du magazine Morning, "ce type d'initiative est bénéfique non seulement pour les fans mais aussi pour les auteurs qui seront indéniablement touchés de voir encore davantage de costumes tirés de leurs œuvres. Et encore plus si ces derniers arrivent à reproduire fidèlement l'esprit d'un personnage tel que dessiné par l'artiste".

Si en 2021 plus d'une BD sur deux vendues en France est un manga, il reste difficile de s'y retrouver parmi le nombre impressionnants de sorties (plus de 300 tomes en septembre 2022). Bien sûr les éditeurs accompagnent ces sorties de recommandations, les libraires spécialisés fournissent des recommandations ad hoc à leurs clients.

Les journalistes et influenceurs proposent des critiques ou des listes de mangas par thématique, permettant aux lecteurs de cibler certains titres, mais loin des principaux blockbusters il peut être difficile de trouver des recommandations.

https://mangaki.fr/ est une solution de recommandation de mangas et d'animes basée sur du "machine learning", où les fans peuvent nourrir l'algorithme en indiquant les mangas qu'ils ou elles ont aimés et créer ainsi des cohortes d'associations de goûts. Le but des chercheurs est de permettre de faire découvrir des mangas à des lecteurs qui n'ont pas forcément un cercle de conseil près d'eux.

Enfin, à l'heure où les réseaux sociaux sont omniprésents, la question de son avatar (ou profile picture, PP) en ligne est tout sauf anodine. Fans de mangas et plus particulièrement de la licence Bleach (publiée en France aux éditions Glénat), ne cherchez plus, l'outil MangaGAN, développé par des universitaires chinois, est fait pour vous. C'est l'un des premiers systèmes GAN (Generative Adversarial Network ou réseau antagoniste génératif, NDLR) entraîné avec une base de dessins réalisés par Tite Kubo. Cette base contient un échantillon de 448 paires d'yeux, 109 nez, 179 bouches et 106 visages dessinés par le célèbre mangaka.

De nombreuses IA sont entraînées pour produire des versions "mangaifiées" de selfies ou portraits. Comme celle développée par des chercheurs chinois de l'académie Damo, d'une équipe d'Alibaba et de l'Institut de technologie informatique de l'université de Pékin.

Maintenant que Netflix produit à tire-larigot des séries télévisées live adaptées de licences de mangas, de nombreux fans utilisent du "machine learning" pour transposer les personnages 2D en versions réalistes quasi humaines. Une sorte de pré-casting. Le youtubeur nippon A.I Mikan s'est spécialisé  sur ce type de vidéo réalisée avec https://www.artbreeder.com/  

Ou encore ce type de créations de fans, qui imagine via machine learning un casting humain pour Saint Seiya.

Conclusion

Le "machine learning" n'a pas vocation à remplacer les humains, estime Toshihiro Miura, le rédacteur en chef du magazine Morning (Kodansha). À l'avenir, "si l'IA peut être amené à aider lors du process de création alors ce pourrait être un outil au service des auteurs pour créer encore plus de nouvelles histoires" . Pour l'instant, aucun éditeur contacté ne songe à utiliser ces nouvelles technologies pour remplacer des éditeurs sur les différents marchés locaux.

Le manga et l'animation sont des domaines qui, par leur nature, attirent un public geek et technophile, alors il n'est pas étonnant que le sujet du "machine learning" et de l'intelligence artificielle soit des plus foisonnants dans ce milieu. Aussi bien auprès d'universitaires, d'industriels que de fans isolés. Les éditeurs l'ont bien compris: Shueisha, l'éditeur du célèbre Weekly Shônen Jump (One Piece, Naruto, Jujutsu Kaisen, My Hero Academia, etc.), a lancé un concours annuel, "Mirai no jump", où les fans sont invités à soumettre des prototypes d'applications innovants. Plus que jamais, les contributions des fans du monde entier sont les bienvenues car, au-delà du côté mathématique ou algorithmique de "machine learning", les bases de données pour entraîner les modèles sont cruciales. Des projets communautaires comme le catalogue de portraits de personnages issus de l'animation Daf:re forment le terreau qui verra éclore les fonctionnalités de demain.