Векторные репрезентации и рекомендательные системы в аниме

Всем привет! Сегодня я бы хотел проанализировать описание от пользователей и самих тайтлов, а так же рассказать про самопильный сервис для рекомендаций аниме ТЫК

!!!! Дисклеймер. не бейте за грамматику плиз и математики не будет(наверное для этого запилю второй пост) !!!

Начнемс, все мы знаем такой сайт как MAL, а именно раздел "Recomendations".
1066x337
Тут можем увидеть как пары аниме "близки" друг с другом, а так же эти тексты имеют довольно сильную описательную силу самих аниме, например прочитав пару рекомендаций по одной аниме можно иметь какое-то представление о тайтле. На оснований этого критерия "близости" мы и будем проецировать аниме на пространство, в этом помогут нам нейронные сети(куда же без них в 2020!).
Чтобы было понятнее, рассмотрим пару Lucky Star - Azumanga Daioh, согласитесь, они довольно похожие и мы будем на плоскости их ставить вместе, примерно вот так:
715x318,
рассматривая другие пары мы заполним эту плоскость, в нашем случае окружение Lucky Star должно выглядеть примерно вот так:
724x567
в зависимости направления анимешки будут похожими по каким-то критериям, например чем ниже, то аниме спокойнее, а лево-немного вверх будут абсурднее и тд, исходя из этой логики, то аниме как Атака на Титанов, должны лежать очень далеко, как-то так 815x323.
Надеюсь теперь стало понятнее, что я собираюсь делать.
Данные собраны(80к пар, которые покрывают 6к тайтлов), нейросеть обучена, посмотрим что выдало нам шайтан машина. Вот мы получили наши точки, то есть проекций словесных описаний на плоскости:
611x464
Тут ничего внятного не видно, попробуем разбить на кластеры, я разбил на 10 кластеров(вообще можно на любое кол-во).
879x575
Это наша кластеризация, чтобы понять что они означают я просто посчитал сколько раз разные жанры встречаются в разных кластерах.

Описание кластеров
Первый кластер(красные квадраты, верхний левый угол): Состоит из 78 аниме и чаще всего там встречаются такие жанры как(жанр, частота) ('Action', 68), (' Shounen', 48), (' Comedy', 38), (' Supernatural', 36), (' Adventure', 30), (' Fantasy', 28), (' Super Power', 22), (' Drama', 18), (' Demons', 14), (' Historical', 11) и представители: One Piece, Bleach, Naruto: Shippuuden, JoJo no Kimyou na Bouken, Noragami, то есть в той зоне находятся Shounen.
Второй кластер(синие треугольники, лево-верхняя дуга круга, сразу за первым кластером), там уже 426 тайтла и жанровая описание ('Action', 292), (' Sci-Fi', 191),(' Drama', 119), (' Mecha', 110), (' Fantasy', 93), ('Adventure', 82), (' Shounen', 82), (' Supernatural', 72), (' Military', 64), (' Comedy', 62), представители: Evangelion: 1.0 You Are (Not) Alone, Black Bullet, Vampire Hunter D, Sword Art Online: Alicization, The Animatrix и тд.
Третий кластер(зеленые кружки в почти самом низу), 146 тайтла, ('Comedy', 73), (' School', 69),(' Comedy', 63), ('Slice of Life', 41),(' Slice of Life', 33), (' Shounen', 31), (' Seinen', 25), (' Parody', 24), (' Romance', 24), (' Ecchi', 11), то есть почти полная противоположность первому кластеру и подтверждается позицией на плоскости(что круто и повышает доверие к алгоритму), тут у нас K-On!!, Senyuu, New Game!, Lucky☆Star и другие.
Пятый кластер(по центру), 2854 объекта, ('Action', 634), (' Comedy', 449), ('Comedy', 437), (' Sci-Fi', 409), (' Fantasy', 387), ('Hentai', 378), (' Shounen', 354), (' Drama', 302), (' Romance', 280),
('Adventure', 259), как вы поняли у нас тут всякие Гинтама, почти все части гатари и еще хентай там. Так как простирается с самого левого края до правого, решил посмотреть что там справа, а там Lolita Anime, Cream Lemon.
Десятый кластер(слева, индиго треугольники), тут у нас (' Fantasy', 64), (' Romance', 42), (' Comedy', 37),(' School', 30), (' Ecchi', 28), (' Magic', 27), (' Harem', 25), (' Supernatural', 23), (' Adventure', 21) и такие аниме как Overlord, Fate/stay night, No Game No Life, Sword Art Online, то есть экшоны с гаремом/тян.

разобрались с основными направлениями, это по сути гайд по использованию того сервиса, то есть вот мы ищем похожие аниме на Cowboy Bebop. вот такую картину нам выдает модель 652x531 и такие рекомендации 902x264, что неплохо, а зная их взаиморасположения по графику мы можем понять по каким критериям они похожи.

И да, с телефона оно плохо работает и юзайте верхнее поле ввода и жмяк на search.

Спасибо за внимание, понимаю, что написало очень отрывисто и непонятно, задавайте вопросы если есть, постараюсь ответить. Гитхаб: github.com