refactor: Overhaul Plugin Architecture & Playground UI (#1846)
* refactor: Move Plugins Out and Consolidate with Multisrc * feat: Overhaul Playground UI * feat: Add Filters to New UI * feat: Persist Selected Plugin * feat: Add Direct Parse Novel/Chapter Options and Feedback Toasts [skip ci] * feat: UX Improvements * chore: Update Plugin Path in Publish Workflow * fix: Add Backward Compatibility * chore: Update Plugin Publishing Script
This commit is contained in:
Rajarshee Chatterjee
committed by
GitHub
GitHub
parent
252beff0bf
commit
20c2b75b01
@@ -0,0 +1,36 @@
|
||||
import list from './sources.json' with { type: 'json' };
|
||||
import defaultSettings from './settings.json' with { type: 'json' };
|
||||
import { readFileSync } from 'fs';
|
||||
import { fileURLToPath } from 'url';
|
||||
import { dirname, join } from 'path';
|
||||
|
||||
const folder = dirname(fileURLToPath(import.meta.url));
|
||||
|
||||
export const generateAll = function () {
|
||||
return list.map(metadata => {
|
||||
metadata.filters = Object.assign(defaultSettings.filters, metadata.filters);
|
||||
console.log(`[ifreedom]: Generating`, metadata.id);
|
||||
return generator(metadata);
|
||||
});
|
||||
};
|
||||
|
||||
const generator = function generator(metadata) {
|
||||
const IfreedomTemplate = readFileSync(join(folder, 'template.ts'), {
|
||||
encoding: 'utf-8',
|
||||
});
|
||||
|
||||
const pluginScript = `
|
||||
${IfreedomTemplate}
|
||||
const plugin = new IfreedomPlugin(${JSON.stringify(metadata).replace(
|
||||
/"type":"([^"]+)"/g,
|
||||
'"type":FilterTypes.$1',
|
||||
)});
|
||||
export default plugin;
|
||||
`.trim();
|
||||
|
||||
return {
|
||||
lang: 'russian',
|
||||
filename: metadata.sourceName,
|
||||
pluginScript,
|
||||
};
|
||||
};
|
||||
@@ -0,0 +1,260 @@
|
||||
{
|
||||
"filters": {
|
||||
"sort": {
|
||||
"type": "Picker",
|
||||
"label": "Сортировка:",
|
||||
"options": [
|
||||
{
|
||||
"label": "По дате добавления",
|
||||
"value": "По дате добавления"
|
||||
},
|
||||
{
|
||||
"label": "По дате обновления",
|
||||
"value": "По дате обновления"
|
||||
},
|
||||
{
|
||||
"label": "По количеству глав",
|
||||
"value": "По количеству глав"
|
||||
},
|
||||
{
|
||||
"label": "По названию",
|
||||
"value": "По названию"
|
||||
},
|
||||
{
|
||||
"label": "По просмотрам",
|
||||
"value": "По просмотрам"
|
||||
},
|
||||
{
|
||||
"label": "По рейтингу",
|
||||
"value": "По рейтингу"
|
||||
}
|
||||
],
|
||||
"value": "По рейтингу"
|
||||
},
|
||||
"status": {
|
||||
"type": "CheckboxGroup",
|
||||
"label": "Статус:",
|
||||
"options": [
|
||||
{
|
||||
"label": "Перевод активен",
|
||||
"value": "Перевод активен"
|
||||
},
|
||||
{
|
||||
"label": "Перевод приостановлен",
|
||||
"value": "Перевод приостановлен"
|
||||
},
|
||||
{
|
||||
"label": "Произведение завершено",
|
||||
"value": "Произведение завершено"
|
||||
}
|
||||
],
|
||||
"value": []
|
||||
},
|
||||
"lang": {
|
||||
"type": "CheckboxGroup",
|
||||
"label": "Язык:",
|
||||
"options": [
|
||||
{
|
||||
"label": "Английский",
|
||||
"value": "Английский"
|
||||
},
|
||||
{
|
||||
"label": "Китайский",
|
||||
"value": "Китайский"
|
||||
},
|
||||
{
|
||||
"label": "Корейский",
|
||||
"value": "Корейский"
|
||||
},
|
||||
{
|
||||
"label": "Японский",
|
||||
"value": "Японский"
|
||||
}
|
||||
],
|
||||
"value": []
|
||||
},
|
||||
"genre": {
|
||||
"type": "CheckboxGroup",
|
||||
"label": "Жанры:",
|
||||
"options": [
|
||||
{
|
||||
"label": "Боевик",
|
||||
"value": "Боевик"
|
||||
},
|
||||
{
|
||||
"label": "Боевые Искусства",
|
||||
"value": "Боевые Искусства"
|
||||
},
|
||||
{
|
||||
"label": "Вампиры",
|
||||
"value": "Вампиры"
|
||||
},
|
||||
{
|
||||
"label": "Виртуальный Мир",
|
||||
"value": "Виртуальный Мир"
|
||||
},
|
||||
{
|
||||
"label": "Гарем",
|
||||
"value": "Гарем"
|
||||
},
|
||||
{
|
||||
"label": "Героическое фэнтези",
|
||||
"value": "Героическое фэнтези"
|
||||
},
|
||||
{
|
||||
"label": "Детектив",
|
||||
"value": "Детектив"
|
||||
},
|
||||
{
|
||||
"label": "Дзёсэй",
|
||||
"value": "Дзёсэй"
|
||||
},
|
||||
{
|
||||
"label": "Драма",
|
||||
"value": "Драма"
|
||||
},
|
||||
{
|
||||
"label": "Игра",
|
||||
"value": "Игра"
|
||||
},
|
||||
{
|
||||
"label": "История",
|
||||
"value": "История"
|
||||
},
|
||||
{
|
||||
"label": "Киберпанк",
|
||||
"value": "Киберпанк"
|
||||
},
|
||||
{
|
||||
"label": "Комедия",
|
||||
"value": "Комедия"
|
||||
},
|
||||
{
|
||||
"label": "ЛитРПГ",
|
||||
"value": "ЛитРПГ"
|
||||
},
|
||||
{
|
||||
"label": "Меха",
|
||||
"value": "Меха"
|
||||
},
|
||||
{
|
||||
"label": "Милитари",
|
||||
"value": "Милитари"
|
||||
},
|
||||
{
|
||||
"label": "Мистика",
|
||||
"value": "Мистика"
|
||||
},
|
||||
{
|
||||
"label": "Научная Фантастика",
|
||||
"value": "Научная Фантастика"
|
||||
},
|
||||
{
|
||||
"label": "Повседневность",
|
||||
"value": "Повседневность"
|
||||
},
|
||||
{
|
||||
"label": "Постапокалипсис",
|
||||
"value": "Постапокалипсис"
|
||||
},
|
||||
{
|
||||
"label": "Приключения",
|
||||
"value": "Приключения"
|
||||
},
|
||||
{
|
||||
"label": "Психология",
|
||||
"value": "Психология"
|
||||
},
|
||||
{
|
||||
"label": "Романтика",
|
||||
"value": "Романтика"
|
||||
},
|
||||
{
|
||||
"label": "Сверхъестественное",
|
||||
"value": "Сверхъестественное"
|
||||
},
|
||||
{
|
||||
"label": "Сёдзё",
|
||||
"value": "Сёдзё"
|
||||
},
|
||||
{
|
||||
"label": "Сёнэн",
|
||||
"value": "Сёнэн"
|
||||
},
|
||||
{
|
||||
"label": "Сёнэн-ай",
|
||||
"value": "Сёнэн-ай"
|
||||
},
|
||||
{
|
||||
"label": "Спорт",
|
||||
"value": "Спорт"
|
||||
},
|
||||
{
|
||||
"label": "Сэйнэн",
|
||||
"value": "Сэйнэн"
|
||||
},
|
||||
{
|
||||
"label": "Сюаньхуа",
|
||||
"value": "Сюаньхуа"
|
||||
},
|
||||
{
|
||||
"label": "Трагедия",
|
||||
"value": "Трагедия"
|
||||
},
|
||||
{
|
||||
"label": "Триллер",
|
||||
"value": "Триллер"
|
||||
},
|
||||
{
|
||||
"label": "Ужасы",
|
||||
"value": "Ужасы"
|
||||
},
|
||||
{
|
||||
"label": "Фантастика",
|
||||
"value": "Фантастика"
|
||||
},
|
||||
{
|
||||
"label": "Фэнтези",
|
||||
"value": "Фэнтези"
|
||||
},
|
||||
{
|
||||
"label": "Школьная жизнь",
|
||||
"value": "Школьная жизнь"
|
||||
},
|
||||
{
|
||||
"label": "Экшн",
|
||||
"value": "Экшн"
|
||||
},
|
||||
{
|
||||
"label": "Эротика",
|
||||
"value": "Эротика"
|
||||
},
|
||||
{
|
||||
"label": "Этти",
|
||||
"value": "Этти"
|
||||
},
|
||||
{
|
||||
"label": "Яой",
|
||||
"value": "Яой"
|
||||
},
|
||||
{
|
||||
"label": "Adult",
|
||||
"value": "Adult"
|
||||
},
|
||||
{
|
||||
"label": "Mature",
|
||||
"value": "Mature"
|
||||
},
|
||||
{
|
||||
"label": "Xianxia",
|
||||
"value": "Xianxia"
|
||||
},
|
||||
{
|
||||
"label": "Xuanhuan",
|
||||
"value": "Xuanhuan"
|
||||
}
|
||||
],
|
||||
"value": []
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,14 @@
|
||||
[
|
||||
{
|
||||
"id": "ifreedom",
|
||||
"sourceSite": "https://ifreedom.su",
|
||||
"sourceName": "Свободный Мир Ранобэ",
|
||||
"filters": {}
|
||||
},
|
||||
{
|
||||
"id": "bookhamster",
|
||||
"sourceSite": "https://bookhamster.ru",
|
||||
"sourceName": "Bookhamster",
|
||||
"filters": {}
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,222 @@
|
||||
import { fetchApi } from '@libs/fetch';
|
||||
import { Filters, FilterTypes } from '@libs/filterInputs';
|
||||
import { Plugin } from '@/types/plugin';
|
||||
import { NovelStatus } from '@libs/novelStatus';
|
||||
import { load as parseHTML } from 'cheerio';
|
||||
import dayjs from 'dayjs';
|
||||
|
||||
export type IfreedomMetadata = {
|
||||
id: string;
|
||||
sourceSite: string;
|
||||
sourceName: string;
|
||||
filters?: Filters;
|
||||
};
|
||||
|
||||
class IfreedomPlugin implements Plugin.PluginBase {
|
||||
id: string;
|
||||
name: string;
|
||||
icon: string;
|
||||
site: string;
|
||||
version: string;
|
||||
filters?: Filters;
|
||||
|
||||
constructor(metadata: IfreedomMetadata) {
|
||||
this.id = metadata.id;
|
||||
this.name = metadata.sourceName;
|
||||
this.icon = `multisrc/ifreedom/${metadata.id.toLowerCase()}/icon.png`;
|
||||
this.site = metadata.sourceSite;
|
||||
this.version = '1.0.2';
|
||||
this.filters = metadata.filters;
|
||||
}
|
||||
|
||||
async popularNovels(
|
||||
page: number,
|
||||
{
|
||||
filters,
|
||||
showLatestNovels,
|
||||
}: Plugin.PopularNovelsOptions<typeof this.filters>,
|
||||
): Promise<Plugin.NovelItem[]> {
|
||||
let url =
|
||||
this.site +
|
||||
'/vse-knigi/?sort=' +
|
||||
(showLatestNovels
|
||||
? 'По дате обновления'
|
||||
: filters?.sort?.value || 'По рейтингу');
|
||||
|
||||
Object.entries(filters || {}).forEach(([type, { value }]) => {
|
||||
if (value instanceof Array && value.length) {
|
||||
url += '&' + type + '[]=' + value.join('&' + type + '[]=');
|
||||
}
|
||||
});
|
||||
|
||||
url += '&bpage=' + page;
|
||||
|
||||
const body = await fetchApi(url).then(res => res.text());
|
||||
const loadedCheerio = parseHTML(body);
|
||||
|
||||
const novels: Plugin.NovelItem[] = loadedCheerio(
|
||||
'div.one-book-home > div.img-home a',
|
||||
)
|
||||
.map((index, element) => ({
|
||||
name: loadedCheerio(element).attr('title') || '',
|
||||
cover: loadedCheerio(element).find('img').attr('src'),
|
||||
path:
|
||||
loadedCheerio(element).attr('href')?.replace?.(this.site, '') || '',
|
||||
}))
|
||||
.get()
|
||||
.filter(novel => novel.name && novel.path);
|
||||
|
||||
return novels;
|
||||
}
|
||||
|
||||
async parseNovel(novelPath: string): Promise<Plugin.SourceNovel> {
|
||||
const body = await fetchApi(this.site + novelPath).then(res => res.text());
|
||||
const loadedCheerio = parseHTML(body);
|
||||
|
||||
const novel: Plugin.SourceNovel = {
|
||||
path: novelPath,
|
||||
name: loadedCheerio('.entry-title').text(),
|
||||
cover: loadedCheerio('.img-ranobe > img').attr('src'),
|
||||
summary: loadedCheerio('meta[name="description"]').attr('content'),
|
||||
};
|
||||
|
||||
loadedCheerio('div.data-ranobe').each(function () {
|
||||
switch (loadedCheerio(this).find('b').text()) {
|
||||
case 'Автор':
|
||||
novel.author = loadedCheerio(this)
|
||||
.find('div.data-value')
|
||||
.text()
|
||||
.trim();
|
||||
break;
|
||||
case 'Жанры':
|
||||
novel.genres = loadedCheerio('div.data-value > a')
|
||||
.map((index, element) => loadedCheerio(element).text()?.trim())
|
||||
.get()
|
||||
.join(',');
|
||||
break;
|
||||
case 'Статус книги':
|
||||
novel.status = loadedCheerio('div.data-value')
|
||||
.text()
|
||||
.includes('активен')
|
||||
? NovelStatus.Ongoing
|
||||
: NovelStatus.Completed;
|
||||
break;
|
||||
}
|
||||
});
|
||||
|
||||
if (novel.author == 'Не указан') delete novel.author;
|
||||
|
||||
const chapters: Plugin.ChapterItem[] = [];
|
||||
const totalChapters = loadedCheerio('div.li-ranobe').length;
|
||||
|
||||
loadedCheerio('div.li-ranobe').each((chapterIndex, element) => {
|
||||
const name = loadedCheerio(element).find('a').text();
|
||||
const url = loadedCheerio(element).find('a').attr('href');
|
||||
if (
|
||||
!loadedCheerio(element).find('label.buy-ranobe').length &&
|
||||
name &&
|
||||
url
|
||||
) {
|
||||
const releaseDate = loadedCheerio(element)
|
||||
.find('div.li-col2-ranobe')
|
||||
.text()
|
||||
.trim();
|
||||
|
||||
chapters.push({
|
||||
name,
|
||||
path: url.replace(this.site, ''),
|
||||
releaseTime: this.parseDate(releaseDate),
|
||||
chapterNumber: totalChapters - chapterIndex,
|
||||
});
|
||||
}
|
||||
});
|
||||
|
||||
novel.chapters = chapters.reverse();
|
||||
return novel;
|
||||
}
|
||||
|
||||
async parseChapter(chapterPath: string): Promise<string> {
|
||||
const body = await fetchApi(this.site + chapterPath).then(res =>
|
||||
res.text(),
|
||||
);
|
||||
let chapterText =
|
||||
body.match(/<article id="([\s\S]*?)<\/article>/)?.[0] || '';
|
||||
chapterText = chapterText.replace(/<script[^>]*>[\s\S]*?<\/script>/gim, '');
|
||||
|
||||
if (chapterText.includes('<img')) {
|
||||
return chapterText.replace(/srcset="([^"]+)"/g, (match, src) => {
|
||||
if (!src) return match;
|
||||
const bestlink = src
|
||||
.split(' ')
|
||||
.filter((url: string) => url.startsWith('http'))
|
||||
.pop();
|
||||
|
||||
if (bestlink) {
|
||||
return `src="${bestlink}"`;
|
||||
}
|
||||
return match;
|
||||
});
|
||||
}
|
||||
|
||||
return chapterText;
|
||||
}
|
||||
|
||||
async searchNovels(
|
||||
searchTerm: string,
|
||||
page: number | undefined = 1,
|
||||
): Promise<Plugin.NovelItem[]> {
|
||||
const url =
|
||||
this.site +
|
||||
'/vse-knigi/?searchname=' +
|
||||
encodeURIComponent(searchTerm) +
|
||||
'&bpage=' +
|
||||
page;
|
||||
const result = await fetchApi(url).then(res => res.text());
|
||||
const loadedCheerio = parseHTML(result);
|
||||
|
||||
const novels: Plugin.NovelItem[] = loadedCheerio(
|
||||
'div.one-book-home > div.img-home a',
|
||||
)
|
||||
.map((index, element) => ({
|
||||
name: loadedCheerio(element).attr('title') || '',
|
||||
cover: loadedCheerio(element).find('img').attr('src'),
|
||||
path:
|
||||
loadedCheerio(element).attr('href')?.replace?.(this.site, '') || '',
|
||||
}))
|
||||
.get()
|
||||
.filter(novel => novel.name && novel.path);
|
||||
|
||||
return novels;
|
||||
}
|
||||
|
||||
parseDate = (dateString: string | undefined = '') => {
|
||||
const months: Record<string, number> = {
|
||||
января: 1,
|
||||
февраля: 2,
|
||||
марта: 3,
|
||||
апреля: 4,
|
||||
мая: 5,
|
||||
июня: 6,
|
||||
июля: 7,
|
||||
августа: 8,
|
||||
сентября: 9,
|
||||
октября: 10,
|
||||
ноября: 11,
|
||||
декабря: 12,
|
||||
};
|
||||
|
||||
if (dateString.includes('.')) {
|
||||
const [day, month, year] = dateString.split('.');
|
||||
if (day && month && year) {
|
||||
return dayjs(year + '-' + month + '-' + day).format('LL');
|
||||
}
|
||||
} else if (dateString.includes(' ')) {
|
||||
const [day, month] = dateString.split(' ');
|
||||
if (day && months[month]) {
|
||||
const year = new Date().getFullYear();
|
||||
return dayjs(year + '-' + months[month] + '-' + day).format('LL');
|
||||
}
|
||||
}
|
||||
return dateString || null;
|
||||
};
|
||||
}
|
||||
Reference in New Issue
Block a user