Fixes linter errors

This commit is contained in:
freearhey 2023-10-15 14:08:23 +03:00
parent 57e508fc3b
commit 63c86a2b30
393 changed files with 28447 additions and 28443 deletions

View file

@ -1,106 +1,106 @@
const axios = require('axios')
const cheerio = require('cheerio')
const dayjs = require('dayjs')
const utc = require('dayjs/plugin/utc')
const timezone = require('dayjs/plugin/timezone')
const customParseFormat = require('dayjs/plugin/customParseFormat')
dayjs.extend(utc)
dayjs.extend(timezone)
dayjs.extend(customParseFormat)
const API_ENDPOINT = 'https://www.nuevosiglo.com.uy/programacion/getGrilla'
module.exports = {
site: 'nuevosiglo.com.uy',
days: 2,
url({ date }) {
return `${API_ENDPOINT}?fecha=${date.format('YYYY/MM/DD')}`
},
request: {
cache: {
ttl: 60 * 60 * 1000 // 1 hour
}
},
async parser({ content, channel }) {
const programs = []
const items = parseItems(content, channel)
for (let item of items) {
const $item = cheerio.load(item)
const programId = parseProgramId($item)
const details = await loadProgramDetails(programId)
if (!details) continue
programs.push({
title: details.main_title,
description: details.short_argument,
icon: parseIcon(details),
actors: parseActors(details),
rating: parseRating(details),
date: details.year,
start: parseStart(details),
stop: parseStop(details)
})
}
return programs
},
async channels() {
const data = await axios
.get(`${API_ENDPOINT}?fecha=${dayjs().format('YYYY/MM/DD')}`)
.then(r => r.data)
.catch(console.error)
const $ = cheerio.load(data)
return $('img')
.map(function () {
return {
lang: 'es',
site_id: $(this).attr('alt').replace('&', '&'),
name: $(this).attr('alt')
}
})
.get()
}
}
function parseProgramId($item) {
return $item('*').data('schedule')
}
function loadProgramDetails(programId) {
return axios
.get(`https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/${programId}`)
.then(r => r.data)
.catch(console.log)
}
function parseRating(details) {
return details.parental_rating
? {
system: 'MPAA',
value: details.parental_rating
}
: null
}
function parseActors(details) {
return details.actors.split(', ')
}
function parseIcon(details) {
return details.image ? `https://img-ns.s3.amazonaws.com/grid_data/${details.image}` : null
}
function parseStart(details) {
return dayjs.tz(details.time_start, 'YYYY-MM-DD HH:mm:ss', 'America/Montevideo')
}
function parseStop(details) {
return dayjs.tz(details.time_end, 'YYYY-MM-DD HH:mm:ss', 'America/Montevideo')
}
function parseItems(content, channel) {
const $ = cheerio.load(content)
return $(`img[alt="${channel.site_id}"]`).first().nextUntil('img').toArray()
}
const axios = require('axios')
const cheerio = require('cheerio')
const dayjs = require('dayjs')
const utc = require('dayjs/plugin/utc')
const timezone = require('dayjs/plugin/timezone')
const customParseFormat = require('dayjs/plugin/customParseFormat')
dayjs.extend(utc)
dayjs.extend(timezone)
dayjs.extend(customParseFormat)
const API_ENDPOINT = 'https://www.nuevosiglo.com.uy/programacion/getGrilla'
module.exports = {
site: 'nuevosiglo.com.uy',
days: 2,
url({ date }) {
return `${API_ENDPOINT}?fecha=${date.format('YYYY/MM/DD')}`
},
request: {
cache: {
ttl: 60 * 60 * 1000 // 1 hour
}
},
async parser({ content, channel }) {
const programs = []
const items = parseItems(content, channel)
for (let item of items) {
const $item = cheerio.load(item)
const programId = parseProgramId($item)
const details = await loadProgramDetails(programId)
if (!details) continue
programs.push({
title: details.main_title,
description: details.short_argument,
icon: parseIcon(details),
actors: parseActors(details),
rating: parseRating(details),
date: details.year,
start: parseStart(details),
stop: parseStop(details)
})
}
return programs
},
async channels() {
const data = await axios
.get(`${API_ENDPOINT}?fecha=${dayjs().format('YYYY/MM/DD')}`)
.then(r => r.data)
.catch(console.error)
const $ = cheerio.load(data)
return $('img')
.map(function () {
return {
lang: 'es',
site_id: $(this).attr('alt').replace('&', '&'),
name: $(this).attr('alt')
}
})
.get()
}
}
function parseProgramId($item) {
return $item('*').data('schedule')
}
function loadProgramDetails(programId) {
return axios
.get(`https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/${programId}`)
.then(r => r.data)
.catch(console.log)
}
function parseRating(details) {
return details.parental_rating
? {
system: 'MPAA',
value: details.parental_rating
}
: null
}
function parseActors(details) {
return details.actors.split(', ')
}
function parseIcon(details) {
return details.image ? `https://img-ns.s3.amazonaws.com/grid_data/${details.image}` : null
}
function parseStart(details) {
return dayjs.tz(details.time_start, 'YYYY-MM-DD HH:mm:ss', 'America/Montevideo')
}
function parseStop(details) {
return dayjs.tz(details.time_end, 'YYYY-MM-DD HH:mm:ss', 'America/Montevideo')
}
function parseItems(content, channel) {
const $ = cheerio.load(content)
return $(`img[alt="${channel.site_id}"]`).first().nextUntil('img').toArray()
}

View file

@ -1,100 +1,100 @@
// npm run channels:parse -- --config=./sites/nuevosiglo.com.uy/nuevosiglo.com.uy.config.js --output=./sites/nuevosiglo.com.uy/nuevosiglo.com.uy.channels.xml
// npm run grab -- --site=nuevosiglo.com.uy
const { parser, url } = require('./nuevosiglo.com.uy.config.js')
const fs = require('fs')
const path = require('path')
const axios = require('axios')
const dayjs = require('dayjs')
const utc = require('dayjs/plugin/utc')
const customParseFormat = require('dayjs/plugin/customParseFormat')
dayjs.extend(customParseFormat)
dayjs.extend(utc)
jest.mock('axios')
const date = dayjs.utc('2023-02-10', 'YYYY-MM-DD').startOf('d')
const channel = {
site_id: 'HBO',
xmltv_id: 'HBOLatinAmerica.us'
}
it('can generate valid url', () => {
expect(url({ date })).toBe(
'https://www.nuevosiglo.com.uy/programacion/getGrilla?fecha=2023/02/10'
)
})
it('can parse response', async () => {
axios.get.mockImplementation(url => {
if (url === 'https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/133769227') {
return Promise.resolve({
data: JSON.parse(fs.readFileSync(path.resolve(__dirname, '__data__/program1.json')))
})
} else if (url === 'https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/133769239') {
return Promise.resolve({
data: JSON.parse(fs.readFileSync(path.resolve(__dirname, '__data__/program2.json')))
})
} else {
return Promise.resolve({ data: '' })
}
})
const content = fs.readFileSync(path.resolve(__dirname, '__data__/content.html'), 'utf8')
let results = await parser({ content, channel })
results = results.map(p => {
p.start = p.start.toJSON()
p.stop = p.stop.toJSON()
return p
})
expect(results[0]).toMatchObject({
start: '2023-02-10T01:11:00.000Z',
stop: '2023-02-10T03:46:00.000Z',
title: 'Jurassic World: Dominion',
description:
'Años después de la destrucción de Isla Nublar, los dinosaurios viven y cazan junto a los humanos. Este equilibrio determinará, si los humanos seguirán siendo los depredadores máximos en un planeta que comparten con las criaturas temibles.',
icon: 'https://img-ns.s3.amazonaws.com/grid_data/23354476.jpg',
date: '2022',
rating: {
system: 'MPAA',
value: 'PG-13'
},
actors: ['Jeff Goldblum', 'Sam Neill', 'Bryce Dallas Howard']
})
expect(results[1]).toMatchObject({
start: '2023-02-11T02:06:00.000Z',
stop: '2023-02-11T04:16:00.000Z',
title: 'Black Adam',
description:
'Black Adam es liberado de su tumba casi cinco mil años después de haber sido encarcelado y recibir sus poderes de los antiguos dioses. Ahora está listo para desatar su forma única de justicia en el mundo.',
icon: 'https://img-ns.s3.amazonaws.com/grid_data/24638423.jpg',
date: '2022',
rating: {
system: 'MPAA',
value: 'PG-13'
},
actors: [
'Aldis Hodge',
'Dwayne Johnson',
'Noah Centineo',
'Sarah Shahi',
'Marwan Kenzari',
'Pierce Brosnan',
'Quintessa Swindell',
'Mohammed Amer',
'Bodhi Sabongui',
'James Cusati-Moyer'
]
})
})
it('can handle empty guide', async () => {
const results = await parser({
channel,
content: ''
})
expect(results).toMatchObject([])
})
// npm run channels:parse -- --config=./sites/nuevosiglo.com.uy/nuevosiglo.com.uy.config.js --output=./sites/nuevosiglo.com.uy/nuevosiglo.com.uy.channels.xml
// npm run grab -- --site=nuevosiglo.com.uy
const { parser, url } = require('./nuevosiglo.com.uy.config.js')
const fs = require('fs')
const path = require('path')
const axios = require('axios')
const dayjs = require('dayjs')
const utc = require('dayjs/plugin/utc')
const customParseFormat = require('dayjs/plugin/customParseFormat')
dayjs.extend(customParseFormat)
dayjs.extend(utc)
jest.mock('axios')
const date = dayjs.utc('2023-02-10', 'YYYY-MM-DD').startOf('d')
const channel = {
site_id: 'HBO',
xmltv_id: 'HBOLatinAmerica.us'
}
it('can generate valid url', () => {
expect(url({ date })).toBe(
'https://www.nuevosiglo.com.uy/programacion/getGrilla?fecha=2023/02/10'
)
})
it('can parse response', async () => {
axios.get.mockImplementation(url => {
if (url === 'https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/133769227') {
return Promise.resolve({
data: JSON.parse(fs.readFileSync(path.resolve(__dirname, '__data__/program1.json')))
})
} else if (url === 'https://www.nuevosiglo.com.uy/Programacion/getScheduleXId/133769239') {
return Promise.resolve({
data: JSON.parse(fs.readFileSync(path.resolve(__dirname, '__data__/program2.json')))
})
} else {
return Promise.resolve({ data: '' })
}
})
const content = fs.readFileSync(path.resolve(__dirname, '__data__/content.html'), 'utf8')
let results = await parser({ content, channel })
results = results.map(p => {
p.start = p.start.toJSON()
p.stop = p.stop.toJSON()
return p
})
expect(results[0]).toMatchObject({
start: '2023-02-10T01:11:00.000Z',
stop: '2023-02-10T03:46:00.000Z',
title: 'Jurassic World: Dominion',
description:
'Años después de la destrucción de Isla Nublar, los dinosaurios viven y cazan junto a los humanos. Este equilibrio determinará, si los humanos seguirán siendo los depredadores máximos en un planeta que comparten con las criaturas temibles.',
icon: 'https://img-ns.s3.amazonaws.com/grid_data/23354476.jpg',
date: '2022',
rating: {
system: 'MPAA',
value: 'PG-13'
},
actors: ['Jeff Goldblum', 'Sam Neill', 'Bryce Dallas Howard']
})
expect(results[1]).toMatchObject({
start: '2023-02-11T02:06:00.000Z',
stop: '2023-02-11T04:16:00.000Z',
title: 'Black Adam',
description:
'Black Adam es liberado de su tumba casi cinco mil años después de haber sido encarcelado y recibir sus poderes de los antiguos dioses. Ahora está listo para desatar su forma única de justicia en el mundo.',
icon: 'https://img-ns.s3.amazonaws.com/grid_data/24638423.jpg',
date: '2022',
rating: {
system: 'MPAA',
value: 'PG-13'
},
actors: [
'Aldis Hodge',
'Dwayne Johnson',
'Noah Centineo',
'Sarah Shahi',
'Marwan Kenzari',
'Pierce Brosnan',
'Quintessa Swindell',
'Mohammed Amer',
'Bodhi Sabongui',
'James Cusati-Moyer'
]
})
})
it('can handle empty guide', async () => {
const results = await parser({
channel,
content: ''
})
expect(results).toMatchObject([])
})