|
| Написано: |
2019 року |
|
| Розділ: |
Наукова |
|
| Додав: |
balik2
|
|
| Твір додано: |
12.10.2019 |
|
| Твір змінено: |
12.10.2019 |
|
| Завантажити: |
pdf
див.
(3.6 МБ)
|
|
| Опис: |
Шварц М.Є. Гібридні моделі і методи прогнозування рекомендацій для
інтернет-магазину. – Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня кандидата технічних наук
(доктора філософії) за спеціальністю 01.05.03 – «Математичне і програмне
забезпечення обчислювальних машин і систем» – Національний університет
«Львівська політехніка» , Міністерство освіти і науки України, Львів, 2019.
Зміст дисертації. У дисертаційній роботі розв’язано наукове завдання
розроблення і дослідження гібридних моделей і методів прогнозування
рекомендацій для інтернет-магазину, які можуть бути використані і при
функціонуванні інших суб’єктів електронної комерції, таких, як електронні
торгові ряди, інтернет-вітрини, інформаційно-пошукові системи, пошукові
системи в глобальній мережі Інтернет. Основне призначення рекомендаційних
систем – надання рекомендацій користувачам при виборі предметів, які
найбільше відповідають їх інтересам та вподобанням. Предметами можуть
бути товари, об’єкти або послуги.
Розробленню і впровадженню рекомендаційних систем сприяв стрімкий
розвиток інформаційно-комунікаційних технологій, а саме, Інтернет, як
всесвітньої мережі для зберігання і передачі інформації, а також Всесвітньої
павутини (WWW, Word Wide Web). На даний час в Інтернеті зберігається
1,2∙10 9
сайтів, які містять 16,2∙10 70
байтів інформації. Прогнозується, що до
2020 року цей показник зросте до 44∙10 70 байтів. Таким чином на даний час
проблема полягає не у відсутності інформації, а у відсутності ефективних
механізмів пошуку інформації. Сучасні пошукові системи (Google, Yahoo)
повертають значно більший об’єм інформації, ніж користувач здатний
обробити. Користувачеві може не вистачати знань, часу або досвіду, або того
й іншого, щоб вибрати те, що відповідає його потребам. Користувач явно або
побічно надає системі інформацію про свої уподобання. Таким чином,
рекомендаційна система для інтернет-магазину подається у вигляді системи
(програми), що використовує певний алгоритм фільтрації та наявну 3
інформацію про потреби користувача, щоб рекомендувати йому набір об'єктів,
які він вважає найбільш корисними для себе.
У дисертаційній роботі отримав подальший розвиток метод розрахунку
коефіцієнтів подібності векторів профілів користувачів і векторів профілів
предметів, який на відміну від існуючих, використовує демографічні
характеристики користувачів, що дозволяє підвищити точність прогнозування
рекомендацій і визначати коефіцієнти подібності для нового користувача і
нового предмета.
На основі концепції застосування в одному методі категоріальної,
мішаної і числової кластеризації вперше розроблено метод пошуку груп
користувачів, який адаптується до розрідженості матриці користувач-предмет.
Отримав подальший розвиток метод мішаної кластеризації, який
використовується для кластеризації категоріально-числових векторів профілів
користувачів і, на відміну від існуючих, автоматично вибирає центри
кластерів і дозволяє зменшити час пошуку груп користувачів при високій
точності виділення груп.
Отримав подальший розвиток метод збільшення різноманітності
рекомендованих предметів, який дозволяє врахувати оцінки подібних товарів
в околі товарів активного користувача і вирішує проблему «довгого хвоста».
Удосконалено метод прогнозування рекомендацій для користувачів
інтернет-магазину, який, на відміну від інших існуючих методів, використовує
алгоритм пошуку асоціативних правил Apriori за допомогою адаптивної зміни
підтримки асоціативних правил.
У першому розділі виділені основні класи електронної комерції,
показано, що інтернет-магазин є одною із основних систем електронної
комерції, виконана класифікація і виділені основні види інтернет-магазинів,
наведені основні кроки роботи інтернет-магазину, розроблена структура
роботи інтернет-магазину, показана область застосування рекомендаційних
систем в структурі роботи інтернет-магазину, наведені структури Веб-сайтів
для інтернет-магазину, показано зв’язок структури Веб-сайту із процесом 4
надання рекомендацій, наведені основні метрики ефективності роботи
інтернет-магазину, виділені особливості застосування рекомендаційних
систем в роботі інтернет-магазину. До таких метрик належать: кількість
відвідувачів веб-сайту інтернет магазину, коефіцієнт конверсії, коефіцієнт
супутніх продаж, коефіцієнт додаткових продаж. Показано, що в інтернет-
магазині можна виділити три види рекомендаційних систем: вхідна
рекомендаційна система, рекомендаційна система супутніх продаж,
рекомендаційна система додаткових продаж. Сформульована загальна задача
пошуку найкращої рекомендації: для заданої множини користувачів і заданої
множини предметів рекомендаційна система для інтернет-магазину повинна
рекомендувати користувачу такі предмети, які будуть відповідати його
дійсним потребам.
У другому розділі дисертаційної роботи розроблена формальна модель
задачі прогнозування рекомендацій методом колаборативної (спільної)
фільтрації для інтернет-магазину. Показано, що формальна модель включає
множину користувачів, множину предметів, матрицю користувач-предмет.
Елементами матриці користувач-предмет є рейтингові числові оцінки, які
користувачі виставляють вибраним предметам. Наведені особливості
формальної моделі для прогнозування рекомендацій з урахуванням груп
користувачів. Дана характеристика метрик подібності векторів в
багатовимірному просторі. Виконано порівняння існуючих методів
розрахунку коефіцієнтів подібності в методі зваженої суми для прогнозування
рекомендацій. Проведено теоретичне і експериментальне дослідження таких
метрик подібності, як косинусна відстань, коефіцієнт кореляції Пірсона,
обернена евклідова відстань. Показано, що найбільшу точність дає обернена
евклідова відстань. Удосконалено метод розрахунку коефіцієнтів подібності,
який, на відміну від існуючих, використовує обернену евклідову відстань між
векторами профілів користувачів і демографічних характеристик
користувачів, показано можливість застосування цього методу для рішення
задачі «холодного старту». 5
У третьому розділі дисертаційної роботи розроблено гібридний метод
пошуку груп користувачів, який адаптується до розрідженості матриці
користувач-предмет. Суть методу полягає в тому, що він використовує чітку
кластеризацію, мішану кластеризацію і категоріальну кластеризацію. Вибір
методу залежить від коефіцієнта розрідженості матриці користувач-предмет.
При малій розрідженості використовується модифікований метод k-середніх,
При великій розрідженості використовується двохетапний метод
категоріальної і чіткої числової кластеризації. При деякому середньому
значенні коефіцієнта розрідженості використовується запропонований в
роботі метод мішаної кластеризації. Для сформованих груп користувачів
показано застосування прогнозування рекомендацій для групи в цілому, а не
для кожного окремого користувача в групі. Розроблено новий метод мішаної
кластеризації, який враховує категоріальні і числові складові вектора профілю
користувача і автоматично вибирає центри кластерів; показано застосування
методів прогнозування рекомендацій для груп користувачів; розроблено метод
прогнозування рекомендацій на основі пошуку асоціативних правил за
допомогою алгоритму Apriori, який використовує алгоритм пошуку
асоціативних правил за допомогою адаптивної зміни підтримки асоціативних
правил. Розроблено метод прогнозування рекомендацій для супутніх продаж
(cross-selling), режиму додаткових продаж (up-selling) і режиму
післяпродажної роботи (e-mail marketing), розроблено метод збільшення
різноманітності товарів, які пропонує інтернет-магазин і дозволяє вирішити
проблему «довгого хвоста».
У четвертому розділі дисертаційної роботи розроблено інформаційне
забезпечення для тестування моделей і методів прогнозування рекомендацій
для інтернет-магазину, розроблена структура математичного забезпечення,
розроблена структура програмного забезпечення, яка дозволяє вибрати метод
прогнозування рекомендацій, метод пошуку груп користувачів, метод
прогнозування рекомендацій в групі користувачів, метод прогнозування
рекомендацій для формування додаткових продаж, метод прогнозування
рекомендацій для супутніх продаж, метод прогнозування рекомендацій для
післяпродажного супроводу користувача, метод розрахунку точності
прогнозування, величину поділу тестової матриці користувач-предмет на
прогнозовану і тестову частини. Наведені результати експериментальних
досліджень розроблених моделей, методів і алгоритмів. Експериментальні
дослідження проведені на тестовому наборі даних MoviLens.
Ключові слова: рекомендаційна система, інтернет-магазин,
прогнозування рекомендацій, колаборативна фільтрація, групи користувачів,
мішана кластеризація, асоціативні правила. |
|
| Зміст: |
[натисніть, щоб розгорнути]
Перелік умовних позначень, символів, одиниць, скорочень і термінів ........ 19
Вступ ..................................................................................................................... 20
Розділ 1. Аналіз сучасного стану моделей і методів прогнозування
рекомендацій в рекомендаційних систем інтернет-магазинів ............ 32
1.1. Електронний бізнес, електронна комерція, основні класи
електронної комерції ................................................................................ 32
1.2. Системи електронної комерції, які розраховані на взаємодію
бізнесу і користувача (споживчий сектор (В2С)) .................................. 33
1.3. Структурна схема функціонування інтернет-магазину ........................ 33
1.4. Структури Веб-сайтів для інтернет-магазину ........................................ 36
1.4.1. Типи структур сайтів ................................................................................ 36
1.4.2. Деревоподібна структура ......................................................................... 37
1.4.3. Структура, яка складається із тегів ......................................................... 37
1.4.4. Вимоги до оптимальної структури сайту інтернет-магазину .............. 38
1.5. Основні метрики ефективності інтернет-магазинів .............................. 39
1.5.1. Кількість відвідувачів інтернет-магазину .............................................. 39
1.5.2. Коефіцієнт конверсії ................................................................................. 39
1.5.3. Коефіцієнт лояльності .............................................................................. 40
1.5.4. Коефіцієнт супутніх продаж .................................................................... 40
1.5.5. Коефіцієнт додаткових продаж ............................................................... 41
1.6. Методи рішення задач прогнозування рейтингів .................................. 41
1.6.1. Рекомендаційні системи, які використовують контентну
фільтрацію ................................................................................................. 43
1.6.2. Колаборативні рекомендаційні системи ................................................. 44
1.6.3. Демографічні рекомендаційні системи .................................................. 44
1.6.4. Системи рекомендацій, які використовують знання ............................. 45
1.6.5. Системи рекомендацій для груп користувачів ...................................... 46
1.6.6. Основні проблеми в прогнозуванні рекомендацій ................................ 47 17
1.7. Висновки до розділу 1 .............................................................................. 50
Розділ 2. Розроблення і дослідження моделей і методів прогнозування
рекомендацій для інтернет-магазину ...................................................... 51
2.1. Модель прогнозування рекомендацій предметів інтернет-магазину
методом колаборативної фільтрації ........................................................ 53
2.2. Аналіз методів обчислення коефіцієнтів подібності
векторів профілів користувачів і предметів ........................................... 55
2.3. Метод користувач-користувач прогнозування рейтингів .................... 58
2.4. Метод предмет-предмет прогнозування рейтингів ............................... 59
2.5. Метод розрахунку коефіцієнту подібності з урахуванням
розрідженості і довжини векторів профілів ........................................... 59
2.6. Використання демографічних характеристик користувачів при
прогнозуванні рекомендацій .................................................................... 65
2.7. Висновки до розділу 2 .............................................................................. 69
Розділ 3. Розроблення і дослідження гібридних методів і засобів для
прогнозування рекомендацій в рекомендаційній системі для
інтернет-магазину ..................................................................................... 70
3.1. Прогнозування рекомендацій на основі методу пошуку
асоціативних правил ................................................................................. 70
3.2. Метод прогнозування рекомендацій для груп користувачів з
врахуванням розрідженості матриці користувач-предмет ................... 82
3.3. Моделі прогнозування рекомендацій для предметів у методі
прогнозування рекомендацій для груп користувачів ............................ 90
3.4. Формальні теоретико-множинні моделі прогнозування
рекомендацій для перехресних продаж (cross-selling) і додаткових
продаж (up-selling) .................................................................................... 94
3.5. Метод збільшення різноманітності прогнозованих предметів ............ 95
3.6. Висновки до розділу 3 ............................................................................ 100
Розділ 4. Розроблення і дослідження математичного і програмного
забезпечення рекомендаційної системи інтернет-магазину ............... 101 18
4.1. Вибір засобів розроблення системи ...................................................... 102
4.2. Структура рекомендаційної системи .................................................... 102
4.3. Структура програмного забезпечення рекомендаційної системи ..... 105
4.4. Структура класів програмного забезпечення рекомендаційної
системи ..................................................................................................... 106
4.5. Інформаційне забезпечення рекомендаційної системи....................... 114
4.6. Розділення тестової матриці користувач-предмет на розрахункову
та тестові множини ................................................................................. 117
4.6.1. Можливість вибору методу розділення ................................................ 117
4.6.2. Принцип роботи з заздалегідь визначеним розділенням .................... 117
4.7. Оцінка точності ....................................................................................... 118
4.7.1. Середня абсолютна похибка і нормавана середня абсолютна
похибка ..................................................................................................... 118
4.7.2. Коренева середньо квадратична похибка ............................................. 119
4.8. Блок-схеми алгоритмів для методів рекомендаційної системи ......... 119
4.9. Результати тестування на наборі даних MovieLens ............................ 128
4.10. Висновки до розділу 4 ............................................................................ 133
Загальні висновки .............................................................................................. 134
Список викоританих джерел ............................................................................ 136
Додаток А. Список публікацій здобувача за темою дисертації та відомості
про апробацію результатів дисертації .................................................. 149
Додаток Б. Акт впровадження результатів дисертації .................................. 152
|
|
|
