Формула
1. Способ определения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а способ выполняется на сервере и включает в себя:
представление первой версии страницы результатов поиска (SERP) первому набору пользователей и второй версии страницы результатов поиска (SERP) второму набору пользователей;
оценку первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий;
определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно;
анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, причем анализ включает в себя:
определение набора соотношений, причем каждое соотношений в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно;
определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями;
определение степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений; и
определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии;
в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.
2. Способ по п. 1, в котором анализ дополнительно включает в себя:
определение пары распределений, по меньшей мере частично основанных на самом высоком и самом низком соотношениях, причем определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно; и
определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии на основе пары распределений.
3. Способ по п. 1, в котором определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя:
каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.
4. Способ по п. 1, в котором сочетание самого низкого и самого высокого соотношения определяется с использованием:
.
5. Способ по п. 1, в котором определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии включает в себя применение по меньшей мере одного из:
критерия Колмогорова-Смирнова
сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента.
6. Способ по п. 2, в котором определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.
7. Способ по п. 3, в котором бины первых показателей пользовательских взаимодействий обладают такими же интервалами, как и бины вторых показателей пользовательских взаимодействий.
8. Сервер, включающий в себя процессор и машиночитаемые инструкции для определения возникновения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), причем процессор выполнен с возможностью осуществлять:
представление первой версии страницы результатов поиска (SERP) первому набору пользователей и второй версии страницы результатов поиска (SERP) второму набору пользователей;
оценку первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий;
определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно;
анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, причем анализ включает в себя:
определение набора соотношений, причем каждое соотношений в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно;
определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями;
определение степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений; и
определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии;
в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.
9. Сервер по п. 8, в котором анализ дополнительно включает в себя:
определение пары распределений, по меньшей мере частично основанных на самом высоком и самом низком соотношениях, причем это определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно; и
определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии на основе пары распределений.
10. Сервер по п. 8, в котором определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя:
каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.
11. Сервер по п. 8, в котором сочетание самого низкого и самого высокого соотношения определяется с использованием:
.
12. Сервер по п. 8, в котором определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии включает в себя применение по меньшей мере одного из:
критерия Колмогорова-Смирнова
сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента.
13. Сервер по п. 9, в котором определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.
14. Сервер по п. 10, в котором бины первых показателей пользовательских взаимодействий обладают такими же интервалами, как и бины вторых показателей пользовательских взаимодействий.