Nexi
Спасибо
Nikita 🐋
> но на большом количестве тестов эти вещи нивелируются
Проблема именно в этом. Люди не понимают, что "большом" — имеется ввиду именно "большом", а не "столько, сколько сможем по сусекам нагрести"
Nikita 🐋
> будут иметь сильно меньший вес
Это ложное утверждение, которое вас заставляет сделать именно иллюзия контроля
Nikita 🐋
> А, ну ещё можно померять общий импакт контрольной группой - сравнить ожидаемый буст с реальным
Конечно, только контрольную группу создать невозможно.
Nikita 🐋
> внося свой bias осознанно или неосознанно
Скорее, игнорируя миллиарды bias'ов, которые как зависят, так и не зависят от экспериментаторов
Nikita 🐋
слишком высокая вера в слишком плохо статистически работающий инструмент
Nikita 🐋
не стоит путать продуктовые A/B тесты в условиях с невозможностью контролировать факторы — и научные исследования
Nikita 🐋
вы, похоже, совсем не знакомы с понятием размера выборки
Nikita 🐋
надеюсь, я логику понятно объяснил
Nikita 🐋
хорошего вечера!
Bruce Banner
Пользователь забанен по всем сообществам
Nikita 🐋
Думаю можно это подтвердить или опровергнуть проведя A/B тест при этом не сделав никакого изменения
> не сделав никакого изменения
Это невозможно в рамках системы, когда изменения не зависят от экспериментаторов
Nikita 🐋
Какая то софистика- под изменчивость мира можно подвести любую идею
Именно так, поэтому всегда нужно делать на это поправку, что не делают АБ экспериментаторы.
Nikita 🐋
> другая контрольная не получает никаких изменений
Это невозможно
Nikita 🐋
Это как если бы было клиническое исследование препарата, который лечит рак — но кто-то бегал вокруг с волшебной палочкой и раздавал случайно участникам рак, от которого те бы умирали за 10 минут.
И этот кто-то абсолютно неподконтролен исследователям.
Невозможно, потому что внешние неконтролируемые факторы имеют гораздо большее влияние на исследуемую выборку, чем любое изменение в рамках АБ тестов
Nikita 🐋
абсолютно случайным образом — и в большом количество случаев было бы почти неотличимо от позитивных или негативных результатов АБ теста
Nikita 🐋
пример из поста показателен:
АБ тест: показывать баклажан на лендинге или нет. 50% пользователей его видят, 50% — нет.
Ведем АБ тест полгода. Видим, что после ввода баклажана на лендинг, конверсия прыгнула на 500%.
Заключение? Баклажан повышает конверсию. Ведь это единственное изменение за полгода.
Реальность? Гугл изменил свои алгоритмы и начал приводить на сайт более целевой трафик с меньшим количеством баунсеров
Nikita 🐋
пример из поста показателен:
АБ тест: показывать баклажан на лендинге или нет. 50% пользователей его видят, 50% — нет.
Ведем АБ тест полгода. Видим, что после ввода баклажана на лендинг, конверсия прыгнула на 500%.
Заключение? Баклажан повышает конверсию. Ведь это единственное изменение за полгода.
Реальность? Гугл изменил свои алгоритмы и начал приводить на сайт более целевой трафик с меньшим количеством баунсеров
гугл влияет на конверсию сильнее, чем баклажан на лендинге
Nikita 🐋
гугл влияет на конверсию сильнее, чем баклажан на лендинге
не понимая этого, мы оставляем баклажан на лендинге, который, вероятно, может и вредить, *понижая* конверсию — но мы этого не знаем
Nikita 🐋
вполне, почему бы и нет
Nikita 🐋
это мы учитываем только один фактор — гугл
Nikita 🐋
а их миллиарды с разными комбинациями
верить в АБ тесты на недостаточной выборке — это недооценивать роль случая
A
Bruce Banner
Пользователь забанен по всем сообществам
Nikita 🐋
Да! Проблема в достаточности выборки и однородности групп
Nikita 🐋
Да!
Nikita 🐋
https://borodutch.com/
Nikita 🐋
добавил твиттор
Yakov
Держи
Вертикальных
У меня как раз
Они лишние
Nexi
> не сделав никакого изменения
Это невозможно в рамках системы, когда изменения не зависят от экспериментаторов
Я имею ввиду изменения от экспериментатора
Lama
Yakov
Yakov
Индид
Nikita 🐋
Я имею ввиду изменения от экспериментатора
нельзя игнорировать изменения, которые не зависят от экспериментатора — это и есть та самая иллюзия контроля
Nikita 🐋
Nikita 🐋
johnnykramer
Yakov
добавил, пасяб, на твоем экране просто какое-то интересное разрешение
Ничего не поменялось, эт норм?
johnnykramer
Yakov
Nexi
нельзя игнорировать изменения, которые не зависят от экспериментатора — это и есть та самая иллюзия контроля
Никита, я как раз и имею ввиду что вашу теорию можно подтвердить либо опровергнуть не проведя вообще никаких изменений в приложении/рекламе/продукте и сравнить данные как если бы это было A/B тестирование
Nikita 🐋
Anonymous
Рубрика #мюсли
Вам не нужны A/B тесты. У вас они работать не будут. Они работают на гигантских количествах пользователей, а не на вашей тысяче активных ежедневных.
Запускать A/B тесты до первого миллиона DAU — это падать жертвой когнитивного искажения иллюзии контроля.
Нет, это не баклажан на лендинге увеличил конверсию, это по воле случая Гугл изменил алгоритмы и вам начал идти более целевой трафик.
Не тешьте себя мыслями о том, что можете объяснить хаос этого мира. Энтропию не победить, можно только работать вокруг нее.
Никита, чтобы тестить код на баги, ты используешь какие-нибудь тесты или всё вручную?
Alexander
Alexander
ура
Alexander
ээ
Alexander
а щтобудет там
Ооо, Амігос (Заєць 2.0)
На улице 91% влажности
Ооо, Амігос (Заєць 2.0)
Ооо, Амігос (Заєць 2.0)
Никому не посоветую
Alexander
Ещё раз, сколько потребуется времени чтобы баклажан кончил? Понимаю, что задача обширная, можем в четыре руки одновременно.
работает ли тут подход с 9 дженщинами рожающими ребенка за 1 месяц?
Игорь
Nikita 🐋
Nikita 🐋
johnnykramer
Yakov
Anonymous
+
Lovecoin
johnnykramer
Null
luckyshik
johnnykramer
Пора выбирать яхты всем чатиком
Nikita 🐋
так, как это в USDT перевести...
Igor