Переосмысленный браузер в эпоху ИИ: от поисковых систем до интеллектуальных агентов
Третья война браузеров тихо разворачивается. Оглядываясь на историю, с Netscape в 90-х, Internet Explorer от Microsoft, до Firefox с открытым исходным кодом и Google Chrome, борьба браузеров всегда была ярким примером изменения контроля над платформами и технологических парадигм. Chrome завоевал доминирующее положение благодаря скорости обновлений и взаимодействию экосистемы, в то время как Google создал замкнутый цикл информационного входа через "двуглавую" структуру поиска и браузера.
Однако сегодня эта схема начинает шататься. Растущее влияние больших языковых моделей (LLM) позволяет все большему числу пользователей выполнять задачи на страницах результатов поиска с "нулевым кликом", что приводит к снижению традиционного поведения кликов по веб-страницам. В то же время слухи о том, что Apple намеревается заменить поисковую систему по умолчанию в Safari, еще больше угрожают прибыли Alphabet, и рынок уже начинает проявлять беспокойство по поводу "ортодоксии поиска".
Браузер сам по себе также сталкивается с переосмыслением своей роли. Он больше не просто инструмент для отображения веб-страниц, а является контейнером для множества возможностей, таких как ввод данных, поведение пользователей, конфиденциальность и идентичность. Хотя AI Agent силен, для выполнения сложных взаимодействий на страницах, вызова локальных данных идентичности и управления элементами веб-страницы все еще требуется опираться на доверительные границы и функциональные песочницы браузера. Браузер превращается из интерфейса для человека в платформу системных вызовов для агентов.
На самом деле, то, что может разрушить текущую рыночную структуру браузеров, - это не другой "лучший Chrome", а новая структура взаимодействия: не просто представление информации, а вызов задач. Будущие браузеры должны быть разработаны для AI Agent - они должны не только читать, но и писать и выполнять. Проекты, такие как Browser Use, пытаются семантизировать структуру страниц, превращая визуальные интерфейсы в структурированный текст, который может вызываться LLM, значительно снижая затраты на взаимодействие.
На рынке основные проекты уже начали экспериментировать: Perplexity создаёт родной браузер Comet, заменяя традиционные результаты поиска ИИ; Brave сочетает защиту конфиденциальности с локальным выводом, используя LLM для улучшения функций поиска и блокировки; в то время как такие крипто-родные проекты, как Donut, нацелены на новый вход в взаимодействие между ИИ и активами на блокчейне. Общей чертой этих проектов является попытка реконструировать вводную часть браузера, а не улучшать его выходной уровень.
Для предпринимателей возможности скрыты в треугольных отношениях между вводом, структурой и агентом. Браузер как интерфейс для вызова мира будущего означает, что тот, кто сможет предоставить структурируемые, вызываемые и надежные "блоки возможностей", сможет стать частью нового поколения платформ. От SEO до AEO (Оптимизация Агентского Движка), от трафика страниц до вызова цепочек задач, форма продукта и дизайн мышления находятся в процессе реконструкции. Третья война браузеров происходит в "вводе", а не в "демонстрации"; решающим фактором победы становится не тот, кто привлекает внимание пользователя, а тот, кто завоевал доверие агента и получил доступ к вызову.
Краткая история развития браузеров
В начале 90-х годов, когда интернет еще не стал частью повседневной жизни, появился Netscape Navigator, как будто открывший новый континент парусник, который открыл миллионам пользователей двери в цифровой мир. Этот браузер не был первым, но стал первым по-настоящему массовым продуктом, формирующим интернет-опыт. В то время люди впервые могли так легко просматривать веб-страницы через графический интерфейс, как будто весь мир внезапно стал доступен.
Однако слава часто бывает мимолетной. Microsoft вскоре осознала важность браузеров и решила принудительно интегрировать Internet Explorer в операционную систему Windows, сделав его браузером по умолчанию. Эта стратегия стала "убийственным приемом платформы", который непосредственно разрушил рыночное господство Netscape. Многие пользователи не выбирали IE добровольно, а принимали его из-за того, что он был установлен по умолчанию в системе. IE с помощью возможностей распространения Windows быстро стал лидером отрасли, тогда как Netscape оказался на пути к упадку.
В условиях кризиса инженеры Netscape выбрали радикальный и идеалистический путь - они открыли исходный код браузера и обратились к сообществу с призывом. Это решение стало своего рода "македонским отступлением" в мире технологий, предвещая конец старой эпохи и восход новой силы. Этот код впоследствии стал основой проекта браузера Mozilla, который изначально назывался Phoenix (что означает возрождение феникса), но из-за проблем с товарным знаком несколько раз менял название, пока не получил окончательное имя Firefox.
Firefox не является простым клоном Netscape, он достиг множества прорывов в области пользовательского опыта, экосистемы плагинов, безопасности и других аспектах. Его появление ознаменовало победу духа открытого кода и вдохнуло новую жизнь в целую индустрию. Некоторые описывают Firefox как "духовного наследника" Netscape, подобно тому как Османская империя унаследовала последние лучи Византии. Это сравнение, хотя и преувеличенное, но имеет свой смысл.
Но за несколько лет до официального выпуска Firefox Microsoft уже выпустила шесть версий IE, благодаря преимуществу во времени и стратегии упаковки системы, что изначально поставило Firefox в позицию догоняющего, что предопределило, что эта гонка не является равноправной конкуренцией с одинаковых стартовых позиций.
Тем временем появился еще один ранний игрок. В 1994 году был выпущен браузер Opera, он из Норвегии и изначально был лишь экспериментальным проектом. Но начиная с версии 7.0 в 2003 году, он внедрил собственный движок Presto, первым поддержав CSS, адаптивную верстку, голосовое управление и кодировку Unicode, а также другие передовые технологии. Хотя количество пользователей было ограничено, он всегда оставался на передовом крае технологий в отрасли и стал "любимцем гиков".
В том же году Apple выпустила браузер Safari. Это был знаковый поворот. В то время Microsoft вложила 150 миллионов долларов в почти обанкротившийся Apple, чтобы поддерживать видимость конкуренции и избежать антимонопольной проверки. Хотя изначально поисковой системой по умолчанию для Safari был Google, эта история с Microsoft символизирует сложные и тонкие отношения между интернет-гигантами: сотрудничество и конкуренция всегда идут рука об руку.
В 2007 году IE7 был выпущен вместе с Windows Vista, но рынок отреагировал на него слабо. Напротив, Firefox благодаря более быстрому циклу обновлений, более дружелюбной механике расширений и естественной привлекательности для разработчиков уверенно увеличивал свою долю на рынке до примерно 20%. Доминирование IE постепенно ослабевало, ветер перемен начал дуть в другую сторону.
Google — это другой подход. Хотя работа над собственным браузером началась еще в 2001 году, потребовалось шесть лет, чтобы убедить генерального директора Эрика Шмидта одобрить этот проект. Chrome появился в 2008 году и был создан на основе открытого проекта Chromium и движка WebKit, используемого Safari. Его прозвали "громоздким" браузером, но благодаря глубоким знаниям Google в области размещения рекламы и формирования бренда он быстро стал популярным.
Ключевое оружие Chrome заключается не в функциях, а в частоте обновлений версий (каждые шесть недель) и едином опыте на всех платформах. В ноябре 2011 года Chrome впервые обогнал Firefox, достигнув 27% доли рынка; через шесть месяцев он снова обошел IE, завершив переход от претендента к доминирующему игроку.
В то же время мобильный интернет в Китае также формирует собственную экосистему. Один известный браузер быстро приобрел популярность в начале 2010-х годов, особенно на таких развивающихся рынках, как Индия, Индонезия и Китай, благодаря легкому дизайну и таким характеристикам, как сжатие данных для экономии трафика, завоевав симпатии пользователей низкобюджетных устройств. В 2015 году его доля на мировом рынке мобильных браузеров превысила 17%, а в Индии достигала 46%. Но эта победа не оказалась долговечной. С усилением правительством Индии контроля за безопасностью китайских приложений этот браузер был вынужден покинуть ключевой рынок и постепенно утратил былую славу.
В 2020-х годах доминирование Chrome уже установлено, и его доля на мировом рынке стабильно составляет около 65%. Стоит отметить, что поисковая система Google и браузер Chrome, хотя и принадлежат Alphabet, с рыночной точки зрения представляют собой две независимые гегемонии - первая контролирует около 90% глобальных поисковых входов, в то время как вторая управляет "первым окном" для большинства пользователей в интернет.
Чтобы сохранить эту двойную монопольную структуру, Google не жалел денег. В 2022 году Alphabet заплатила Apple около 20 миллиардов долларов, чтобы Google оставался поисковой системой по умолчанию в Safari. Аналитики указывают, что эта сумма составляет 36% от доходов Google от поисковой рекламы, получаемых с трафика Safari. Иными словами, Google платит "защитную плату" за свою защитную стену.
Но ветер снова изменился. С ростом крупных языковых моделей (LLM) традиционный поиск начал страдать. В 2024 году доля рынка поиска Google упала с 93% до 89%, и, хотя он все еще доминирует, трещины уже начали появляться. Более разрушительной является новость о том, что Apple может запустить собственную AI поисковую систему - если Safari станет использовать собственный поисковик по умолчанию, это не только изменит экосистему, но и может подорвать прибыльный столп Alphabet. Рынок отреагировал быстро, акции Alphabet упали с 170 долларов до 140 долларов, что отражает не только панику инвесторов, но и глубокую неуверенность в будущем эпохи поиска.
От Navigator до Chrome, от идеалов открытого кода до коммерциализации рекламы, от легковесных браузеров до AI-поисковых помощников, борьба браузеров всегда была войной о технологиях, платформах, контенте и контроле. Поле боя постоянно меняется, но суть остается прежней: кто контролирует вход, тот определяет будущее.
В глазах инвесторов, опираясь на новые потребности людей в поисковых системах в эпоху LLM и ИИ, третья война браузеров постепенно разворачивается. Ниже приведены данные о финансировании некоторых известных проектов в области AI-браузеров.
Устаревшая архитектура современных браузеров
Говоря о архитектуре браузера, классическая традиционная архитектура показана на рисунке ниже:
Клиент - фронтальный вход
Запросить доставку к ближайшему фронтенду через HTTPS, завершить TLS-раскрытие, выборку QoS и географическую маршрутизацию. Если будет обнаружен аномальный трафик (DDoS, автоматический сбор), можно ограничить или оспорить его на этом уровне.
Понимание запроса
Фронтенд должен понимать значение слов, введённых пользователем, и включает три этапа: нейронная коррекция орфографии, исправление "recpie" на "recipe"; расширение синонимов, преобразование "how to fix bike" в "repair bicycle". Анализ намерений, определение, является ли запрос информационным, навигационным или торговым, и распределение запроса по вертикалям.
Кандидат на возврат
Технология запроса, используемая некоторыми поисковыми системами, называется: обратный индекс. В прямом индексе мы можем индексировать файл, просто зная ID. Однако пользователи не могут знать номер содержимого среди сотен миллиардов файлов, поэтому используется очень традиционный обратный индекс, который позволяет искать файлы по соответствующим ключевым словам. Далее применяется векторный индекс для обработки семантического поиска, то есть для поиска содержимого, похожего по смыслу на запрос. Он преобразует текст, изображения и другие содержимое в высокоразмерные векторы (embedding) и осуществляет поиск на основе сходства между этими векторами. Например, даже если пользователь ищет "как приготовить тесто для пиццы", поисковая система может вернуть результаты, связанные с "руководством по приготовлению теста для пиццы", потому что они семантически схожи. После применения обратного индекса и векторного индекса примерно сто тысяч веб-страниц будет первично отобрано.
Многоуровневая сортировка
Системы обычно фильтруют десятки тысяч страниц-кандидатов до примерно 1000, используя тысячи легких признаков, таких как BM25, TF-IDF, качество страниц и т.д., формируя предварительный набор кандидатов. Такие системы называются рекомендательными движками. Они полагаются на огромное количество признаков, генерируемых различными сущностями, включая поведение пользователей, свойства страниц, намерения запросов и контекстные сигналы. Например, одна поисковая система учитывает историю пользователей, отзывы других пользователей, семантику страниц, значение запросов и другую информацию, а также принимает во внимание контекстные факторы, такие как время (время суток, конкретные дни недели) и внешние события, такие как актуальные новости.
Глубокое обучение для основной сортировки
На этапе первичного поиска некоторый поисковый движок использует такие технологии, как RankBrain и Neural Matching, для понимания семантики запросов и筛选初步相关ных результатов из огромного количества документов. RankBrain - это система машинного обучения, введенная в 2015 году, предназначенная для лучшего понимания значений пользовательских запросов, особенно тех, которые появляются впервые. Она преобразует запросы и документы в векторные представления, вычисляя их сходство, чтобы найти наиболее релевантные результаты. Например, для запроса "как сделать тесто для пиццы", даже если в документе нет полностью匹
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
17 Лайков
Награда
17
8
Поделиться
комментарий
0/400
StopLossMaster
· 07-19 05:19
Смеюсь до слез, снова начали выигрывать, да?
Посмотреть ОригиналОтветить0
DegenGambler
· 07-19 05:00
Снова битва гигантов: играть или закончить?
Посмотреть ОригиналОтветить0
OffchainOracle
· 07-17 12:09
Гугл теперь действительно в панике.
Посмотреть ОригиналОтветить0
FlashLoanLarry
· 07-16 05:55
хм...еще одна возможность захвата ценности для оптимизации протокола, если честно
Будущее противостояние ИИ и браузеров: путь трансформации от поисковых систем к интеллектуальным агентам
Переосмысленный браузер в эпоху ИИ: от поисковых систем до интеллектуальных агентов
Третья война браузеров тихо разворачивается. Оглядываясь на историю, с Netscape в 90-х, Internet Explorer от Microsoft, до Firefox с открытым исходным кодом и Google Chrome, борьба браузеров всегда была ярким примером изменения контроля над платформами и технологических парадигм. Chrome завоевал доминирующее положение благодаря скорости обновлений и взаимодействию экосистемы, в то время как Google создал замкнутый цикл информационного входа через "двуглавую" структуру поиска и браузера.
Однако сегодня эта схема начинает шататься. Растущее влияние больших языковых моделей (LLM) позволяет все большему числу пользователей выполнять задачи на страницах результатов поиска с "нулевым кликом", что приводит к снижению традиционного поведения кликов по веб-страницам. В то же время слухи о том, что Apple намеревается заменить поисковую систему по умолчанию в Safari, еще больше угрожают прибыли Alphabet, и рынок уже начинает проявлять беспокойство по поводу "ортодоксии поиска".
Браузер сам по себе также сталкивается с переосмыслением своей роли. Он больше не просто инструмент для отображения веб-страниц, а является контейнером для множества возможностей, таких как ввод данных, поведение пользователей, конфиденциальность и идентичность. Хотя AI Agent силен, для выполнения сложных взаимодействий на страницах, вызова локальных данных идентичности и управления элементами веб-страницы все еще требуется опираться на доверительные границы и функциональные песочницы браузера. Браузер превращается из интерфейса для человека в платформу системных вызовов для агентов.
На самом деле, то, что может разрушить текущую рыночную структуру браузеров, - это не другой "лучший Chrome", а новая структура взаимодействия: не просто представление информации, а вызов задач. Будущие браузеры должны быть разработаны для AI Agent - они должны не только читать, но и писать и выполнять. Проекты, такие как Browser Use, пытаются семантизировать структуру страниц, превращая визуальные интерфейсы в структурированный текст, который может вызываться LLM, значительно снижая затраты на взаимодействие.
На рынке основные проекты уже начали экспериментировать: Perplexity создаёт родной браузер Comet, заменяя традиционные результаты поиска ИИ; Brave сочетает защиту конфиденциальности с локальным выводом, используя LLM для улучшения функций поиска и блокировки; в то время как такие крипто-родные проекты, как Donut, нацелены на новый вход в взаимодействие между ИИ и активами на блокчейне. Общей чертой этих проектов является попытка реконструировать вводную часть браузера, а не улучшать его выходной уровень.
Для предпринимателей возможности скрыты в треугольных отношениях между вводом, структурой и агентом. Браузер как интерфейс для вызова мира будущего означает, что тот, кто сможет предоставить структурируемые, вызываемые и надежные "блоки возможностей", сможет стать частью нового поколения платформ. От SEO до AEO (Оптимизация Агентского Движка), от трафика страниц до вызова цепочек задач, форма продукта и дизайн мышления находятся в процессе реконструкции. Третья война браузеров происходит в "вводе", а не в "демонстрации"; решающим фактором победы становится не тот, кто привлекает внимание пользователя, а тот, кто завоевал доверие агента и получил доступ к вызову.
Краткая история развития браузеров
В начале 90-х годов, когда интернет еще не стал частью повседневной жизни, появился Netscape Navigator, как будто открывший новый континент парусник, который открыл миллионам пользователей двери в цифровой мир. Этот браузер не был первым, но стал первым по-настоящему массовым продуктом, формирующим интернет-опыт. В то время люди впервые могли так легко просматривать веб-страницы через графический интерфейс, как будто весь мир внезапно стал доступен.
Однако слава часто бывает мимолетной. Microsoft вскоре осознала важность браузеров и решила принудительно интегрировать Internet Explorer в операционную систему Windows, сделав его браузером по умолчанию. Эта стратегия стала "убийственным приемом платформы", который непосредственно разрушил рыночное господство Netscape. Многие пользователи не выбирали IE добровольно, а принимали его из-за того, что он был установлен по умолчанию в системе. IE с помощью возможностей распространения Windows быстро стал лидером отрасли, тогда как Netscape оказался на пути к упадку.
В условиях кризиса инженеры Netscape выбрали радикальный и идеалистический путь - они открыли исходный код браузера и обратились к сообществу с призывом. Это решение стало своего рода "македонским отступлением" в мире технологий, предвещая конец старой эпохи и восход новой силы. Этот код впоследствии стал основой проекта браузера Mozilla, который изначально назывался Phoenix (что означает возрождение феникса), но из-за проблем с товарным знаком несколько раз менял название, пока не получил окончательное имя Firefox.
Firefox не является простым клоном Netscape, он достиг множества прорывов в области пользовательского опыта, экосистемы плагинов, безопасности и других аспектах. Его появление ознаменовало победу духа открытого кода и вдохнуло новую жизнь в целую индустрию. Некоторые описывают Firefox как "духовного наследника" Netscape, подобно тому как Османская империя унаследовала последние лучи Византии. Это сравнение, хотя и преувеличенное, но имеет свой смысл.
Но за несколько лет до официального выпуска Firefox Microsoft уже выпустила шесть версий IE, благодаря преимуществу во времени и стратегии упаковки системы, что изначально поставило Firefox в позицию догоняющего, что предопределило, что эта гонка не является равноправной конкуренцией с одинаковых стартовых позиций.
Тем временем появился еще один ранний игрок. В 1994 году был выпущен браузер Opera, он из Норвегии и изначально был лишь экспериментальным проектом. Но начиная с версии 7.0 в 2003 году, он внедрил собственный движок Presto, первым поддержав CSS, адаптивную верстку, голосовое управление и кодировку Unicode, а также другие передовые технологии. Хотя количество пользователей было ограничено, он всегда оставался на передовом крае технологий в отрасли и стал "любимцем гиков".
В том же году Apple выпустила браузер Safari. Это был знаковый поворот. В то время Microsoft вложила 150 миллионов долларов в почти обанкротившийся Apple, чтобы поддерживать видимость конкуренции и избежать антимонопольной проверки. Хотя изначально поисковой системой по умолчанию для Safari был Google, эта история с Microsoft символизирует сложные и тонкие отношения между интернет-гигантами: сотрудничество и конкуренция всегда идут рука об руку.
В 2007 году IE7 был выпущен вместе с Windows Vista, но рынок отреагировал на него слабо. Напротив, Firefox благодаря более быстрому циклу обновлений, более дружелюбной механике расширений и естественной привлекательности для разработчиков уверенно увеличивал свою долю на рынке до примерно 20%. Доминирование IE постепенно ослабевало, ветер перемен начал дуть в другую сторону.
Google — это другой подход. Хотя работа над собственным браузером началась еще в 2001 году, потребовалось шесть лет, чтобы убедить генерального директора Эрика Шмидта одобрить этот проект. Chrome появился в 2008 году и был создан на основе открытого проекта Chromium и движка WebKit, используемого Safari. Его прозвали "громоздким" браузером, но благодаря глубоким знаниям Google в области размещения рекламы и формирования бренда он быстро стал популярным.
Ключевое оружие Chrome заключается не в функциях, а в частоте обновлений версий (каждые шесть недель) и едином опыте на всех платформах. В ноябре 2011 года Chrome впервые обогнал Firefox, достигнув 27% доли рынка; через шесть месяцев он снова обошел IE, завершив переход от претендента к доминирующему игроку.
В то же время мобильный интернет в Китае также формирует собственную экосистему. Один известный браузер быстро приобрел популярность в начале 2010-х годов, особенно на таких развивающихся рынках, как Индия, Индонезия и Китай, благодаря легкому дизайну и таким характеристикам, как сжатие данных для экономии трафика, завоевав симпатии пользователей низкобюджетных устройств. В 2015 году его доля на мировом рынке мобильных браузеров превысила 17%, а в Индии достигала 46%. Но эта победа не оказалась долговечной. С усилением правительством Индии контроля за безопасностью китайских приложений этот браузер был вынужден покинуть ключевой рынок и постепенно утратил былую славу.
В 2020-х годах доминирование Chrome уже установлено, и его доля на мировом рынке стабильно составляет около 65%. Стоит отметить, что поисковая система Google и браузер Chrome, хотя и принадлежат Alphabet, с рыночной точки зрения представляют собой две независимые гегемонии - первая контролирует около 90% глобальных поисковых входов, в то время как вторая управляет "первым окном" для большинства пользователей в интернет.
Чтобы сохранить эту двойную монопольную структуру, Google не жалел денег. В 2022 году Alphabet заплатила Apple около 20 миллиардов долларов, чтобы Google оставался поисковой системой по умолчанию в Safari. Аналитики указывают, что эта сумма составляет 36% от доходов Google от поисковой рекламы, получаемых с трафика Safari. Иными словами, Google платит "защитную плату" за свою защитную стену.
Но ветер снова изменился. С ростом крупных языковых моделей (LLM) традиционный поиск начал страдать. В 2024 году доля рынка поиска Google упала с 93% до 89%, и, хотя он все еще доминирует, трещины уже начали появляться. Более разрушительной является новость о том, что Apple может запустить собственную AI поисковую систему - если Safari станет использовать собственный поисковик по умолчанию, это не только изменит экосистему, но и может подорвать прибыльный столп Alphabet. Рынок отреагировал быстро, акции Alphabet упали с 170 долларов до 140 долларов, что отражает не только панику инвесторов, но и глубокую неуверенность в будущем эпохи поиска.
От Navigator до Chrome, от идеалов открытого кода до коммерциализации рекламы, от легковесных браузеров до AI-поисковых помощников, борьба браузеров всегда была войной о технологиях, платформах, контенте и контроле. Поле боя постоянно меняется, но суть остается прежней: кто контролирует вход, тот определяет будущее.
В глазах инвесторов, опираясь на новые потребности людей в поисковых системах в эпоху LLM и ИИ, третья война браузеров постепенно разворачивается. Ниже приведены данные о финансировании некоторых известных проектов в области AI-браузеров.
Устаревшая архитектура современных браузеров
Говоря о архитектуре браузера, классическая традиционная архитектура показана на рисунке ниже:
Клиент - фронтальный вход
Запросить доставку к ближайшему фронтенду через HTTPS, завершить TLS-раскрытие, выборку QoS и географическую маршрутизацию. Если будет обнаружен аномальный трафик (DDoS, автоматический сбор), можно ограничить или оспорить его на этом уровне.
Понимание запроса
Фронтенд должен понимать значение слов, введённых пользователем, и включает три этапа: нейронная коррекция орфографии, исправление "recpie" на "recipe"; расширение синонимов, преобразование "how to fix bike" в "repair bicycle". Анализ намерений, определение, является ли запрос информационным, навигационным или торговым, и распределение запроса по вертикалям.
Кандидат на возврат
Технология запроса, используемая некоторыми поисковыми системами, называется: обратный индекс. В прямом индексе мы можем индексировать файл, просто зная ID. Однако пользователи не могут знать номер содержимого среди сотен миллиардов файлов, поэтому используется очень традиционный обратный индекс, который позволяет искать файлы по соответствующим ключевым словам. Далее применяется векторный индекс для обработки семантического поиска, то есть для поиска содержимого, похожего по смыслу на запрос. Он преобразует текст, изображения и другие содержимое в высокоразмерные векторы (embedding) и осуществляет поиск на основе сходства между этими векторами. Например, даже если пользователь ищет "как приготовить тесто для пиццы", поисковая система может вернуть результаты, связанные с "руководством по приготовлению теста для пиццы", потому что они семантически схожи. После применения обратного индекса и векторного индекса примерно сто тысяч веб-страниц будет первично отобрано.
Многоуровневая сортировка
Системы обычно фильтруют десятки тысяч страниц-кандидатов до примерно 1000, используя тысячи легких признаков, таких как BM25, TF-IDF, качество страниц и т.д., формируя предварительный набор кандидатов. Такие системы называются рекомендательными движками. Они полагаются на огромное количество признаков, генерируемых различными сущностями, включая поведение пользователей, свойства страниц, намерения запросов и контекстные сигналы. Например, одна поисковая система учитывает историю пользователей, отзывы других пользователей, семантику страниц, значение запросов и другую информацию, а также принимает во внимание контекстные факторы, такие как время (время суток, конкретные дни недели) и внешние события, такие как актуальные новости.
Глубокое обучение для основной сортировки
На этапе первичного поиска некоторый поисковый движок использует такие технологии, как RankBrain и Neural Matching, для понимания семантики запросов и筛选初步相关ных результатов из огромного количества документов. RankBrain - это система машинного обучения, введенная в 2015 году, предназначенная для лучшего понимания значений пользовательских запросов, особенно тех, которые появляются впервые. Она преобразует запросы и документы в векторные представления, вычисляя их сходство, чтобы найти наиболее релевантные результаты. Например, для запроса "как сделать тесто для пиццы", даже если в документе нет полностью匹