На просторах даркнета обучили ИИ-модель DarkBERT, но предназначена она для науки
Опубликовал: FIELD LINE, 17-05-2023, 18:19, Железо, 3, 0
Исследователи Корейского института науки и технологий (KAIST) создали ИИ-модель DarkBERT для поиска «ценных научных сведений» в даркнете. Нейросеть имеет для этого специальные фильтры, призванные оградить пользователей от нежелательной информации.
DarkBERT основан на архитектуре RoBERTa, разработанной ещё в 2019 году. Она пережила своего рода ренессанс, и исследователи обнаружили, что на самом деле данная архитектура даёт больше производительности, чем можно было извлечь из неё ранее. Чтобы обучить ИИ-модель, исследователи просканировали даркнет через анонимный брандмауэр сети Tor, а затем отфильтровали необработанные данные, применив методы дедупликации, балансировки категорий и предварительной обработки данных с целью создания необходимого для обучения массива информации. Результатом проделанной работы стал DarkBERT, который может анализировать фрагменты контента из даркнета и извлекать из него полезную информацию.
Одной из основных характеристик больших языковых моделей (LLM) является понимание языка. В даркнете используется весьма специфическая смесь языков для делового общения, и DarkBERT был обучен именно на ней. Исследование показало, что DarkBERT превосходит другие большие языковые модели, что должно позволить исследователям безопасности и правоохранительным органам глубже проникнуть в даркнет.
Как и в случае с другими LLM, это не означает, что работа над DarkBERT закончена. По заявлениям исследователей, они намерены продолжить дальнейшее обучение и настройку модели, чтобы улучшить её результаты.
Источник
DarkBERT основан на архитектуре RoBERTa, разработанной ещё в 2019 году. Она пережила своего рода ренессанс, и исследователи обнаружили, что на самом деле данная архитектура даёт больше производительности, чем можно было извлечь из неё ранее. Чтобы обучить ИИ-модель, исследователи просканировали даркнет через анонимный брандмауэр сети Tor, а затем отфильтровали необработанные данные, применив методы дедупликации, балансировки категорий и предварительной обработки данных с целью создания необходимого для обучения массива информации. Результатом проделанной работы стал DarkBERT, который может анализировать фрагменты контента из даркнета и извлекать из него полезную информацию.
Одной из основных характеристик больших языковых моделей (LLM) является понимание языка. В даркнете используется весьма специфическая смесь языков для делового общения, и DarkBERT был обучен именно на ней. Исследование показало, что DarkBERT превосходит другие большие языковые модели, что должно позволить исследователям безопасности и правоохранительным органам глубже проникнуть в даркнет.
Как и в случае с другими LLM, это не означает, что работа над DarkBERT закончена. По заявлениям исследователей, они намерены продолжить дальнейшее обучение и настройку модели, чтобы улучшить её результаты.
Источник
