DataLearn
DataLearn
  • Видео 190
  • Просмотров 806 117
LLM / Большие языковые модели / Самообучаемый чат бот / DataLearn
Сегодня у нас в гостях команда WikiBot, которые создают сервис по по созданию чат-бота с искусственным интеллектом для общения с клиентами.
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗hab...
Просмотров: 3 050

Видео

DATALEARN | DE - 101 | МОДУЛЬ 7-5 SPARK SQL и SPARK функции
Просмотров 2,3 тыс.Год назад
Мы уже познакомились с Spark и писали запросы с помощью PySpark, так сказать Python flavor. А теперь мы посмотрим на Spark SQL В этом видео вы узнаете про: 📌 Методы SparkSession для работы с SQL 📌 Как создавать таблицы и вьюхи 📌 Виды таблиц - Managed vs Unmanaged 📌 Примеры SQL запросов в PySpark 📌 Кеш в Spark 📌 Результат SQL запроса в DataFrame и наоборот 📌 Пример работы с различными файлами в ...
DATALEARN | DE - 101 | МОДУЛЬ 7-4 ЗНАКОМСТВО С SPARK API
Просмотров 2,9 тыс.Год назад
В этом модуле мы познакомимся еще ближе с Apache Spark. В этом видео вы узнаете про: 📌 что такое RDD (Resilient Distributed Datasets) 📌 что такое DataFrame 📌 посмотрим на пример синтаксиса Scala vs Python 📌 типы данных Spark 📌 схему(schema) dataframe 📌 колонки (colums) и вычисляемы (expressions) поля dataframe 📌 основные операции при работе с dataframe (Reader, Wrtiter) 📌 примеры чтения разных ...
DATALEARN | DE - 101 | МОДУЛЬ 7-3 НАЧАЛО РАБОТЫ В APACHE SPARK
Просмотров 3,5 тыс.Год назад
Apache Spark является самый популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing). В этом видео: 📌 Скачаем и запустим Apache Spa...
DATALEARN | ВВЕДЕНИЕ V2 - О ПРОЕКТЕ, ЦЕЛЯХ, КУРСАХ И КАРЬЕРЕ
Просмотров 2,9 тыс.Год назад
Всем привет! Приветствую вас на бесплатном образовательном проекте DATALEARN! Как говорится никакого bullshit, все по делу;) Это новая версия вступления, на котором я расскажу про идею, про ресурсы, про история и много других организационных моментов! В этом видео: 📌 Что такое Datalearn 📌 Как появился 📌 Как записаться 📌Какие перспективы 📌 Все наши ресурсы, которые мы создали за 3 года 📌 И много...
Как стать Дата Инженером (Data Engineer)
Просмотров 13 тыс.Год назад
Как стать Дата Инженером (Data Engineer)
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
Просмотров 4,3 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Просмотров 9 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
Просмотров 7 тыс.2 года назад
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
Просмотров 1,6 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
Просмотров 1,5 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
ИНТЕРВЬЮ С ЭМИЛЕМ БОГОМОЛОВЫМ
Просмотров 8962 года назад
ИНТЕРВЬЮ С ЭМИЛЕМ БОГОМОЛОВЫМ
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
Просмотров 6592 года назад
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
Просмотров 4,4 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
Просмотров 2,7 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
Просмотров 3 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
Просмотров 3,1 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Просмотров 8583 года назад
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
Просмотров 7563 года назад
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
Просмотров 1,5 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
Просмотров 7763 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
Просмотров 9513 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
Просмотров 7393 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Просмотров 1,4 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
Просмотров 1,1 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
Просмотров 7243 года назад
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Просмотров 6923 года назад
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo

Комментарии

  • @user-mm1jn3uh3u
    @user-mm1jn3uh3u 14 дней назад

    Огонь

  • @vasi1y717
    @vasi1y717 16 дней назад

    Ихний ихний ихний ихний!

  • @bronislavkonnikov
    @bronislavkonnikov 21 день назад

    Спасибо за интересную лекцию. Вы немогли бы уточнить(было неразборчиво, я не раслышал) На что вы перешли вместо pinecone? Спасибо.

  • @gordeyvasilev
    @gordeyvasilev 23 дня назад

    LangChain: * max_new_tokens * max_iterations But it is better to develop agents in: * Autogen; * LangGraph.

  • @mlbb-maniac
    @mlbb-maniac 27 дней назад

    Позабавили вопросы , которые относятся не к airflow, а к самому пайтону, я как разработчик на пайтоне перешедший в девопс очень умиляюсь вопросам по пространству имён

  • @mlbb-maniac
    @mlbb-maniac 28 дней назад

    Блин видео круто. Боже кто-то задал вопрос что такое баш команда, человек даже не открывал терминал и уже в девопсы хочет 😮

  • @user-br3fv5fr8m
    @user-br3fv5fr8m 29 дней назад

    Отличное видео, очень доходчиво подан материал, спасибо! ❤

  • @claudian6257
    @claudian6257 29 дней назад

    вы говорите повторить все эти коды, но где достать файл для импорта и ваш файл с кодами? тут толком ничего не видно. на гитхабе только план

  • @handle6187
    @handle6187 Месяц назад

    этому будущему лет двадцать, наверное. В 2010ом работал с большим энтерпрайз решением, где эти активити схемы генерились в рантайме для построения отчетов

  • @user-jf9om5uo4d
    @user-jf9om5uo4d Месяц назад

    ура, я дошёл до конца 1 части курса) спасибо тебе большое, Анатолий! надеюсь, что ты сейчас в безопасности и в здравии

  • @yabidubidu666
    @yabidubidu666 Месяц назад

    Очень крутое и полезное видео! Огромное спасибо, многое стало понятно :)

  • @user-zr1gk7ho6y
    @user-zr1gk7ho6y Месяц назад

    Начал с плоской таблицы, закончил схемой звезда для специального случая потоковых данных. Иногда важно открыть ещё не забытое старое...

  • @user-zr1gk7ho6y
    @user-zr1gk7ho6y Месяц назад

    По сути плоская таблица (flat file) в 1-ой нормальной форме - основа аналитических наборов данных (analytical dataset) для задач машинного обучения. Правда, надо ещё поработать с признаками (feature engineering). Хорошо и для BI, не нужно связывать таблицу фактов с таблицами измерений. Но большая избыточность и неэффективность при работе с отдельными измерениями.

  • @tosintime9067
    @tosintime9067 Месяц назад

    Nice

  • @paulfunigga
    @paulfunigga 2 месяца назад

    его не нужно приручать, его нужно выкидывать на помойку и заменять lakehouse архитектурой

  • @massarash
    @massarash 2 месяца назад

    Надо было данные на кириллице использовать. С которыми ни LIKE, LOWER, UPPER не работают. Вот это было бы интересно посмотреть как на реальных данных приходится выкручиваться

  • @user-lt1ul9cn5c
    @user-lt1ul9cn5c 2 месяца назад

    Почему всегда говорят про хабы, линки, сателлиты, но забывают про рефы?!

  • @lenar304
    @lenar304 2 месяца назад

    Качественный контент с не качественным изображением

  • @user-cv1sr9io5h
    @user-cv1sr9io5h 2 месяца назад

    после просмотра видео , я понял, что я еще даже не новичок 🙄

  • @user-pb9qh6ko7r
    @user-pb9qh6ko7r 2 месяца назад

    Нихера не видно

  • @pavlosemeniuk
    @pavlosemeniuk 2 месяца назад

    Классное видео. Спасибо! Я только не понял зачем заменять inner join на left join.

  • @yanazobnina7321
    @yanazobnina7321 2 месяца назад

    Лайк, подписка. Супер

  • @mirziyodm
    @mirziyodm 2 месяца назад

    Спасибо за серию, очень доступное и грамотное изложение материала!

  • @user-jy9eo8en8x
    @user-jy9eo8en8x 3 месяца назад

    Спасибо!!!

  • @anonimnoplz7228
    @anonimnoplz7228 3 месяца назад

    Огромная благодарность

  • @vor6758
    @vor6758 3 месяца назад

    Николай, рассказ на миллион долларов!!❤

  • @vor6758
    @vor6758 3 месяца назад

    Схема на 22:25 Если мы просто от схемы звезды переместим в сателлиты атрибуты сущности, то при добавлении нового хаба мы добавляем новый столбец в ссылку. Я правильно понял?

  • @user-ts9kk4nd4w
    @user-ts9kk4nd4w 3 месяца назад

    Абсолютно согласен, что в DuckDB, пожалуй самый гибкий и правильный SQL

  • @user-yc8gz1qv1s
    @user-yc8gz1qv1s 3 месяца назад

    Смотря какой fabric..

  • @user-yi2pl8pr1t
    @user-yi2pl8pr1t 3 месяца назад

    Спасибо! Крутой доклад

  • @user-ry8rv2to5o
    @user-ry8rv2to5o 3 месяца назад

    Друзья, это очень плохой курс) Я просто не поинмаю людей ниже, которые комментируют и восхищаются! Женщина красивая, не спорю, но мало о чем понимает из того, что говорит, такое у меня ощущение.

    • @claudian6257
      @claudian6257 29 дней назад

      а вы спец? профи? исходя из чего судите? судя по ее опыту работы, такое звучит абсурдно

    • @user-ry8rv2to5o
      @user-ry8rv2to5o 29 дней назад

      @@claudian6257 да я спец и профи, заключаю исходя из профильного образования в области кибернетики и пятилетнего опыта в роли исследователя данных. Курсы прохожу ради того чтобы освежать свои знания, на этот наткнулся случайно, и советую людям не тратить временя. К курсу по de это не относится.

  • @user-ry8rv2to5o
    @user-ry8rv2to5o 3 месяца назад

    65 на 45 - не окей, хорошо. инфа 146%

  • @apachesuperset
    @apachesuperset 3 месяца назад

    топчик

  • @SergiusBfg
    @SergiusBfg 4 месяца назад

    Ужастная схема

    • @vadeeman7114
      @vadeeman7114 2 месяца назад

      Прекрастная схема

  • @Vilayat_Khan
    @Vilayat_Khan 4 месяца назад

    То есть мап редьюс был давно реализован на хадупе- хранить данные распределено и спускать (мап) функции туда на кажд узел. И возвращать (редус) уже какой то ггтовый результат. Гринплам сделал по сути тоже самое?

  • @ProtosNo1
    @ProtosNo1 4 месяца назад

    Максима знаю только заочно, прекрасный специалист

  • @UnnamedPB
    @UnnamedPB 4 месяца назад

    Ожидал single table design /

  • @user-qm9es3ln6s
    @user-qm9es3ln6s 4 месяца назад

    Действительно соглашусь с другими комментариями, залетел в аналитику не поняв сам как это получилось. Не было нормального понимания что такое ETL и ELT хотя смотрел другие видео и читал, Ваша подача очень радует. Огромная благодарность.

    • @user-gv8zc2hw9z
      @user-gv8zc2hw9z 4 месяца назад

      Можете пожалуйста, рассказать подробнее, о том как стали аналитиком?

    • @user-qm9es3ln6s
      @user-qm9es3ln6s 4 месяца назад

      @@user-gv8zc2hw9z работал на госслужбе, анализировал данные сначала в эксель, потом в аксесс, затем пришлось работать с sql немного, потом ibm spss modeller, но не машинное обучение а обычные джоины и т.д. Немного столкнулся с графами без сильного погружения. Записался в академию “step» на fullstack. Начал с C++ был очень грамотный преподаватель, после ООП ушел с курса понял что fullstack не мое очень сложно, знаешь все и ничего). Пошел в ту же академию на python django параллельно работал с данными и уже пытался анализировать в python. Обучение было ужасным преподаватель студент без опыта преподавания. Сейчас наверное даже не до аналитик. Самым действенным двигателем конечно была работа. Если ты учишься и не применяешь знания очень сложно. Сейчас понимаю что нет хорошей базы. Опять хочу начинать с нуля)) всем добра. Мой совет идти на курсы и по возможности устраиваться на стажировку в компанию где ты можешь применять знания обязательно с хорошим наставником. Можно даже бесплатно. Но наставник важен, мне приходилась допетривать до всего самому уходило очень много времени.

  • @svetlanazheleykina4113
    @svetlanazheleykina4113 5 месяцев назад

    Спасибо за видео!

  • @alexandrgotlib2312
    @alexandrgotlib2312 5 месяцев назад

    всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться

  • @volodink
    @volodink 5 месяцев назад

    А ссылку на гитхаб в коменты скиньте пожалуйста😅

  • @vs1114
    @vs1114 5 месяцев назад

    Отвлекает, что камера весь урок шатается... :)

  • @user62763
    @user62763 5 месяцев назад

    добрый день, планируется ли видео обновления, что изменилось в 2024? (тулс, методология etc)

  • @user-fj8qh6el8j
    @user-fj8qh6el8j 6 месяцев назад

    Благодарность за курс! Начальные сведения понятны для новичка Обучаюсь в начале 2024 года

  • @anonimnoplz7228
    @anonimnoplz7228 6 месяцев назад

    Спасибо тебе большое за такой труд! Тяжело отписать словами твой вклад в мою будущую карьеру

  • @yaroslavsolntsev9909
    @yaroslavsolntsev9909 6 месяцев назад

    Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.

  • @granddad9566
    @granddad9566 6 месяцев назад

    Почему yarn а не airflow?) В курсе яндекс практикума

  • @SV-13
    @SV-13 6 месяцев назад

    Даже на 720 такое мыло на экране (((

  • @vladimir2139
    @vladimir2139 6 месяцев назад

    Где же ссылка на телеграм-канал мистера Трусова?

  • @makmakmakk
    @makmakmakk 6 месяцев назад

    Сергей, вы умничка❤