![DataLearn](/img/default-banner.jpg)
- Видео 190
- Просмотров 806 117
DataLearn
Канада
Добавлен 11 май 2020
Канал по обучению Big Data, Data Engineering
LLM / Большие языковые модели / Самообучаемый чат бот / DataLearn
Сегодня у нас в гостях команда WikiBot, которые создают сервис по по созданию чат-бота с искусственным интеллектом для общения с клиентами.
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗hab...
Спикеры: Сергей Христолюбов и Роман Чуприков
Их цель - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.
Ссылки по выступлению:
Сергей Христолюбов, Founder
🔗WikiBot.tomleto.pro
Контакты:
🔗t.me/tom_leto
🔗linkedin.com/in/khristolyubov
Как работают большие языковые модели, 200+ лайков на хабр:
🔗habr.com/ru/articles/723660/
Осваивают ли LLM модели мира:
🔗hab...
Просмотров: 3 050
Видео
DATALEARN | DE - 101 | МОДУЛЬ 7-5 SPARK SQL и SPARK функции
Просмотров 2,3 тыс.Год назад
Мы уже познакомились с Spark и писали запросы с помощью PySpark, так сказать Python flavor. А теперь мы посмотрим на Spark SQL В этом видео вы узнаете про: 📌 Методы SparkSession для работы с SQL 📌 Как создавать таблицы и вьюхи 📌 Виды таблиц - Managed vs Unmanaged 📌 Примеры SQL запросов в PySpark 📌 Кеш в Spark 📌 Результат SQL запроса в DataFrame и наоборот 📌 Пример работы с различными файлами в ...
DATALEARN | DE - 101 | МОДУЛЬ 7-4 ЗНАКОМСТВО С SPARK API
Просмотров 2,9 тыс.Год назад
В этом модуле мы познакомимся еще ближе с Apache Spark. В этом видео вы узнаете про: 📌 что такое RDD (Resilient Distributed Datasets) 📌 что такое DataFrame 📌 посмотрим на пример синтаксиса Scala vs Python 📌 типы данных Spark 📌 схему(schema) dataframe 📌 колонки (colums) и вычисляемы (expressions) поля dataframe 📌 основные операции при работе с dataframe (Reader, Wrtiter) 📌 примеры чтения разных ...
DATALEARN | DE - 101 | МОДУЛЬ 7-3 НАЧАЛО РАБОТЫ В APACHE SPARK
Просмотров 3,5 тыс.Год назад
Apache Spark является самый популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing). В этом видео: 📌 Скачаем и запустим Apache Spa...
DATALEARN | ВВЕДЕНИЕ V2 - О ПРОЕКТЕ, ЦЕЛЯХ, КУРСАХ И КАРЬЕРЕ
Просмотров 2,9 тыс.Год назад
Всем привет! Приветствую вас на бесплатном образовательном проекте DATALEARN! Как говорится никакого bullshit, все по делу;) Это новая версия вступления, на котором я расскажу про идею, про ресурсы, про история и много других организационных моментов! В этом видео: 📌 Что такое Datalearn 📌 Как появился 📌 Как записаться 📌Какие перспективы 📌 Все наши ресурсы, которые мы создали за 3 года 📌 И много...
Как стать Дата Инженером (Data Engineer)
Просмотров 13 тыс.Год назад
Как стать Дата Инженером (Data Engineer)
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
Просмотров 4,3 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Просмотров 9 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
Просмотров 7 тыс.2 года назад
DATALEARN | DE - 101 | ВВЕДЕНИЕ ЧАСТЬ 3 | ОФОРМЛЕНИЕ ДОМАШНЕГО ЗАДАНИЯ - GIT, MARKDOWN, CLI
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 7-1 ВВЕДЕНИЕ
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
Просмотров 1,6 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-8 ОБЗОР ВАКАНСИЙ ДАТА ИНЖЕНЕРА (DATA ENGINEER) ПО ВСЕМУ МИРУ
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
Просмотров 1,5 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-7 РЕШЕНИЯ ОПЕРАЦИОННОЙ АНАЛИТИКИ
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-6 ЗНАКОМСТВО С СОВРЕМЕННЫМИ РЕШЕНИЯМИ ETL/ELT
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
Просмотров 6592 года назад
Women In Data Analytics | Интервью с главой отдела продаж и развития SqlDbm - Анной Абрамовой.
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
Просмотров 4,4 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-5 ЗНАКОМСТВО С SNOWFLAKE - THE ELASTIC DATA WAREHOUSE
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
Просмотров 2,7 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-4 ЗНАКОМСТВО С AZURE SYNAPSE ANALYTICS (AZURE DATAWAREHOUSE)
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
Просмотров 3 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-3 ЗНАКОМСТВО С AMAZON REDSHIFT
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
Просмотров 4,2 тыс.2 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-2 ЧТО ТАКОЕ АНАЛИТИЧЕСКОЕ ХРАНИЛИЩЕ ДАННЫХ
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
Просмотров 3,1 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Просмотров 8583 года назад
ML-101 | Module 03 | Lesson 03 | Multi-Class Classification: Practice | Anastasia Rizzo
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
Просмотров 7563 года назад
Women In Data Analytics | Интервью c Principal Engineer Amazon QuickSight Татьяной Якушевой
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
Просмотров 1,5 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-10 PYTHON В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
Просмотров 7763 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-9 ПРОФЕССИИ И СЕРТИФИКАЦИЯ В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
Просмотров 9513 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-8 АНАЛИТИКА В ОБЛАКЕ
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
Просмотров 7393 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Просмотров 1,4 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
Просмотров 1,1 тыс.3 года назад
DATALEARN | DE - 101 | МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
Просмотров 7243 года назад
DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Просмотров 6923 года назад
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Огонь
Ихний ихний ихний ихний!
Спасибо за интересную лекцию. Вы немогли бы уточнить(было неразборчиво, я не раслышал) На что вы перешли вместо pinecone? Спасибо.
LangChain: * max_new_tokens * max_iterations But it is better to develop agents in: * Autogen; * LangGraph.
Позабавили вопросы , которые относятся не к airflow, а к самому пайтону, я как разработчик на пайтоне перешедший в девопс очень умиляюсь вопросам по пространству имён
Блин видео круто. Боже кто-то задал вопрос что такое баш команда, человек даже не открывал терминал и уже в девопсы хочет 😮
Отличное видео, очень доходчиво подан материал, спасибо! ❤
вы говорите повторить все эти коды, но где достать файл для импорта и ваш файл с кодами? тут толком ничего не видно. на гитхабе только план
этому будущему лет двадцать, наверное. В 2010ом работал с большим энтерпрайз решением, где эти активити схемы генерились в рантайме для построения отчетов
ура, я дошёл до конца 1 части курса) спасибо тебе большое, Анатолий! надеюсь, что ты сейчас в безопасности и в здравии
Очень крутое и полезное видео! Огромное спасибо, многое стало понятно :)
Начал с плоской таблицы, закончил схемой звезда для специального случая потоковых данных. Иногда важно открыть ещё не забытое старое...
По сути плоская таблица (flat file) в 1-ой нормальной форме - основа аналитических наборов данных (analytical dataset) для задач машинного обучения. Правда, надо ещё поработать с признаками (feature engineering). Хорошо и для BI, не нужно связывать таблицу фактов с таблицами измерений. Но большая избыточность и неэффективность при работе с отдельными измерениями.
Nice
его не нужно приручать, его нужно выкидывать на помойку и заменять lakehouse архитектурой
Надо было данные на кириллице использовать. С которыми ни LIKE, LOWER, UPPER не работают. Вот это было бы интересно посмотреть как на реальных данных приходится выкручиваться
Почему всегда говорят про хабы, линки, сателлиты, но забывают про рефы?!
Качественный контент с не качественным изображением
после просмотра видео , я понял, что я еще даже не новичок 🙄
Нихера не видно
Классное видео. Спасибо! Я только не понял зачем заменять inner join на left join.
Лайк, подписка. Супер
Спасибо за серию, очень доступное и грамотное изложение материала!
Спасибо!!!
Огромная благодарность
Николай, рассказ на миллион долларов!!❤
Схема на 22:25 Если мы просто от схемы звезды переместим в сателлиты атрибуты сущности, то при добавлении нового хаба мы добавляем новый столбец в ссылку. Я правильно понял?
Абсолютно согласен, что в DuckDB, пожалуй самый гибкий и правильный SQL
Смотря какой fabric..
Спасибо! Крутой доклад
Друзья, это очень плохой курс) Я просто не поинмаю людей ниже, которые комментируют и восхищаются! Женщина красивая, не спорю, но мало о чем понимает из того, что говорит, такое у меня ощущение.
а вы спец? профи? исходя из чего судите? судя по ее опыту работы, такое звучит абсурдно
@@claudian6257 да я спец и профи, заключаю исходя из профильного образования в области кибернетики и пятилетнего опыта в роли исследователя данных. Курсы прохожу ради того чтобы освежать свои знания, на этот наткнулся случайно, и советую людям не тратить временя. К курсу по de это не относится.
65 на 45 - не окей, хорошо. инфа 146%
топчик
Ужастная схема
Прекрастная схема
То есть мап редьюс был давно реализован на хадупе- хранить данные распределено и спускать (мап) функции туда на кажд узел. И возвращать (редус) уже какой то ггтовый результат. Гринплам сделал по сути тоже самое?
Максима знаю только заочно, прекрасный специалист
Ожидал single table design /
Действительно соглашусь с другими комментариями, залетел в аналитику не поняв сам как это получилось. Не было нормального понимания что такое ETL и ELT хотя смотрел другие видео и читал, Ваша подача очень радует. Огромная благодарность.
Можете пожалуйста, рассказать подробнее, о том как стали аналитиком?
@@user-gv8zc2hw9z работал на госслужбе, анализировал данные сначала в эксель, потом в аксесс, затем пришлось работать с sql немного, потом ibm spss modeller, но не машинное обучение а обычные джоины и т.д. Немного столкнулся с графами без сильного погружения. Записался в академию “step» на fullstack. Начал с C++ был очень грамотный преподаватель, после ООП ушел с курса понял что fullstack не мое очень сложно, знаешь все и ничего). Пошел в ту же академию на python django параллельно работал с данными и уже пытался анализировать в python. Обучение было ужасным преподаватель студент без опыта преподавания. Сейчас наверное даже не до аналитик. Самым действенным двигателем конечно была работа. Если ты учишься и не применяешь знания очень сложно. Сейчас понимаю что нет хорошей базы. Опять хочу начинать с нуля)) всем добра. Мой совет идти на курсы и по возможности устраиваться на стажировку в компанию где ты можешь применять знания обязательно с хорошим наставником. Можно даже бесплатно. Но наставник важен, мне приходилась допетривать до всего самому уходило очень много времени.
Спасибо за видео!
всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться
А ссылку на гитхаб в коменты скиньте пожалуйста😅
Отвлекает, что камера весь урок шатается... :)
добрый день, планируется ли видео обновления, что изменилось в 2024? (тулс, методология etc)
Благодарность за курс! Начальные сведения понятны для новичка Обучаюсь в начале 2024 года
Спасибо тебе большое за такой труд! Тяжело отписать словами твой вклад в мою будущую карьеру
Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.
Почему yarn а не airflow?) В курсе яндекс практикума
Даже на 720 такое мыло на экране (((
Где же ссылка на телеграм-канал мистера Трусова?
Сергей, вы умничка❤