Методы сбора и обработки данных при помощи Python. Урок 5

Сентябрь 3, 2022

Главная
Алгебра
Методы сбора и обработки данных при помощи Python. Урок 5

Содержание

2. План урока 1) SQL и NoSQL 2) Что такое MongoDB и почему именно она 3) Структура
3. SQL и NoSQL
4. SQL Atomicity – атомарность; Consistency – согласованность; Isolation – изолированность; Durability – устойчивость.
5. NoSQL Ключ-значение (Redis, Berkeley DB). Документоориентированные (MongoDB, CouchDB). Графовые (Giraph, Neo4j). BigTable (HBase, Cassandra).
6. NoSQL
7. SQL
8. Примеры запросов SQL: Найти все статьи из таблицы posts с тегом politics, за которые проголосовало более
9. Что такое MongoDB и почему именно она? Скорость разработки. Нет необходимости в поддержке схемы и в
10. Что такое MongoDB и почему именно она? Данные быстро меняются (дополнительные данные из API, динамический контент
11. Структура данных MongoDB
12. Структура данных MongoDB
13. Структура данных MongoDB
14. Структура данных MongoDB
15. Структура данных MongoDB
16. Домашнее задание 1) Развернуть у себя на компьютере/виртуальной машине/хостинге MongoDB и реализовать функцию, записывающую собранные объявления
18. Скачать презентацию

Слайд 2

План урока
1) SQL и NoSQL 2) Что такое MongoDB и почему именно

она 3) Структура данных в MongoDB 4) Установка MongoDB на примере Win 7 5) Работа с MongoDB из консоли 6) Работа с MongoDB в Python

Слайд 3

SQL и NoSQL

Слайд 4

SQL

Atomicity – атомарность;
Consistency – согласованность;
Isolation – изолированность;
Durability – устойчивость.

Слайд 5

NoSQL

Ключ-значение (Redis, Berkeley DB).
Документоориентированные (MongoDB, CouchDB).
Графовые (Giraph, Neo4j).
BigTable (HBase, Cassandra).

Слайд 6

NoSQL

Слайд 7

SQL

Слайд 8

Примеры запросов

SQL:
Найти все статьи из таблицы posts с тегом politics,

за которые проголосовало более 10 посетителей

Mongo:

Слайд 9

Что такое MongoDB и почему именно она?

Скорость разработки.
Нет необходимости в

поддержке схемы и в коде, и в БД.
Легкая масштабируемость.
Гибкость при смене задачи.
Удобство работы с денормализованными данными.

Слайд 10

Что такое MongoDB и почему именно она?

Данные быстро меняются (дополнительные

данные из API, динамический контент в HTML-страницах).
Меняя схему, надо менять и приложение, и БД.
БД нужна лишь до тех пор, пока нужны данные.
Данные постоянно обновляются.
Нормализация не нужна.
Задача не меняется.
Одно приложение.

Слайд 11

Структура данных MongoDB

Слайд 12

Структура данных MongoDB

Слайд 13

Структура данных MongoDB

Слайд 14

Структура данных MongoDB

Слайд 15

Структура данных MongoDB

Слайд 16

Домашнее задание

1) Развернуть у себя на компьютере/виртуальной машине/хостинге MongoDB и

реализовать функцию, записывающую собранные объявления с avito.ru в созданную БД (xpath/BS для парсинга на выбор) 2) Написать функцию, которая производит поиск и выводит на экран объявления с ценой меньше введенной суммы *Написать функцию, которая будет добавлять в вашу базу данных только новые объявления