chore(refactoring): split to class-based version #22

mmev · 2022-06-13T14:36:21Z

Начал рефакторить, за пару часов успел сделать следующее:

Написать абстрактные классы для всех типов хэндлеров
Вытащить все хендлеры в отдельные классы
Разбил существующие формы на классы
Написал базовый класс для моделей базы данных, но не успел заменить на её использование

Оттестированы функции бота, однако уведомления об изменениях не проверены.
Реквест получился большой, лучше спуллить локально и там смотреть изменения.

mmev · 2022-06-13T14:41:48Z

Из предложений по улучшению:

Разбить весь спагетти код на классы, вызывать их при необходимости
Вытащить запросы к ориоксу в Celery + очередь

llirrikk · 2022-06-13T17:16:45Z

Спасибо большое, посмотрю на следующей неделе. Как раз в планах было отрефакторить

mmev · 2022-06-14T01:55:03Z

Сделал еще кусок рефакторинга:

Вытащил ассетсы в отдельную директорую, удалив прошлую корневую
Написал небольшой хелпер для взаимодействия с ассестами
Переместил остатки хелперов в директорию приложения
Чутка упростил хелпер для генерации картинок (с неймингом было сложно)
Вытащил переменные в environment файл, сразу сделал template, для генерации через GitHub Actions
Для удобной работы с env файлами установлена библиотека python-dotenv
Подключена SQLAlchemy для работы с базой данных, пока используется встроенный SQLite движок
Подключен Alembic для миграций схемы, сделана первая миграция с тремя таблицами
Написан модуль для фикстур, который позволяет вставлять стандартные значения в базу данных, реализовано для стандартного значения AdminStatistics
Выпилены первые 2 SQL файла: создание AdminStatistics (заменено на Alembic migration) и заполнение его данными (заменено более гибкими фикстурами)
Обновлён список зависимостей

Вроде ничего не успустил, думаю к выходным добью рефакторинг...

Еще думаю на счет миграции уже существующих данных пользователей, пока в голову приходит какой-то скрипт, который перетащит данные в нужные места, однако не уверен, что это хорошая затея. @llirrikk что думаешь об этом? Сколько вообще пользователей в продакшене? Насколько сложно будет руками перенести?

llirrikk · 2022-06-14T11:26:21Z

С SQLAlchemy и Alembic не работал, но вот, кажется, пришло их время. Они не могут как django migrations сделать автоматически новую таблицу из существующей в БД?

скрипт, который перетащит данные в нужные места

нужные места - это новая таблица в БД? Чем она отличается от старой? Только названиями таблиц и колонок?

На данный момент у нас 665 пользователей, из которых 520 активных, поэтому если руками (скриптом), то придется останавливать продакшн на время этих миграций, чтобы пользователи не могли вносить изменения в это время

mmev · 2022-06-15T02:52:33Z

С SQLAlchemy и Alembic не работал, но вот, кажется, пришло их время. Они не могут как django migrations сделать автоматически новую таблицу из существующей в БД?

Там выходит такая история, отталкиваясь от SQL файлов я написал модели app/models/admin/AdminStatistics.py, app/models/users/UserStatus.py, app/models/users/UserNotifySettings.py и выполнил команду, после чего Alembic сгенерировал файл миграции в котором происходит создание этих моделей - app/migrations/version/e09d97658b84_initial_migration.py. В дальшейнем, если нужно внести какие-то изменения в БД, то они делаются именно в моделях и после чего запуском скрипта генерируется миграция, которая так-же скриптом применяется.

А вот с дата миграциями все немного сложнее, это придется делать скриптом, тк дата тайпы отличаются и SQLAlchemy не сможет работать с прошлым файлом базы.

Я больше переживаю о файлах пользователей, в которых хранятся данные, я планирую их переместить в другое месте, конкретнее app/storage или просто storage. В целом заменить все методы работы с файлами на централизованные, по этому нужно будет потом подумать, как корректно мигрировать именно userdata.

Давай созвонимся сегодня в telegram

mmev · 2022-06-15T02:53:57Z

Команда для создания новой миграции с автоматической проверкой изменений:

alembic revision --autogenerate -m "Initial migration"

Команда что бы применить изменения:

alembic migrate

llirrikk

👍, но pep8 не везде соблюден

llirrikk · 2022-06-25T23:23:48Z

app/__init__.py

+    from sqlalchemy import create_engine
+    from sqlalchemy.orm import scoped_session, sessionmaker
+
+    engine = create_engine(config.DATABASE_URL, convert_unicode=True)
+    return scoped_session(sessionmaker(autocommit=False, autoflush=False, bind=engine))


может логику инициализации БД вынести в db/__init__.py?

llirrikk · 2022-06-25T23:29:05Z

app/fixtures/AbstractFixture.py

+    def insert_data(self) -> bool:
+        if not self.need_to_add_values():
+            return False
+
+        values = self.values() if callable(self.values) else self.values
+
+        for value in values:
+            model = self.model()
+            getattr(model, self.fill_method_name)(**value)
+            model.save()


Возвращаемый bool нигде далее не обрабатывается. Возможно, надо заменить на None, ну или raise что-то. К тому же из функции может вовсе ничего не возвращаться, что противоречит аннотации

llirrikk · 2022-06-25T23:44:45Z

app/handlers/__init__.py

+    if text is not None:
+        dispatcher_.register_message_handler(handler_class.process, text=text, state=state)
+
+    if commands is not None:
+        dispatcher_.register_message_handler(handler_class.process, commands=commands, state=state)
+
+    if text is None and commands is None and state is not None:
+        dispatcher_.register_message_handler(handler_class.process, state=state)


В 3.10 появился match/case, может, его сюда засунуть?

llirrikk · 2022-06-25T23:46:13Z

app/handlers/commands/admins/AdminStatisticsCommandHandler.py

+
+import db.admins_statistics
+from app.handlers.commands.settings import NotificationSettingsCommandHandler
+from config import Config


Почему тут Config, если везде config?

llirrikk · 2022-06-25T23:48:12Z

app/handlers/commands/orioks/OrioksAuthInputPasswordCommandHandler.py

+from app.helpers import OrioksHelper, TelegramMessageHelper
+from app.menus.orioks import OrioksAuthFailedMenu
+from app.menus.start import StartMenu
+from config import Config


То же самое?

llirrikk · 2022-06-26T00:02:07Z

app/models/users/UserStatus.py

+
+    __tablename__ = 'user_status'
+
+    user_telegram_id = Column(Integer, nullable=False)


Наверное лучше прописать связь с таблицей user_notify_settings как One To One

llirrikk · 2022-06-26T00:03:20Z

app/models/BaseModel.py

+class BaseModel(DeclarativeModelBase):
+    __abstract__ = True
+
+    id = Column(Integer, primary_key=True)


Почему pk именно на id? Думаю лучше ставить на user_telegram_id ну и убрать id

llirrikk · 2022-06-26T00:03:32Z

app/models/BaseModel.py

+    created_at = Column(DateTime, default=func.now())
+    updated_at = Column(DateTime, default=func.now(), onupdate=func.now())


А это зачем?

llirrikk · 2022-06-26T00:06:05Z

app/models/admins/AdminStatistics.py

+    scheduled_requests = Column(Integer, nullable=False, default=0)
+    success_logins = Column(Integer, nullable=False, default=0)
+    failed_logins = Column(Integer, nullable=False, default=0)


Тип лучше установить на BigInteger. Еще лучше сделать проверку на неотрицательность

llirrikk · 2022-06-26T00:09:25Z

app/menus/start/__init__.py

@@ -0,0 +1 @@
+from .StartMenu import StartMenu


А где магический __all__, как и везде в других местах?

llirrikk · 2022-09-11T23:36:02Z

В app/fixtures/AbstractFixture.py добавил возвращение True в конце
Заменил аннотации типов List, Dict на list, dict соответственно (python 3.9)
Заменил импорт Config на config для идентичности
Добавил абстрактные классы для AbstractInlineKeyboard, AbstractReplyKeyboard клавиатур двух типов

chore(refactoring): split to class-based version

d727ee3

chore(refactoring): moved utils to app.helpers

c0c4d69

feature(sqlalchemy+alembic): added db connection + first migration

d9a76a1

llirrikk reviewed Jun 26, 2022

View reviewed changes

feature(refactoring): raw SQL replaced by SqlAlchemy ORM

f66977b

llirrikk mentioned this pull request Sep 2, 2022

Расписание занятий, информация об аудиториях #30

Open

chore(refactoring): abstract keyboard models + typos

462ee2f

llirrikk approved these changes Sep 11, 2022

View reviewed changes

llirrikk merged commit f9f248c into orioks-monitoring:main Sep 12, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

chore(refactoring): split to class-based version #22

chore(refactoring): split to class-based version #22

mmev commented Jun 13, 2022 •

edited

Loading

mmev commented Jun 13, 2022 •

edited

Loading

llirrikk commented Jun 13, 2022

mmev commented Jun 14, 2022 •

edited

Loading

llirrikk commented Jun 14, 2022

mmev commented Jun 15, 2022 •

edited

Loading

mmev commented Jun 15, 2022

llirrikk left a comment

llirrikk Jun 25, 2022

llirrikk Jun 25, 2022

llirrikk Jun 25, 2022

llirrikk Jun 25, 2022

llirrikk Jun 25, 2022

llirrikk Jun 26, 2022

llirrikk Jun 26, 2022 •

edited

Loading

llirrikk Jun 26, 2022

llirrikk Jun 26, 2022

llirrikk Jun 26, 2022

llirrikk commented Sep 11, 2022


		__tablename__ = 'user_status'

		user_telegram_id = Column(Integer, nullable=False)

		created_at = Column(DateTime, default=func.now())
		updated_at = Column(DateTime, default=func.now(), onupdate=func.now())

chore(refactoring): split to class-based version #22

chore(refactoring): split to class-based version #22

Conversation

mmev commented Jun 13, 2022 • edited Loading

mmev commented Jun 13, 2022 • edited Loading

llirrikk commented Jun 13, 2022

mmev commented Jun 14, 2022 • edited Loading

llirrikk commented Jun 14, 2022

mmev commented Jun 15, 2022 • edited Loading

mmev commented Jun 15, 2022

llirrikk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

llirrikk Jun 26, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

llirrikk commented Sep 11, 2022

mmev commented Jun 13, 2022 •

edited

Loading

mmev commented Jun 13, 2022 •

edited

Loading

mmev commented Jun 14, 2022 •

edited

Loading

mmev commented Jun 15, 2022 •

edited

Loading

llirrikk Jun 26, 2022 •

edited

Loading