upd

.gitignore

@@ -1,3 +1,9 @@
+## Project specific files
+Реестр членов_files/
+users.json
+index.html
+registry.html
+
 # Byte-compiled / optimized / DLL files
 __pycache__/
 *.py[cod]

README.md

@@ -0,0 +1,53 @@
+# projectparser
+
+
+## Подготовка окружения
+
+```
+pip install -r req.txt
+```
+
+## Наполнение данных
+
+* Запуск парсинга 
+```
+python parserweb/parser.py
+```
+* Наполнение БД
+```
+python populate_db.py
+```
+* Запуск приложения
+```
+./run.sh
+```
+## Модель данных
+
+![ER](ER_diag.png)
+
+Link
+
+https://dbdesigner.page.link/wCPjHn8Gwk7iNKeEA
+
+
+
+## TODO
+
+[TODO](TODO.md)
+
+## Типовые проблемы
+
+### Проблемы с импортом
+
+если не проходит импорт, например
+```
+ModuleNotFoundError: No module named 'parser_core'
+```
+Необходимо проверить:
+```
+echo $PYTHONPATH
+```
+если переменная пустая, то в корне проекта выполнить:
+```
+export PYTHONPATH=$PWD
+```

TODO.md

@@ -0,0 +1,17 @@
+# Что нужно сделать
+
+## MVP
+- [x] получить данные
+- [x] парсинг первой страницы
+- [x] парсинг данных пользователя
+- [x] рефакторинг кода для 'недействующих пользователей'
+- [x] рефакторинг DRY
+- [x] спроектировать базу
+- [x] вставить данные в базу
+- [x] вывод базы данных в вебе
+- [x] фильтр по полю статуса агентов 
+- [x] статус выгрузки (progress bar)
+## Improvment
+- [ ] парсинг с пагинацией
+- [ ] реализовать логирование выгрузки данных
+- [ ] асинхронные запросы к API

db/model.py

@@ -0,0 +1,42 @@
+from flask_sqlalchemy import SQLAlchemy
+
+
+db = SQLAlchemy()
+
+"""
+class Ensurance(db.Model):
+    id = db.Column(db.Integer, primary_key=True)
+    ensurance_org=db.Column(db.String, nullable=True)
+"""
+
+class Rsodata(db.Model):
+    id = db.Column(db.Integer, primary_key=True)
+    reestr_number = db.Column(db.Text)
+    satisfied = db.Column(db.String)
+    excluded = db.Column(db.Text, nullable=True)
+    stopped = db.Column(db.Text, nullable=True)
+    grade = db.Column(db.String, nullable=True)
+    lfm = db.Column(db.String, nullable=True)
+    compensation = db.Column(db.String, nullable=True)
+    experience = db.Column(db.String, nullable=True)
+    contacts = db.Column(db.Text, nullable=True)
+    url = db.Column(db.String, unique=True, nullable=True)
+    ensurance=db.Column(db.String, nullable=True)
+    def __repr__(self):
+        return '<Person info {} {} {} {}>'.format(self.reestr_number, self.satisfied ,self.excluded ,self.url)
+
+"""
+class User(db.Model):
+    id = db.Column(db.Integer, primary_key=True)
+    #firstname = db.Column(db.String, nullable=True)
+    #lastname = db.Column(db.String, nullable=True)
+    #middlename = db.Column(db.String, nullable=True)
+    lfm = db.Column(db.String, nullable=True)
+    compensation = db.Column(db.String, nullabale=True)
+    experience = db.Column(db.String, nullabale=True)
+    contacts = db.Column(db.Text, nullable=True)
+    #ensurance_id = db.Column(db.Integer, unique=True)
+    #rso_id = db.Column(db.Boolean, nullabale=True)  
+    url = db.Column(db.String, unique=True, nullable=True)
+"""
+

db_ddl.sql

@@ -0,0 +1,26 @@
+CREATE TABLE Users (
+  id integer PRIMARY KEY AUTOINCREMENT,
+  firstname varchar PRIMARY KEY AUTOINCREMENT,
+  lastname varchar PRIMARY KEY AUTOINCREMENT,
+  middlename varchar PRIMARY KEY AUTOINCREMENT,
+  compensation varchar,
+  experience integer,
+  contacts varchar,
+  ensurance_id integer,
+  rso_id blob,
+  url varchar
+);
+
+CREATE TABLE rsodata (
+  id integer PRIMARY KEY AUTOINCREMENT,
+  reestr_number integer,
+  satisfied blob,
+  excluded varchar,
+  stopped varchar,
+  grade varchar
+);
+
+CREATE TABLE ensurance (
+  id integer PRIMARY KEY AUTOINCREMENT,
+  ensurance_org varchar PRIMARY KEY AUTOINCREMENT
+);

parser_core/get_person_info.py

@@ -0,0 +1,97 @@
+from bs4 import BeautifulSoup
+import requests
+import re
+from pprint import pprint
+
+headers = {}
+
+def get_user_info(url, headers):
+    response = requests.get(url, headers=headers)
+    return response.text
+
+def parse_table(soup):
+    try:
+        data = soup.find('div', class_ = 'reestr').find_all('table')
+        temp_dict = {}
+        for row in data:
+            # print(row)
+            key = row.find('td').text.strip()
+            try:
+                value = ' '.join(row.find('td', class_ = 'posrel').get_text(strip=True, separator='\n').split('\n')[:-1]).strip()
+            except:
+                value = None
+            temp_dict[key] = value
+        return temp_dict
+    except:
+        return {}
+
+def get_person(soup):
+    temp_dict = parse_table(soup)
+    satisfied = temp_dict.get('Соответствие условиям членства в СРО, предусмотренным законодательством Российской Федерации и (или) внутренними документами СРО')
+    stopped = temp_dict.get('Приостановка права осуществления оценочной деятельности')
+    grade = temp_dict.get('Степень членства')
+    ensurance = temp_dict.get('Страхование деятельности')
+    return {
+        'bilet': temp_dict.get('Членский билет'),
+        'grade': grade if grade else 'Не является членом',
+        'satisfied': satisfied if satisfied else 'Не соответствует',
+        'reestr_number': temp_dict.get('Номер в Реестре РОО'),
+        'contacts': temp_dict.get('Контакты'),
+        'organization': temp_dict.get('Организация (место работы)'),
+        'experience': temp_dict.get('Стаж'),
+        'ensurance': ensurance if ensurance else 'Страховая организация отсутствует',
+        'compensation': temp_dict.get('Компенсационный фонд'),
+        'excluded': temp_dict.get('Исключен', 'Действующий'),
+        'stopped': stopped if stopped else 'Не приостановлено'
+    }
+
+
+def cleanup_changed(content, idx):
+    if idx > len(content):
+        return None
+    try:
+        return ' '.join(content[idx].get_text(strip=True, separator='\n').split('\n')[:-1])
+    except:
+        return None
+
+def parse_user_info(content, url):
+    soup = BeautifulSoup(content, "html.parser")
+    try:
+        lfm = soup.find("h3").text
+    except AttributeError:
+        lfm = None
+    try:
+        date_and_city_of_birth = soup.find("div", class_="reestr").find('p').text.strip()
+        city_of_birth = date_and_city_of_birth.split(',')[1].strip()
+        date_of_birth = date_and_city_of_birth.split(',')[0].split('-')[1].strip()
+    except:
+       city_of_birth = None
+       date_of_birth = None 
+    try:
+        status = soup.find("table", class_="top").find('td').text.strip()
+    except:
+        status = "Действующий"
+
+    expanded_dict = get_person(soup)
+    return {
+        'lfm': lfm,
+        'birth_date': date_of_birth,
+        'birth_city': city_of_birth,
+        'status': status,
+        'url': url,
+        **expanded_dict
+    }
+
+
+if __name__ == '__main__':
+    from parserweb.parser import headers
+    url = 'http://sroroo.ru/about/reestr/379972/'
+    #url = 'http://sroroo.ru/about/reestr/806693/'
+    # with open("index.html", "w") as file:
+    #     data = get_user_info(url, headers)
+    #     file.write(data)
+    with open('index.html', encoding='utf-8') as file:
+        data = file.read()
+    parsed_data = parse_user_info(data, url)
+    pprint(parsed_data)
+

parserweb/__init__.py

@@ -0,0 +1,65 @@
+from flask import Flask, render_template,Blueprint
+from db.model import Rsodata
+from db.model import db
+from parserweb.parser import return_parsed_data
+rso_data_column_dict = {
+    'id': "Порядковый номер",
+    'reestr_number': "Номер в реестре",
+    'satisfied': "Соответствует ли",
+    'excluded': "Является ли агентом",
+    'stopped': "Прекращено ли членство",
+    'grade': "Степень членства",
+    'contacts': "Контакты",
+    'organization': "Страховые компании",
+    'experience': "Стаж",
+    'ensurance': "Страховщик",
+    'compensation': "Компенсационный фонд",
+    'lfm': "ФИО",
+    'url': "ссылка",            
+    }
+displayed_col = ['lfm', 'grade', 'excluded', 'url']
+
+def create_app():
+    columns = Rsodata.__table__.columns.keys()
+    app = Flask(__name__)
+    app.config.from_pyfile('config.py')
+    db.init_app(app)    
+    @app.route('/')
+    def index():
+        title = "Информация по агентам"
+        active_agents = ['lfm', 'grade', 'exluded', 'url']
+        agent_list = Rsodata.query.all()
+        # print(columns)
+        #print(agent_list)
+        #print("Everything done")
+        #print(title, weather, news_list)
+        return render_template('info.html', page_title=title,
+                               agent_list=agent_list, columns=columns,
+                               rso_data_column_dict=rso_data_column_dict,
+                               displayed_col=displayed_col)
+        # return render_template('debug.html')
+    @app.route('/active')
+    def filtered():
+        title = "Информация активным по агентам"
+        agent_list = Rsodata.query.filter(Rsodata.grade.in_(['Действительный член РОО'])).all()
+
+        # print(columns)
+        #print(agent_list)
+        #print("Everything done")
+        #print(title, weather, news_list)
+        return render_template('info.html', page_title=title,
+                               agent_list=agent_list, columns=columns,
+                               rso_data_column_dict=rso_data_column_dict,
+                               displayed_col=displayed_col)
+
+    # @app.route('/')
+    # def index():
+    #     title = "Информация по агентам оценки"
+    #     person_list = return_parsed_data()
+    #     return render_template('index.html', page_title=title, person_list=person_list)
+
+    # blueprint = Blueprint('news', __name__)
+
+
+
+    return app

parserweb/config.py

@@ -0,0 +1,7 @@
+import os
+
+basedir = os.path.abspath(os.path.dirname(__file__))
+# print(basedir)
+SQLALCHEMY_DATABASE_URI = 'sqlite:///' + os.path.join(basedir, '..' , 'projectparser.db')
+BASE_URL = 'http://sroroo.ru'
+SQLALCHEMY_TRACK_MODIFICATIONS = False