Анализ информации из социальных сетей

#Поиск ссылки на оригинал изображения
def urlTOP(messAr,url=""): #urlToOriginalPhoto
    if   "photo_2560" in messAr: url = "photo_2560"
    elif "photo_1280" in messAr: url = "photo_1280"
    elif "photo_807"  in messAr: url = "photo_807"
    elif "photo_604"  in messAr: url = "photo_604"
    elif "photo_130"  in messAr: url = "photo_130"
    elif "photo_75"   in messAr: url = "photo_75"
    else: print('error of sizeing')
    url = messAr[url]
    return url

#Подключаем необходимые модули
import os
import vk
import urllib
import time
import requests
#--------- END ---------#
#Создание папки для фотографии
def mkDirForPh(dirName, co = 0, iF = 1):
    while iF:
        if (dirName in os.listdir()): #если такая папка есть, пробуем добавить - (1) если и такая есть добавляем - (2) и т.д.
            co = co + 1
            dirName = str(withUID) + "(" + str(co) + ")"
        else:# если папки с названием dirName в этой директории нет, создаем ее и переходим в нее
            os.mkdir(dirName) 
            os.chdir(dirName)
            iF = 0
#--------- END ---------#
            
#Поиск ссылки на оригинал изображения
def urlTOP(messAr,url=""): #urlToOriginalPhoto
    if   "photo_2560" in messAr: url = "photo_2560"
    elif "photo_1280" in messAr: url = "photo_1280"
    elif "photo_807"  in messAr: url = "photo_807"
    elif "photo_604"  in messAr: url = "photo_604"
    elif "photo_130"  in messAr: url = "photo_130"
    elif "photo_75"   in messAr: url = "photo_75"
    else: print('error of sizeing')
    url = messAr[url]
    return url
#--------- END ---------#
#Скачивание изображения
def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return
#--------- END ---------#
#Диалог
def IDC(F = 1): #input dialog check  
    while F:
        if 'token' in globals():#если переменная токена определена
            F = 0
            print('token - Y')
        else:
            temp = input('Введите ваш токен: ')
            if len(temp) > 10 and str(type(temp)) == "<class 'str'>":
                global token
                token = temp
                continue
            else:
                print('Токен введен не правильно!')
                F = 1
                continue
        if 'withUID' in globals():#если переменная withUID определена
            F = 0
            print('ID - Y')
        else:
            temp = input('Введите ID человека, из диалога с которым, вы хотите скачать все фото(пример:947530459) без пробелов и букв ID!: ')
            if len(temp) > 0 and str(type(temp)) == "<class 'str'>":
                global withUID
                withUID = temp
                continue
            else:
                print('ID введен не правильно!' + str(type(temp)))
                F = 1
                continue
#--------- END ---------#
            
IDC()           
#подключаемся к vkAPI
vkAPI = vk.API(access_token=token)
#Достаем сообщения
lm = vkAPI.messages.getHistory(count = 200, user_id=withUID)
# Получаем Имя и Фамилию собеседника
withUsr = vkAPI.users.get(users_ids=withUID)
#Количество сообщений с собеседником
print ("Всего сообщений: "+str(lm['count']))
# Инициализация счетчиков
MPC = 0 #MessParseCounter счетчик для масива lm
SPC = 0 #SavedPhotosCounter счетчик сохраненных сообщений
#создаем папку с именем withUID
mkDirForPh(str(withUID))
#парсим массив сообщений
for i in range(lm['count']): # co - кол-во итераций, lm['count'] - кол-во сообщений всего
    if(MPC > 199):#По скольку сообщения мы вытягиваем по 200 шт, проверяем, какое по счету сообщение мы будем парсить, если MPC > 199 : MPC = 0 и получаем новые 200 сообщений
        lm = vkAPI.messages.getHistory(count = 200, user_id=withUID, offset=i)
        MPC = 0
        time.sleep(0.5)#делаем небольшую паузу
    if 'attachments' in lm['items'][MPC]:  #если в сообщении есть прикрепление
        for j in range(len(lm['items'][MPC]['attachments'])): #парсим прикрепления на предмет фотографий
            if 'photo' in lm['items'][MPC]['attachments'][j]: #если приложение являеться фотографией
                #сохраняем фотографию
                url = urlTOP(lm['items'][MPC]['attachments'][j]['photo'])# получаем URL на картинку
                print("i = " + str(i) + "| j = " + str(j) + "| MPC = " + str(MPC) + "| SPC = \r" + str(SPC)) # дебаг
                DownloadFile(url)#скачиваем файл
                #print (url)
                SPC+=1#инкрементируем счетчик сохраненных фотографий
    #конец for
    MPC+=1 #Инкрементируем счетчик обработанных сообщений
print('Сообщений сканировано:'+ str(i+1) +'\nЗагружено всего фотографий:' + str(SPC))
print('Все скачанные фотографии будут лежать в папке:'+ os.getcwd())

print('Привет! Давай поработаем!')
print('1. Импорт источников')
print('2. Экспорт источников')
choise = int(input('выбери свой вариант: '))
 
while True:
    if choise <= 0:
        print('Ошибка ввода')  # нулевой случайы
        break
    elif choise == 1:
        print('Выбран 1')
        break
    elif choise == 2:
        print('Выбран 2')
        break
    else:
        print('Неправильный ввод')
        break

print('Привет! Давай поработаем!')
print('1. Импорт источников')
print('2. Экспорт источников')
choise = int(input('Выбери свой вариант: '))
 
while True:
    if choise <= 0:
        print('Ошибка ввода')  # нулевой случай
        break
    elif choise == 1:
        print('Выбран вариант № 1')
        id = input('Введите id источника (папка import): ')
        name = input('Введите желаемое название: ')
        frequency = int(input('Как часто вызывать (цифра, в мин): '))
        exp = int(input('Укажите id файла экспорта'))
        # создать класс GET POST
        print('Пробуем сделать запрос...')
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print('Получилось!', post['id'], post['text'][:10] + '...')
 
        s = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): ')
        if s == 'да' or s == '1' or s == 'Да' or s == 'y' or s == 'Y':
            # сохраняем введенные выше данные группы в базу
            serialize_data(data)
        elif s == 'нет' or s == '0' or s == 'Нет' or s == 'n' or s == 'N':
            data = deserialize_data()
            print(*data)
        break
 
    elif choise == 2:
        print('Выбран вариант № 2')
        break
    else:
        print('Ошибка ввода.')
        break

        s = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): ')
 
        if s == 'да' or s == '1' or s == 'Да' or s == 'y' or s == 'Y':
            # сохраняем введенные выше данные группы в базу
            serialize_data(data)
        elif s == 'нет' or s == '0' or s == 'Нет' or s == 'n' or s == 'N':
            data = deserialize_data()
            print(*data)

if __name__ == "__main__":
    main()

s.lower() in ("да","1","y")

import argparse
 
 
def run_import(args):
    print(args)
 
 
if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Мой мегаскрипт.')
    subparsers = parser.add_subparsers(help='Команда')
    parser_import = subparsers.add_parser('import', help='Импорт')
    parser_import.add_argument('source_id', type=int, help='id источника')
    parser_import.add_argument('name', type=str)
    parser_import.add_argument('frequency', type=int)
    parser_import.add_argument('exp', type=int)
    parser_import.add_argument('--save', action='store_true')
    parser_import.set_defaults(func=run_import)
   
    parser_export = subparsers.add_parser('export', help='Экспорт')
    # …
    
    args = parser.parse_args()
    args.func(args)

print('Привет! Давай поработаем!')
print('1. Импорт источников')
print('2. Экспорт источников')
print('3. Вывести список импортов')
 
while True:
    choise = input('Выбери цифру нужного варианта: ')
 
    if int(choise) <= 0:
        # нулевой случай
        print('Введено отрицательное число или == 0.')
        print('Работа программы прекращена')
        break
 
    elif int(choise) == 1:
        print('Выбран вариант № 1')
        id = input('Введите id источника (папка import): ')
        name = input('Введите желаемое название: ')
        frequency = int(input('Как часто вызывать (цифра, в мин): '))
        exp = int(input('Укажите id файла экспорта: '))
        # создать класс GET POST
        print('Пробуем сделать запрос...')
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print('Получилось!', post['id'], post['text'][:10] + '...')
 
        s = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): ')
        if s.lower() in ("да", "1", "y"):
            # сохраняем введенные выше данные группы в базу
            serialize_data(data)
        elif s.lower() in ("нет","0","n"):
            data = deserialize_data()
            print(*data)
        continue
 
    elif int(choise) == 2:
        print('Выбран вариант № 2')
        continue
    elif int(choise) == 3:
        print('Выбран вариант № 3')
        print('Выводим список всех источников с назначением: ')
        continue
    else:
        print('Выбран неверный вариант! Повторите ввод или 0 для выхода')
        continue

        # сохраняем данные добавляемого варианта в файл или базу...
        save = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): ')
        set = [id, name, frequency, exp]
        if s.lower() in ("да", "1", "y"):
            serialize_data(set)
        elif s.lower() in ("нет","0","n"):
            print('Начинаем сначала!')
            continue

        # сохраняем данные добавляемого варианта в файл или базу...
        save = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): \n')
        set = [id, name, frequency, exp]
        if save.lower() in ("да", "1", "y"):
            #serialize_data(set)
            print(*set)
        elif save.lower() in ("нет","0","n"):
            print('Начинаем сначала!')
            continue

import vk_api
import pickle
 
vk_session = vk_api.VkApi(login, password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
data_file =  'data.pickle'
 
def id_by_name(name):
    return vk.groups.getById( group_id=name)[0]['id']
    
def serialize_data(data):
    with open(data_file, 'wb') as f:
            pickle.dump(data, f)
        
def deserialize_data():
    with open(data_file, 'rb') as f:
        data = pickle.load(f)
    return data
 
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
 
if __name__ ==  '__main__':
    print('1. Вывести посты из группы')
    print('2. Просмотреть сохраненные посты')
    n = input('Выберите 1 или 2 ')
    if n  == '1':
        gr = input('Название группы ')
        id = id_by_name(gr)
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print(post['id'], post['text'][:30] + '...')
        s = input('Вы хотите сохранить данные? да/нет ')
        if s == 'да':
            serialize_data(data)
    elif n == '2':
        data = deserialize_data()
        print(*data)

conn =  sqlite3.connect(":memory:")

from base import sqlite
import vk_api
 
def main():
    login, password = settings.login, settings.password
    vk_session = vk_api.VkApi(login, password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all('wall.get', 100, {'owner_id': -108964054})
 
    print('Posts count:', wall['count'])
 
    for i in range(wall['count']):
        print('Post:', wall['items'][i])
 
 
if __name__ == '__main__':
    main()

import sqlite3
 
conn = sqlite3.connect('example.db')
 
c = conn.cursor()
 
c.execute('''CREATE TABLE stocks
             (date text, trans text, symbol text, qty real, price real)''')
 
c.execute("INSERT INTO stocks VALUES ('2006-01-05','BUY','RHAT',100,35.14)")
 
conn.commit()
 
conn.close()

from vk_import import VkParser
from bd import DataBase
import os
 
to_dos = 0
name_db = 'data.bd'
 
print('Привет! Давай поработаем!')
print('1. Импорт источников')
 
def exists(path):
    try:
        os.stat(path)
    except OSError:
        return False
    return True
 
 
while True:
    choise = input('\n Выбери цифру нужного варианта: ')
 
    if int(choise) <= 0:
        # нулевой случай
        print('Введено отрицательное число или == 0.')
        print('Работа программы прекращена')
        break
 
    elif int(choise) == 1:
        print('Выбран вариант № 1')
        id = input('Введите id источника (папка import): \n')
 
        posts = []
 
        try:
            vk = VkParser()
            posts = vk.get_info(int(id))
        except:
            pass
        
        if not posts:
            print("Такой группы нет")
        else:
            print('Количество постов:', len(posts))
            save = input('Вы хотите сохранить введенные данные? Да(y)/Нет(n): \n')
            if save.lower() in ("да", "1", "y"):
                if not exists(name_db):
                    bd = input('Первый запуск программы. '
                               'Вы хотите создать базу данных? '
                               'Да(y)/Нет(n): \n')
                    if bd.lower() in ("да", "1", "y"):
                        to_dos = 1
                    else:
                        to_dos = 2
                else:
                    to_dos = 1  
            elif save.lower() in ("нет", "0", "n"):
                to_dos = 2
 
            if to_dos == 1:
                bd = DataBase(name_db)
                data = [(posts[i]['id'], posts[i]['date'], posts[i]['text']) for i in range(len(posts))]
                bd.save(data)
            elif to_dos == 2:
                print('Начинаем сначала!')

import vk_api
import settings 
 
class VkParser:
    def __init__(self):
        login, password = settings.login, settings.password
        self.vk_session = vk_api.VkApi(login, password)
     
        try:
            self.vk_session.auth(token_only=True)
        except vk_api.AuthError as error_msg:
            print(error_msg)
 
    def get_info(self, id):
        tools = vk_api.VkTools(self.vk_session)
        wall = tools.get_all('wall.get', 100, {'owner_id': -id})
        return wall['items']

import sqlite3
 
 
class DataBase:
    def __init__(self, name):
        self.conn = sqlite3.connect(name)
        self.c = self.conn.cursor()
        try:
            self.c.execute('''CREATE TABLE vkdata ( id integer, data integer, txt text)''')
        except:
            print("Не удалось создать таблицу")
 
    def save(self, data):
        self.c.executemany("INSERT INTO vkdata VALUES (?,?,?)", data)
        self.conn.commit()
        self.conn.close()