Анализ информации из социальных сетей

import vk_api
import json
import csv
import config as cnf
 
vk_session = vk_api.VkApi(cnf.login, cnf.password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
def id_by_name(name):
    return vk.groups.getById(group_id = name)[0]['id']
 
 
def main():
    vk_session = vk_api.VkApi(cnf.login, cnf.password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
    wall = tools.get_all(
        'wall.get', 1, {'owner_id': cnf.owner_id, 'offset': 1}
    )
    print('Всего постов: ', wall['count'])
    items = wall['items']
 
    for post in items:  #print(post)
        get_data_post = get_data(post)  #print(get_data_post)
        save_csv(get_data_post)  #print('PPC')
 
 
def get_data(post):
    #print(post['attachments'])
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        post_attachments = post['attachments']
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    with open('wall.json', 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()

import vk_api
import json
import csv
import config as cnf
 
vk_session = vk_api.VkApi(cnf.login, cnf.password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
def id_by_name(name):
    return vk.groups.getById(group_id = name)[0]['id']
 
 
def main():
    vk_session = vk_api.VkApi(cnf.login, cnf.password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
    wall = tools.get_all(
        'wall.get', 1, {'owner_id': cnf.owner_id, 'offset': 1}
    )
    print('Всего постов: ', wall['count'])
    items = wall['items']
 
    l = flattenjson(items)
    for i in l:
        k, v = i
        print(k, '=>', v)
 
 
    for post in items:  #print(post)
        get_data_post = get_data(post)  #print(get_data_post)
        save_csv(get_data_post)  #print('PPC')
 
 
def flattenjson(d):
    out = []
    def flat(obj,keys='[',delim=']['):
        if type(obj) is dict:
            for k in obj:
                flat(obj[k], keys + repr(k) + delim)
        elif type(obj) is list:
            for i,x in enumerate(obj):
                flat(x, keys + repr(i) + delim)
        else:
            out.append([keys[:-1],obj])
    flat(d)
    return out
 
 
def get_data(post):
    #print(post['attachments'])
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        post_attachments = post['attachments']
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    with open('wall.json', 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()

import vk_api
import json
import csv
import config as cnf
 
vk_session = vk_api.VkApi(cnf.login, cnf.password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
def id_by_name(name):
    return vk.groups.getById(group_id = name)[0]['id']
 
 
def main():
    vk_session = vk_api.VkApi(cnf.login, cnf.password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
    wall = tools.get_all(
        'wall.get', 1, {'owner_id': cnf.owner_id, 'offset': 1}
    )
    print('Всего постов: ', wall['count'])
    items = wall['items']
 
    l = flattenjson(items)
    for i in l:
        k,v = i
        if 'http' in repr(v):
            print('key=' + k,'url=' + v)
 
 
    for post in items:  #print(post)
        get_data_post = get_data(post)  #print(get_data_post)
        save_csv(get_data_post)  #print('PPC')
 
 
def flattenjson(d):
    out = []
    def flat(obj,keys='[',delim=']['):
        if type(obj) is dict:
            for k in obj:
                flat(obj[k], keys + repr(k) + delim)
        elif type(obj) is list:
            for i,x in enumerate(obj):
                flat(x, keys + repr(i) + delim)
        else:
            out.append([keys[:-1],obj])
    flat(d)
    return out
 
 
def get_data(post):
    #print(post['attachments'])
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        post_attachments = post['attachments']
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    with open('wall.json', 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()

# -*- coding: UTF-8 -*-
 
import vk_api
import dominate
from dominate.tags import *
from datetime import datetime
import config
import sys
 
if config.SaveImages == True:
    from os import path
    import urllib.request
 
def AttachmentsHandler(items = None, vk = None):
    #Функция обрабатывает типы вложений и возвращает нужную скрипту информацию
    for item in items:
        if item['type'] == 'photo':
            if 'access_key' not in item['photo']:
                attach = str(item['photo']['owner_id'])+"_"+str(item['photo']['id'])
            else:
                attach = str(item['photo']['owner_id'])+"_"+str(item['photo']['id'])+"_"+str(item['photo']['access_key'])
        elif item['type'] == 'link':
            attach = item['link']['url']
        elif item['type'] == 'sticker':
            attach = "Стикер"
        elif item['type'] == 'gift':
            attach = "Подарок"
        elif item[item['type']]['id'] == 0:
            attach = "Удаленное вложение"
        elif 'owner_type' not in item:
            attach = "Неизвестное вложение"
        else:
            attach = "http://vk.com/"+item['type']+str(item[item['type']]['owner_id'])+"_"+str(item[item['type']]['id'])
 
        return attach
 
def SaveAllWall(owner_id = config.owner_id, tools = None, vk = None, SaveImages = True, ShowImages = True, FileName = None, ShowAvatar = False):
    if FileName == None:
        FileName = "VkBackup "+str(datetime.now().strftime('%Y-%m-%d %H-%M-%S'))
    print("[VK] Получение всех записей")
    wall = list(tools.get_all_iter('wall.get', 100, {'owner_id': owner_id}))
    AllPosts = len(wall)
    print("[VK] Создание резервной копии")
    doc = dominate.document(title='VkBackup')
    with doc.head:
        link(rel='stylesheet', href='style.css')
        comment('Autogenerated with VkBackup at '+datetime.now().strftime('%Y-%m-%d %H-%M-%S'))
    with doc:
        p("Количество записей: "+str(AllPosts))
        with div(id='wall').add(ol()):
            NumberOfImage = 0
            NumberOfPost = 0
            for item in wall:
                lilist = li()
                UserList = p()
                #проверка является ли id пабликом или человеком
                if (ShowAvatar == True):
                    if item['from_id'] < 0:
                        GetUserId = vk.groups.getById(group_id = str(item['from_id']).replace("-", ""))
                        UserId = a(GetUserId[0]['name'], href='https://vk.com/club'+str(item['from_id']).replace("-", ""))
                    else:
                        GetUserId = vk.users.get(user_ids = item['from_id'], fields = 'photo_50')
                        UserId = a(GetUserId[0]['first_name']+' '+GetUserId[0]['last_name'], href='https://vk.com/id'+str(item['from_id']))
                    if SaveImages == True:
                        if path.isfile('./pic%s.png' % str(item['from_id'])) == False:
                            urllib.request.urlretrieve(GetUserId[0]['photo_50'], "pic%s.png" % str(item['from_id']))
                        UserList += img(src='pic%s.png' % str(item['from_id']), width="50", align="left")
                        UserList += UserId
                    else:
                        UserList += img(src=GetUserId[0]['photo_50'], width="50", align="left")
                        UserList += UserId
                else:
                    if item['from_id'] < 0:
                        UserId = a('https://vk.com/club'+str(item['from_id']).replace("-", ""), href='https://vk.com/club'+str(item['from_id']).replace("-", ""))
                    else:
                        UserId = a('https://vk.com/id'+str(item['from_id']), href='https://vk.com/id'+str(item['from_id']))
                    UserList += UserId
                lilist += UserList
                lilist += h1(datetime.fromtimestamp(item['date']).strftime('%Y-%m-%d %H:%M:%S'))
                if item['text'] != "":
                    lilist += p(item['text'])
                if 'copy_history' in item:
                    for note in item['copy_history']:
                        replink = "http://vk.com/wall"+str(note['owner_id'])+"_"+str(note['id'])
                        lilist += p(a(replink, href=replink))
                if 'attachments' in item:
                    getSized = AttachmentsHandler(items = item['attachments'], vk = vk)
                    for picture in item['attachments']:
                        if picture['type'] == "photo":
                            photo = vk.photos.getById(photos = getSized, photo_sizes = 1)
                            if ShowImages == True:
                                if SaveImages == True:
                                    urllib.request.urlretrieve(photo[0]['sizes'][-1]['src'], "pic%s.png" % NumberOfImage)
                                    lilist += img(src='pic%s.png' % NumberOfImage, width="360")
                                else:
                                    lilist += img(src=photo[0]['sizes'][-1]['src'], width="360")
                            else:
                                lilist += a("http://vk.com/photo"+getSized, href="http://vk.com/photo"+getSized)
                        else:
                            lilist += p(a(getSized, href=getSized))
                    NumberOfImage += 1
                lilist += p("Лайки: "+str(item['likes']['count'])+" Репосты: "+str(item['reposts']['count'])+" Комментарии: "+str(item['comments']['count']))
                test = wall.index(item)
                del test
                NumberOfPost += 1
                print("Обработано "+str(NumberOfPost)+"/"+str(AllPosts))
 
    with open(FileName+'.html', encoding='utf8', mode = 'w') as f:
        f.write(doc.render())
        f.close()
 
    return FileName+".html"
 
def SaveAllMessages(peer_id = None, tools = None, vk = None, SaveImages = False, ShowImages = True, FileName = None, ShowAvatar = False):
    if FileName == None:
        FileName = "VkBackup "+str(datetime.now().strftime('%Y-%m-%d %H-%M-%S'))
    print("[VK] Получение всех сообщений")
    message = list(tools.get_all_iter('messages.getHistory', 200, {'peer_id': peer_id}))
    AllPosts = len(message)
    print("[VK] Создание резервной копии")
    doc = dominate.document(title='VkBackup')
    with doc.head:
        link(rel='stylesheet', href='style.css')
        comment('Autogenerated with VkBackup at '+datetime.now().strftime('%Y-%m-%d %H-%M-%S'))
    with doc:
        p("Количество сообщений: "+str(AllPosts))
        with div(id='messages').add(ol()):
            NumberOfImage = 0
            NumberOfMessage = 0
            for item in message:
                lelist = li()
                UserList = p()
                #проверка является ли id пабликом или человеком
                if (ShowAvatar == True):
                    if item['from_id'] < 0:
                        GetUserId = vk.groups.getById(group_id = str(item['from_id']).replace("-", ""))
                        UserId = a(GetUserId[0]['name'], href='https://vk.com/club'+str(item['from_id']).replace("-", ""))
                    else:
                        GetUserId = vk.users.get(user_ids = item['from_id'], fields = 'photo_50')
                        UserId = a(GetUserId[0]['first_name']+' '+GetUserId[0]['last_name'], href='https://vk.com/id'+str(item['from_id']))
                    if SaveImages == True:
                        if path.isfile('./pic%s.png' % str(item['from_id'])) == False:
                            urllib.request.urlretrieve(GetUserId[0]['photo_50'], "pic%s.png" % str(item['from_id']))
                        UserList += img(src='pic%s.png' % str(item['from_id']), width="50", align="left")
                        UserList += UserId
                    else:
                        UserList += img(src=GetUserId[0]['photo_50'], width="50", align="left")
                        UserList += UserId
                else:
                    if item['from_id'] < 0:
                        UserId = a('https://vk.com/club'+str(item['from_id']).replace("-", ""), href='https://vk.com/club'+str(item['from_id']).replace("-", ""))
                    else:
                        UserId = a('https://vk.com/id'+str(item['from_id']), href='https://vk.com/id'+str(item['from_id']))
                    UserList += UserId
                lelist += UserList
                lelist += h1(datetime.fromtimestamp(item['date']).strftime('%Y-%m-%d %H:%M:%S'))
                if 'body' in item:
                    lelist += p(item['body'])
                if 'copy_history' in item:
                    for note in item['copy_history']:
                        replink = "http://vk.com/wall"+str(note['owner_id'])+"_"+str(note['id'])
                        lilist += p(a(replink, href=replink))
                if 'attachments' in item:
                    getSized = AttachmentsHandler(items = item['attachments'], vk = vk)
                    if item['attachments'][0]['type'] == "photo":
                        photo = vk.photos.getById(photos = getSized, photo_sizes = 1)
                        if ShowImages == True:
                            if SaveImages == True:
                                urllib.request.urlretrieve(getSized[0]['sizes'][-1]['src'], "pic%s.png" % NumberOfImage)
                                lelist += img(src='pic%s.png' % NumberOfImage, width="360")
                            else:
                                lelist += img(src=getSized[0]['sizes'][-1]['src'], width="360")
                        else:
                            lelist += a("http://vk.com/photo"+getSized, href="http://vk.com/photo"+getSized)
                    else:
                        lelist += p(a(getSized, href=getSized))
                NumberOfImage += 1
                test = message.index(item)
                del test
                NumberOfMessage += 1
                print("Обработано "+str(NumberOfMessage)+"/"+str(AllPosts))
 
    with open(FileName+'.html', encoding='utf8', mode = 'w') as f:
        f.write(doc.render())
        f.close()
 
    return FileName+".html"
 
def SaveAllUserMessages(tools = None, vk = None, ignorelist = {}):
    dialogs = list(tools.get_all_iter('messages.getDialogs', 200))
    for item in dialogs:
        if 'chat_id' in item:
            print("Резервная копия сообщений чата "+str(item['message']['chat_id']))
            SaveId = str("2000000000"+ str(item['message']['chat_id']))
            if str(item['message']['chat_id']) not in ignorelist:
                SaveAllMessages(tools = tools, peer_id = SaveId, vk = vk, ShowImages = False, ShowAvatar = False, FileName = SaveId)
        else:
            print("Резервная сообщений пользователя "+str(item['message']['user_id']))
            SaveId = str(item['message']['user_id'])
            if str(item['message']['user_id']) not in ignorelist:
                SaveAllMessages(tools = tools, peer_id = SaveId, vk = vk, ShowImages = False, ShowAvatar = False, FileName = SaveId)
 
 
def main():
    login, password = config.login, config.password
    vk_session = vk_api.VkApi(login, password)
 
    try:
        vk_session.auth()
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    print('[VK] Авторизация прошла успешно')
 
    vk = vk_session.get_api()
    tool = vk_api.VkTools(vk_session)
 
    for i in sys.argv:
        if i == "SaveAllWall":
            SaveAllWall(owner_id = config.owner_id, tools = tool, vk = vk, SaveImages = config.SaveImages, ShowImages = config.ShowImages, FileName = config.FileName, ShowAvatar = config.ShowAvatar)
        elif i == "SaveAllMessages":
            SaveAllMessages(peer_id = config.peer_id, tools = tool, vk = vk, SaveImages = config.SaveImages, ShowImages = config.ShowImages, FileName = config.FileName, ShowAvatar = config.ShowAvatar)
        elif i == "SaveAllUserMessages":
            SaveAllUserMessages(tools = tool, vk = vk, ignorelist = config.ignorelist)
        else:
            print("Команды:\nSaveAllWall - Сохранить сообщения к пользователю\nSaveAllMessages - Сохранить всю стену определенного пользователя\nSaveAllUserMessages - Сохранить переписку")
 
if __name__ == '__main__':
    main()

import vk_api
import config as cnf
import json
import csv
 
 
def main():
    # Авторизация
    vk_session = vk_api.VkApi(login=cnf.login, password=cnf.password)
    vk_session.auth()
    vk = vk_session.get_api()
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    count = 100
    params = {
        'owner_id': cnf.owner_id,
        'v': '5.60',
        'filter': 'all',
        'fields': 'cover ',
        'token': cnf.token
    }
 
    tools = vk_api.VkTools(vk_session)
 
    wall = list(
        tools.get_all_slow_iter(
            'wall.get',
            count,
            params
        )
    )
    print(wall)
 
 
def get_data(post):
    # print(post['attachments'])
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        #post_attachments = post['attachments']
        post_attachments = get_attachment_data(post)
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def get_attachment_data(post):
    '''
    Получает post и ищет в нем аттачи photo, video, doc, link и т.п.
    '''
    pass
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    with open('wall.json', 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()

import vk_api
import config as cnf
import json
import csv
from flatten_json import flatten
 
 
def main():
    # Авторизация
    vk_session = vk_api.VkApi(login=cnf.login, password=cnf.password)
    vk_session.auth()
    vk = vk_session.get_api()
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    count = 100
    params = {
        'owner_id': cnf.owner_id,
        'v': '5.60',
        'filter': 'all',
        'fields': 'cover ',
        'token': cnf.token
    }
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all(
        'wall.get',
        count,
        params
    )
 
    posts = wall['items']
    for post in posts:
        print(get_attachment_data(post))
 
 
 
 
def get_data(post):
    '''
    Обрабатываем запрос
    '''
    try:
        post_id = post['id']
    except:
        post_id = 'null'
 
    try:
        post_date = post['date']
    except:
        post_date = 'null'
 
    try:
        post_attachments = get_attachment_data(post)
    except:
        post_attachments = '* * *'
 
    try:
        post_text = post['text']
    except:
        post_text = '* * *'
 
    data = {
        'id': post_id,
        'date': post_date,
        'attachments': post_attachments,
        'text': post_text
    }
 
    return data
 
 
def get_attachment_data(post):
    '''
    Получает post и ищет в нем аттачи photo, video, doc, link и т.п.
    '''
    # Проверяем аттачи в посте
    attach = []
    if 'attachments' in post:
        list = post['attachments']
        for add in list:
            if add['type'] == 'photo':
                add = add['photo']
                attach.extend(add)
    return attach
 
 
def save_csv(data):
    with open('posts_data.csv', 'a') as cfile:
        writer = csv.writer(cfile, delimiter=",")
        writer.writerow((
            data['id'],
            data['date'],
            data['attachments'],
            data['text']
        ))
 
 
def save_json(data):
    with open('wall.json', 'w') as jfile:
        json.dump(data, jfile, indent=2, ensure_ascii=False)
 
 
if __name__ == '__main__':
    main()