Изучаем новый шаблон ИИ-чата .NET AI Chat Web App

ModernDotNetShowChat/
├── ModernDotNetShowChat.AppHost/       # Проект хоста Aspire
├── ModernDotNetShowChat.ServiceDefaults/ # Настройки сервисов по умолчанию 
└── ModernDotNetShowChat.Web/           # Основное веб-приложение

var builder = DistributedApplication.CreateBuilder(args);
 
var openai = builder.AddConnectionString("openai");
 
var ingestionCache = builder.AddSqlite("ingestionCache");
 
var webApp = builder.AddProject<Projects.ModernDotNetShowChat_Web>("aichatweb-app");
webApp.WithReference(openai);
webApp
 .WithReference(ingestionCache)
 .WaitFor(ingestionCache);
 
builder.Build().Run();

await DataIngestor.IngestDataAsync(
 app.Services,
 new PDFDirectorySource(Path.Combine(builder.Environment.WebRootPath, "Data")));

webApp.WithReference(openai);

openai.AddChatClient("gpt-4o-mini") // Модель для чата
.UseFunctionInvocation()
.UseOpenTelemetry(configure: c =>
    c.EnableSensitiveData = builder.Environment.IsDevelopment());
openai.AddEmbeddingGenerator("text-embedding-3-small"); // Модель для эмбеддингов

public class DataIngestor(
    ILogger<DataIngestor> logger,
    IEmbeddingGenerator<string, Embedding<float>> embeddingGenerator,
    IVectorStore vectorStore,
    IngestionCacheDbContext ingestionCacheDb)
{
    // Реализация методов
}

public class SemanticSearch(
    IEmbeddingGenerator<string, Embedding<float>> embeddingGenerator,
    IVectorStore vectorStore)
{
    public async Task<IReadOnlyList<SemanticSearchRecord>> SearchAsync(
        string searchPhrase, 
        string? filenameFilter = null, 
        int maxResults = 5)
    {
        // Реализация поиска
    }
}

public class IngestionCacheDbContext : DbContext
{
    public DbSet<IngestedDocument> Documents { get; set; } = null!;
    
    // Конфигурация контекста
}
 
public class IngestedDocument
{
    public string Id { get; set; } = "";
    public string SourceId { get; set; } = "";
    public List<IngestedRecord> Records { get; set; } = new();
}
 
public class IngestedRecord
{
    public string Id { get; set; } = "";
    public string DocumentId { get; set; } = "";
}

chatOptions.Tools = [AIFunctionFactory.Create(SearchAsync)];

public class DataIngestor(
   ILogger<DataIngestor> logger,
   IEmbeddingGenerator<string, Embedding<float>> embeddingGenerator,
   IVectorStore vectorStore,
   IngestionCacheDbContext ingestionCacheDb) { /*...*/ }

public interface IVectorStore
{
    IVectorCollection<TKey, TValue> GetCollection<TKey, TValue>(string name);
}
 
public interface IVectorCollection<TKey, TValue>
{
    Task CreateCollectionIfNotExistsAsync();
    Task DeleteCollectionAsync();
    Task<TKey> UpsertAsync(TValue value);
    IAsyncEnumerable<TKey> UpsertBatchAsync(IEnumerable<KeyValuePair<TKey, TValue>> values);
    Task DeleteAsync(TKey key);
    Task DeleteBatchAsync(IEnumerable<TKey> keys);
    Task<KeyValuePair<TKey, float>[]> SearchAsync(ReadOnlyMemory<float> vectorQuery, int limit = 1);
}

chatOptions.Tools = [AIFunctionFactory.Create(SearchAsync)];

var openai = builder.AddAzureOpenAIClient("openai");
openai.AddChatClient("gpt-4o-mini")
    .UseFunctionInvocation()
    .UseOpenTelemetry(configure: c => 
        c.EnableSensitiveData = builder.Environment.IsDevelopment());
openai.AddEmbeddingGenerator("text-embedding-3-small");

var openai = builder.AddOpenAIClient("openai");
openai.AddChatClient("gpt-4o")
    .UseFunctionInvocation();
openai.AddEmbeddingGenerator("text-embedding-3-large");

var ollama = builder.AddOllamaClient("ollama");
ollama.AddChatClient("llama3.2")
    .UseFunctionInvocation();
ollama.AddEmbeddingGenerator("all-minilm");

var messages = new List<ChatMessage>
{
    new(ChatRole.System, "Вы помощник, который отвечает на вопросы о загруженных документах."),
    new(ChatRole.User, "Какие часы доступны в продаже?")
};
 
var response = await chatClient.GetChatCompletionsAsync(messages, chatOptions);
var reply = response.Content;

var ollama = builder.AddOllamaClient("ollama");
ollama.AddChatClient("llama3.2");

chatOptions.Tools = [AIFunctionFactory.Create(SearchAsync)];

public interface IChatClient
{
    Task<ChatResponse> GetChatCompletionsAsync(
        IEnumerable<ChatMessage> messages, 
        ChatOptions? options = null,
        CancellationToken cancellationToken = default);
        
    IAsyncEnumerable<ChatStreamingResponse> GetStreamingChatCompletionsAsync(
        IEnumerable<ChatMessage> messages,
        ChatOptions? options = null,
        CancellationToken cancellationToken = default);
}
 
public interface IEmbeddingGenerator<TInput, TOutput>
{
    Task<TOutput> GenerateEmbeddingAsync(
        TInput input, 
        CancellationToken cancellationToken = default);
        
    Task<IReadOnlyList<TOutput>> GenerateEmbeddingsAsync(
        IEnumerable<TInput> inputs,
        CancellationToken cancellationToken = default);
}

// Для GitHub Models / Azure OpenAI
var openai = builder.AddAzureOpenAIClient("openai");
 
// Для "чистого" OpenAI
var openai = builder.AddOpenAIClient("openai");
 
// Для Ollama
var ollama = builder.AddOllamaClient("ollama");

private readonly List<ChatMessage> messages = new();
 
protected override void OnInitialized()
{
    messages.Add(new(ChatRole.System, SystemPrompt));
    chatOptions.Tools = [AIFunctionFactory.Create(SearchAsync)];
}

// Ограничиваем историю 10 последними сообщениями
if (messages.Count > MAX_MESSAGES) 
{
    // Оставляем системный промпт и последние сообщения
    var systemPrompt = messages[0];
    messages.RemoveRange(1, messages.Count - MAX_MESSAGES);
    
    // Добавляем суммаризацию предыдущей беседы
    messages.Insert(1, new(ChatRole.System, "Контекст предыдущей беседы: ..."));
}

openai.AddChatClient("gpt-4o-mini")
    .UseFunctionInvocation()
    .UseOpenTelemetry(configure: c => 
        c.EnableSensitiveData = builder.Environment.IsDevelopment());

public class UsageTrackingChatClient : IChatClient 
{
    private readonly IChatClient _innerClient;
    private readonly IUsageTracker _tracker;
    
    // Реализация методов с подсчетом токенов
}

@page "/chat"
@inject IChatClient ChatClient
@inject SemanticSearch Search
@implements IDisposable
 
<PageTitle>Chat</PageTitle>
 
<div class="chat-container">
    <div class="message-list" id="messageList">
        @foreach (var msg in displayMessages)
        {
            <div class="@GetMessageClass(msg)">
                <div class="message-content">
                    @((MarkupString)FormatMessage(msg.Content))
                </div>
            </div>
        }
        
        @if (isLoading)
        {
            <div class="message assistant">
                <div class="message-content">
                    <div class="loading-indicator"></div>
                </div>
            </div>
        }
    </div>
    
    <div class="input-area">
        <textarea @bind="userInput" @onkeydown="HandleKeyDown" placeholder="Type your message..." disabled="@isLoading"></textarea>
        <button @onclick="SendMessage" disabled="@isLoading">Send</button>
    </div>
</div>

private async Task SendMessage()
{
    // ... обработка ввода ...
    
    isLoading = true;
    StateHasChanged();
    
    try 
    {
        var chatResponse = ChatClient.GetStreamingChatCompletionsAsync(messages, chatOptions);
        
        string assistantResponse = "";
        await foreach (var chunk in chatResponse)
        {
            assistantResponse += chunk.Content;
            displayMessages[^1] = new DisplayMessage 
            { 
                Role = "assistant", 
                Content = assistantResponse 
            };
            StateHasChanged();
        }
        
        messages.Add(new ChatMessage(ChatRole.Assistant, assistantResponse));
    }
    finally
    {
        isLoading = false;
        StateHasChanged();
    }
}

@using Markdig
 
<div class="@GetMessageClass()">
    @if (IsCitation())
    {
        <div class="citation">
            <span class="citation-source">@GetSourceInfo()</span>
            <div class="citation-content">@((MarkupString)FormatCitation())</div>
        </div>
    }
    else
    {
        @((MarkupString)FormatContent())
    }
</div>
 
@code {
    [Parameter] public string Content { get; set; } = "";
    [Parameter] public string Role { get; set; } = "";
    
    private string FormatContent()
    {
        // Преобразование Markdown в HTML
        return Markdown.ToHtml(Content ?? "");
    }
}

private async Task RenderStreamingResponse(IAsyncEnumerable<ChatStreamingResponse> responseStream)
{
    string fullResponse = "";
    await foreach (var chunk in responseStream)
    {
        if (!string.IsNullOrEmpty(chunk.Content))
        {
            fullResponse += chunk.Content;
            currentResponse = fullResponse;
            await InvokeAsync(StateHasChanged);
        }
    }
    
    // Добавляем полный ответ в историю
    messages.Add(new ChatMessage(ChatRole.Assistant, fullResponse));
}

private CancellationTokenSource? _cancellationTokenSource;
 
private async Task CancelResponse()
{
    _cancellationTokenSource?.Cancel();
    isGenerating = false;
    await InvokeAsync(StateHasChanged);
}

private async Task HandleTypingIndicator()
{
    isTyping = true;
    await InvokeAsync(StateHasChanged);
    
    // Задержка для отображения индикатора печати
    await Task.Delay(typingIndicatorDelay);
    
    isTyping = false;
    await InvokeAsync(StateHasChanged);
}

private async Task SendMessage()
{
    // Добавляем сообщение пользователя сразу, не дожидаясь ответа
    displayMessages.Add(new DisplayMessage { Role = "user", Content = userInput });
    StateHasChanged();
    
    // Далее идет код отправки запроса к API...
}

builder.Configuration.AddUserSecrets<Program>();

public class CachingChatClient : IChatClient
{
   private readonly IChatClient _innerClient;
   private readonly IMemoryCache _cache;
   
   // Реализация методов с кэшированием часто задаваемых вопросов
}

// Настройка клиента Key Vault
var secretClient = new SecretClient(
    new Uri("https://your-keyvault.vault.azure.net/"), 
    new DefaultAzureCredential());
 
// Получение текущего ключа
KeyVaultSecret secret = await secretClient.GetSecretAsync("OpenAIKey");
string apiKey = secret.Value;
 
// Обновление ключа при необходимости
await secretClient.SetSecretAsync("OpenAIKey", GenerateNewApiKey());

public class EncryptedChatStorage : IChatStorage
{
    private readonly IDataProtector _protector;
    
    public EncryptedChatStorage(IDataProtectionProvider provider)
    {
        _protector = provider.CreateProtector("ChatMessages");
    }
    
    public async Task SaveMessageAsync(ChatMessage message)
    {
        var encryptedContent = _protector.Protect(message.Content);
        // Сохранение зашифрованного сообщения
    }
}

app.UseMiddleware<ApiRateLimitingMiddleware>();
 
public class ApiRateLimitingMiddleware
{
    // Реализация ограничения запросов по IP, пользователю или другим параметрам
}

public class WebpageIngestionSource : IIngestionSource
{
    private readonly HttpClient _httpClient;
    private readonly string _baseUrl;
    
    public WebpageIngestionSource(string baseUrl)
    {
        _httpClient = new HttpClient();
        _baseUrl = baseUrl;
    }
    
    public async Task<IEnumerable<IngestedDocument>> GetNewOrModifiedDocumentsAsync(
        IEnumerable<IngestedDocument> existingDocuments)
    {
        // Логика получения HTML-страниц и их содержимого
    }
    
    // Реализация остальных методов интерфейса
}

public class MultilingualChatClient : IChatClient
{
    private readonly IChatClient _innerClient;
    private readonly ITranslationService _translator;
    
    // Логика перевода запросов и ответов
}

private string GetSystemPrompt(UserProfile userProfile)
{
    return $@"
    Ты ассистент, который отвечает на вопросы о {userProfile.InterestArea}.
    Используй {userProfile.PreferredStyle} стиль общения.
    Уровень технических деталей: {userProfile.TechnicalLevel}.
    ";
}

[Description("Получает актуальные данные из внешнего API")]
private async Task<string> GetLiveDataAsync(
    [Description("Тип запрашиваемых данных")] string dataType)
{
    // Логика запроса к внешнему API
    return await _externalDataService.GetDataAsync(dataType);
}